A Category-Theoretic Analysis of Conformal Prediction

기술적 요약: 합동 예측의 범주론적 분석

문제 제기
합동 예측 (Conformal Prediction, CP) 은 유한 표본, 분포 무관한 커버리지 보장을 제공하는 예측 영역을 생성하는 널리 사용되는 통계 도구입니다. 그러나 CP 를 정량적 불확실성 도구로 해석하는 것은 종종 암시적입니다. CP 는 집합값 출력 (예측 영역) 을 생성하지만, 이 출력의 구조적 메커니즘과 다른 확률론적 프레임워크 (베이지안, 빈도주의, 부정확 확률) 와의 관계는 항상 명시적으로 형식화되지는 않습니다. 또한, 불확실성의 "양" 은 종종 영역의 기하학적 크기로 축소되어, CP 가 암시적으로 인코딩할 수 있는 더 풍부한 확률론적 구조를 무시합니다.

방법론
본 논문은 범주론 (Category Theory, CT) 을 활용하여 완전 합동 예측 (Full Conformal Prediction, FCP) 의 구조적 분석을 제공합니다. 저자는 CP 를 단순한 알고리즘이 아닌, 집합값 함수 (대응, correspondences) 의 특정 범주 내에서의 사상 (morphism, 구조를 보존하는 사상) 으로 취급합니다. 이 분석은 세 가지 주요 수학적 기둥에 의존합니다:

1. 범주론: 통계 절차의 합성을 형식화하기 위해 범주, 사상, 함자, 가환 도형의 개념을 활용합니다.
2. 집합값 분석: 상반 연속성 (stability) 과 약한 가측성 (probabilistic well-posedness) 의 관점에서 CP 를 분석합니다.
3. 부정확 확률 (Imprecise Probability, IP): 단일 확률 분포를 넘어선 불확실성을 표현하기 위해 신용 집합 (credal sets, 확률 측도의 볼록 닫힌 집합) 과 부정확 최대 밀도 영역 (Imprecise Highest Density Regions, IHDR) 을 활용합니다.

핵심 방법론적 혁신은 CP 절차를 가환 도형으로 분해하여, 예측 영역의 직접적 구성을 (1) 데이터에서 신용 집합을 추출하고, (2) 해당 신용 집합에서 예측 영역을 유도하는 간접적인 2 단계 과정으로 인수분해하는 것입니다.

주요 기여 및 결과

1. 사상으로서의 CP 와 구조적 인수분해 (제 3 절)
논문은 두 가지 범주를 정의합니다:

• $\mathbf{UHCont}$: 대상은 위상 공간; 사상은 상반 연속 대응 (안정성 포착).
• $\mathbf{WMeasuc}$: 대상은 콤팩트 폴란드 공간; 사상은 약하게 가측이며 균일하게 콤팩트 값을 갖는 대응 (가측성 포착).

정리 7은 약한 정규성 조건 (콤팩트 하우스도르프 결과 공간, 연속적인 비합동성 측정, 그리고 신뢰 수준 $\alpha$에 대한 "동점 없음" 조건) 하에서 완전 합동 예측 대응이 두 범주 모두에서 사상임을 확립합니다. 중요하게도, 논문은 가환 도형 결과를 증명합니다:
$$\kappa_\alpha = \text{IHDR}_\alpha \circ \text{CRED}$$
여기서:

• $\kappa_\alpha$는 직접적인 합동 구성입니다.
• $\text{CRED}$는 데이터에서 신용 집합 (확률 측도의 집합) 을 추출합니다.
• $\text{IHDR}_\alpha$는 신용 집합에서 $\alpha$-레벨 부정확 최대 밀도 영역을 추출합니다.

의의: 이 인수분해는 CP 가 신용 집합을 포함하는 간접 절차와 본질적으로 동등함을 보여줍니다. 이는 CP 가 예측 집합의 크기 이상으로 암시적인 "카드널" 불확실성 정량화 층을 지니고 있음을 드러냅니다. 예측 집합의 크기 외에도 유도된 신용 집합으로부터 의사결정에 중요한 요약 (예: 하/상 확률, 강건한 기대 손실) 을 도출할 수 있습니다.

2. 베이지안, 빈도주의, 부정확 추론의 통합 (제 4 절)
논문은 CP 와 베이지안 예측 간의 점근적 관계를 조사합니다.
정리 11은 비합동성 측정치가 베이지안 사후 예측 밀도에서 유도될 경우, 합동 예측 영역이 하우스도르프 거리에서 해당 베이지안 예측 밀도 레벨 집합으로 수렴함을 보여줍니다.

• 결과: 점근적으로 베이지안 밀도 레벨 집합, 직접적인 합동 영역, 그리고 간접적인 신용-IHDR 경로는 집합으로서뿐만 아니라 예측 절차로서도 동등해집니다.
• 정량적 수렴률: 명제 14는 국소 경험 과정 및 경계 정규성 가정 하에서 $O_P(n^{-1/2})$ 차수의 정량적 수렴률을 제공합니다.
• 의의: 이는 CP 가 베이지안 예측을 둘러싼 유한 표본 유효성 래퍼로 작용한다는 직관을 형식화하여, 빈도주의 커버리지 보장을 베이지안 해석성과 부정확 확률 의미론과 연결합니다.

3. e-사후분포와의 연결 (제 4.5 절)
논문은 상사후분포 구성이 e-사후분포 (Grünwald [44]) 와 관련된 조건을 식별합니다. 명제 15는 상사후분포가 언제 e-사후분포인지 특징짓고, e-값 기반 표현과 합동 - 부정확 표현이 일치하는 조건을 명확히 합니다. 명제 16은 또한 상사후 예측이 가법 확률 측도와 일치할 경우, 시스템이 점 질량으로 퇴화해야 함을 보여, 가능성 기반 (합동) 표현과 가법 확률 표현의 고유한 성격을 강조합니다.

함자성과 프라이버시 호환 집계 (제 5 절)
논문은 IHDR 추출기를 신용 집합 범주 (포함 사상 포함) 에서 결과 공간의 부분집합 범주로 가는 공변 함자 (covariant functor) 로 형식화합니다.

• 정리 17: 사상 $\text{IHDR}_\alpha$는 함자입니다.
• 함의: 이는 프라이버시 호환 집계 원칙을 도출합니다. 연동 (federated) 환경에서 에이전트들은 원시 데이터 대신 요약 객체 (신용 집합) 를 공유할 수 있습니다. 이러한 요약이 외접 근사 (초집합) 를 통해 사생활 보호되면, 함자적 성질은 결과적인 전역 예측 영역이 보수적 (축소되지 않음) 임을 보장하여, 원시 데이터를 노출하지 않고도 커버리지 보장을 유지합니다.

의의 및 주장
논문은 주요 기여가 합동 예측의 구조적 통합이라고 주장합니다. CP 를 대응의 범주 내 사상으로서 프레임함으로써, 이 연구는 다음과 같은 점을 달성합니다:

• 신용 집합에서 유도된 의사결정에 중요한 함수를 넘어 단순한 영역 크기를 넘어선 CP 고유의 정량적 불확실성을 명시화합니다.
• 정규성 조건 하에서 예측 절차로서의 점근적 동등성을 보여, 베이지안, 빈도주의, 부정확 확률 프레임워크 간의 원칙적 연결고리를 제공합니다.
• 요약 객체의 함자적 성질을 통해 불확실성 정량화가 유지되는 연동 학습을 위한 모듈식, 프라이버시 호환 관점을 제시합니다.

저자는 프레임워크가 범주적 인수분해에 가장 깨끗한 설정인 완전 합동 예측을 위해 개발되었지만, 이러한 통찰력이 분할/유도 합동 예측 (Split/Inductive Conformal Prediction) 으로도 확장될 것으로 기대한다고 언급합니다. 다만 체계적인 처리는 향후 연구에 맡겨졌습니다. 논문은 이 범주론적 접근법이 집합값 통계 함수의 안정성, 근사, 및 합성 연구에 새로운 길을 연다고 결론지으며 끝납니다.