Conformal Prediction for Hierarchical Data

기술적 요약: 계층적 데이터를 위한 컨포멀 예측

문제 제기
본 논문은 특정 구성 요소가 다른 구성 요소들의 선형 결합인 (예: 지역 합계가 국가 총계로 집계되는 경우) 계층적 구조를 보이는 다변량 데이터에 대해 유효한 예측 영역을 구성하는 과제를 다룹니다. 표준 컨포멀 예측 (CP) 은 다변량 데이터에 대해 유한 표본 커버리지 보장을 제공하지만, 계층적 데이터에 내재된 구조적制約을 종종 무시합니다. 반면, 예측 조정 (forecast reconciliation) 기법은 이러한 선형制約을 활용하여 점 예측의 일관성을 개선하지만, 엄밀한 불확실성 정량화를 갖춘 확률적 예측으로 이러한 이점을 확장하는 데는 역사적으로 어려움을 겪어 왔습니다. 핵심 문제는 사후 절차인 이 두 가지를 결합하여, 계층적 일관성制約을 존중하면서도 통계적으로 유효 (커버리지 보장) 하고 효율적 (영역 크기 최소화) 인 예측 영역을 생성하는 것입니다.

방법론
저자들은 분할 컨포멀 예측 (Split Conformal Prediction, SCP) 을 투영 단계를 통해 예측 조정과 통합하는 프레임워크를 제안합니다. 이 방법론은 데이터와 비동일성 점수 (non-conformity scores) 에 대한 독립 동일 분포 (i.i.d.) 가정 하에 운영되며, 효율성 분석을 위해 특정 분포 가정이 도입됩니다.

1. 계층적 설정: 데이터 $y \in \mathbb{R}^m$는 $y = H y_{1:n}$을 만족하며, 여기서 $H$는 가장 세분화된 수준 ($n$) 을 집계된 수준 ($m$) 으로 매핑하는 알려진 구조 행렬입니다. $u = H u_{1:n}$을 만족하는 벡터를 "일관된 (coherent)"이라고 합니다.
2. 두 가지 커버리지 목표:
   • 결합 커버리지 (Joint Coverage): 참 벡터 $y_{T+1}$이 확률 $1-\alpha$로 다변량 예측 집합 $C(x_{T+1})$ 내에 포함되도록 보장합니다.
   • 구성 요소별 커버리지 (Component-wise Coverage): 각 개별 구성 요소 $y_{T+1,i}$가 확률 $1-\alpha$로 해당 구간 $C_i(x_{T+1})$ 내에 포함되도록 보장합니다. 이는 구성 요소들이 종종 개별적으로 분석되는 계층적 데이터에 더 자연스러운 목표로 식별됩니다.
3. 제안된 절차 (조정된 SCP):
   • 결합 커버리지의 경우: 저자들은 타원형 SCP 접근법 (Johnstone & Cox, 2021; Messoudi et al., 2022) 을 적용합니다. 일관된 부분공간 $\text{Im}(H)$으로의 $A$-노름 직교 투영 행렬 $P_A$를 도입합니다. 회귀자는 $\hat{\mu} = P_A \hat{\mu}_{base}$로 수정되며, 비동일성 점수는 관측치와 이러한 투영된 예측 간의 거리를 기반으로 계산됩니다.
   • 구성 요소별 커버리지의 경우: 저자들은 부호 있는 비동일성 점수 (signed non-conformity scores) ($s_t = y_t - \hat{\mu}_t$) 를 활용합니다. 절대 잔차와 달리 부호 있는 잔차는 선형 일관성 속성 ($s_t = P s_t$, 단 $\hat{\mu}_t$가 투영된 경우) 을 보존합니다. 이 절차는 기본 예측을 일관된 부분공간으로 투영한 후, 이러한 부호 있는 점수에 대해 구성 요소별로 SCP 를 적용합니다.
4. 효율성 분석:
   • 이론적 효율성은 잔차가 타원형 분포 (elliptical distribution) 를 따른다는 가정 하에 분석됩니다.
   • 고정된 가중치 벡터 $w$에 대해, 저자들은 특정 행렬 $P_w$ ($H$와 $w$에서 유도됨) 를 사용하여 예측을 투영하는 것이 투영되지 않은 예측에 비해 기대 제곱 구간 길이의 합을 감소시킨다는 것을 증명합니다.
   • 점수의 공분산 행렬 $\Sigma$가 알려져 있다는 가정을 통해 더 강력한 "오라클" 결과가 도출됩니다. 최소-추적 (MinT) 투영 ($P_{\Sigma^{-1}}$) 을 사용하면, 이 방법은 다른 어떤 투영 행렬보다도 균일한 효율성 개선을 달성합니다.

주요 기여

1. 새로운 종합: 본 연구는 계층적 데이터에 대해 유효하고 효율적인 예측 영역을 구성하기 위해 컨포멀 예측과 예측 조정을 공식적으로 결합한 최초의 작업입니다.
2. 구성 요소별 커버리지 보장: 논문은 결합 커버리지보다 계층적 응용에 더 관련성이 높은 구성 요소별 커버리지 기준을 도입하고 분석합니다. 제안된 조정된 SCP (알고리즘 5) 가 이러한 보장을 유지함을 증명합니다.
3. 효율성 증명:
   • 결합 커버리지: 저자들은 투영 행렬이 올바르게 선택된다면, 조정된 타원형 예측 영역이 표준 타원형 영역보다 균일하게 작음 (르베그 측도 기준) 을 증명합니다.
   • 구성 요소별 커버리지: 타원형 분포 가정 하에, 논문은 조정된 예측 구간이 표준 구성 요소별 구간보다 효율적 (기대 제곱 길이가 더 작음) 임을 확립합니다. 이는 구간 길이 최소화를 예측 조정 문헌의 핵심인 추적 최소화 문제 (특히 MinT 접근법) 와 연관시킴으로써 달성됩니다.
4. 기술적 혁신: 저자들은 예측 조정에서 일반적으로 요구되는 편향 없음 가정이 부재하는 상황을 처리하기 위해 부호 있는 비동일성 점수를 활용하고, 컨포멀 설정에서의 효율성 향상을 증명하기 위해 추적 부등식을 활용함으로써 두 분야 간의 간극을 메웁니다.

결과
이론적 발견은 다양한 복잡도 (최대 1,801 개 노드) 를 가진 합성 계층적 데이터에 대한 광범위한 실험을 통해 검증되었습니다.

• 커버리지: 제안된 모든 알고리즘은 모든 구성에서 결합 및 구성 요소별 목표 모두에 대해 목표 커버리지 수준 (90%) 을 성공적으로 달성합니다.
• 효율성 (결합): 조정된 타원형 방법 (알고리즘 2) 은 기준선 (알고리즘 1) 일관하게 더 작은 예측 부피를 생성합니다.
• 효율성 (구성 요소별):
  • 가중 최소 제곱 (WLS) 조정 전략 (대각 공분산 추정치 사용) 은 기준선 (Direct) 과 다른 방법들 (OLS, Combi) 일관하게 우월한 성능을 보이며, 총 구간 길이를 15% 에서 65% 까지 감소시킵니다.
  • MinT 전략 (전체 공분산 행렬 사용) 은 작은 계층 구조에서는 가장 좋은 성능을 보이지만, 공분산 행렬 추정에서의 잠재적 특이성 문제로 인해 큰 계층 구조 (구성 5 및 6) 에서는 신뢰할 수 없게 됩니다.
  • Combi 및 OLS 방법은 혼합된 성능을 보이며, OLS 는 견고하지만 WLS 보다 효율성이 낮습니다.

의의 및 주장
본 논문은 계층적 설정에서 불확실성 정량화를 개선하기 위한 이론적 기반을 제공한다고 주장합니다. 구조적制約을 사후적으로 활용하여 커버리지를 희생하지 않고 예측 영역을 축소할 수 있음을 입증함으로써, 이 작업은 훈련 단계에서 계산 비용이 많이 드는 계층적 모델링에 대한 실용적인 대안을 제시합니다.

저자들은 이론적 보장의 범위와 관련하여 겸손한 입장을 취하며, 분석이 i.i.d. 프레임워크와 타원형 분포 가정에 의존한다고 명시합니다. 그들은 실제 세계의 계층적 시계열이 종종 비동일성 점수에 대한 i.i.d. 가정을 위반한다고 명시적으로 언급합니다. 결과적으로, 논문은 결과를 기초적인 단계로 위치시키며, 향후 연구가 적응형 컨포멀 추론 등을 통해 이러한 원칙을 비교환적 데이터 및 동적 계층 구조로 확장해야 함을 시사합니다. 주요 의의는 "조정 (reconciliation)"이 점 예측을 위한 도구에 그치는 것이 아니라, 분포-자유 예측 집합의 효율성을 향상시키는 유효한 메커니즘임을 확립하는 데 있습니다.