기술 요약: 메트릭 공간에서의 공형 및 kNN 예측 불확실성 정량화 알고리즘

1. 문제 정의 및 동기

본 논문은 반응 변수 $Y$가 일반적인 분리 가능한 메트릭 공간(separable metric space) $(\mathcal{Y}, d_1)$에 존재하고, 예측 변수 $X$가 $\mathbb{R}^p$에 있는 회귀 모델의 예측 불확실성 정량화 문제를 다룹다. 목표는 $X=x$가 주어졌을 때, 실제 반응 $Y$가 해당 영역 안에 포함될 확률이 적어도 $1-\alpha$가 되도록 하는 예측 영역 $C_\alpha(x) \subset \mathcal{Y}$를 구축하는 것이다.

저자들은 기존 방법론, 특히 **공형 추론(conformal inference)**의 구체적인 한계점을 다음과 같이 지적한다:

• 보수성(Conservatism): 표준 공형 방법들은 특히 이분산성(heteroscedastic) 설정이나 고차원 공간에서 지나치게 보수적인 구간을 생성하여 통계적 효율성을 저해하는 경우가 많다.
• 매끄러움 가정(Smoothness Assumptions): 기존의 메트릭 공간 접근 방식(예: Zhou와 Müller [2025])은 커널 평활화(kernel smoothing)와 미분 가능성 가정에 의존하며, 이는 이산 데이터나 복잡한 비유클리드 구조에 대해 제약이 많다.
• 확장성(Scalability): 전체 공형 방법(full conformal methods) 및 깊이 프로파일(depth-profile) 접근 방식은 대규모 데이터셋에 대해 계산 비용이 많이 든다.
• 적용 가능성(Applicability): 많은 방법이 스칼라 반응이나 유클리드 예측 변수로 제한되어 있어, 디지털 헬스 분야에서 흔히 볼 수 있는 확률 분포나 그래프와 같은 "무작위 객체(random objects)"를 처리하지 못한다.

본 논문은 강력한 매끄러움 가정을 부과하지 않으면서도, 계산적으로 확장 가능하며, 유한 표본 마진 커버리지 보장(동분산 사례) 및 국소적으로 적응형인 예측 반경(이분산 사례)을 제공하는 프레임워크를 개발하는 것을 목표로 한다.

2. 방법론

프레임워크는 회귀 함수 $m(x)$를 **조건부 프레셰 평균(conditional Fréchet mean)**으로 정의한다:
$$m(x) = \arg\min_{y \in \mathcal{Y}} \mathbb{E}[d_1^2(Y, y) \mid X = x]$$
예측 영역은 메트릭 볼(metric ball) $C_\alpha(x) = B(m(x), r(x))$로 정의되며, 여기서 반경 $r(x)$는 거리 $d_2(Y, m(x))$의 조건부 분위수(conditional quantile)에 의해 결정된다. 저자들은 두 가지 메트릭을 구분한다: $d_1$ (손실/회귀용)과 $d_2$ (예측 영역 정의용). 이를 통해 모델링의 유연성을 확보한다.

방법론은 세 가지 주요 구성 요소로 나뉜다:

2.1 동분산 사례: 분할 공형 예측 (Split Conformal Prediction)

저자들은 메트릭 공간에서의 동분산성(homoscedasticity) 개념을 도입한다: 즉, 거리 $d_2(Y, m(x))$의 분포가 $x$와 독립적이라는 것이다.

• 알고리즘: 분할 공형 접근 방식을 사용한다. 데이터를 중심 $\hat{m}(x)$를 추정하기 위한 훈련 세트($D_{train}$)와 전역 반경을 추정하기 위한 교정 세트($D_{test}$)로 나눈다.
• 반경 추정: 반경은 교정 점수 $\{d_2(Y_i, \hat{m}(X_i))\}_{i \in D_{test}}$의 경험적 분위수로 설정된다.
• 보장: 이는 유한 표본 마진 커버리지 보장을 제공한다: $P(Y \in \hat{C}_\alpha(X)) \geq 1-\alpha$.
• 수렴: 저자들은 완만한 조건 하에서(특히 프레셰 평균 추정치의 일관성만을 요구함) 일관성 및 빠른 수렴 속도를 증명한다.

2.2 이분산 사례: 로컬 kNN 절차 (Local kNN Procedure)

오차의 조건부 분포가 $x$에 따라 달라지는 설정(이분산성)에서는 전역 반경이 비효식적이다.

• 알고리즘: k-최근접 이웃(k-Nearest Neighbors, kNN) 접근 방식을 제안한다. 새로운 점 $x$에 대해, 예측 반경은 $x$의 $k$-최근접 이웃 내에 있는 교정 점들만을 사용하여 추정된다.
• 데이터 기반 $k$ 선택: $k$ 이웃 크기를 선택하기 위한 새로운 기준을 도입한다. 이는 전역 경험적 커버리지(전체 커버리지가 $1-\alpha$에 가깝도록 보장)와 국소 경험적 커버리지(국소적 편차를 최소화하도록 보장) 사이의 균형을 맞춘다. 알고리즘은 이러한 제약을 만족하는 가장 작은 $k$를 선택한다.
• 보장: 이 방법은 유한 표본 공형 보장을 제공하지는 않지만, **점근적 일관성(asymptotic consistency)**을 확립하고 기대 오차에 대한 유한 표본 상한을 도출한다. 이 방법은 매끄러움 가정을 피하면서 예측 공간의 국소적 기하 구조에 적응한다.

2.3 시계열을 위한 순차적 확장 (Sequential Extension for Time Series)

정상성(stationarity) 및 에르고로디시티(ergodicity) 가정 하에 메트릭 공간 값을 갖는 시계열로 프레임워크를 확장한다.

• 방법: 최근접 이웃 전문가 집합(nearest-neighbor expert aggregation) 방법을 사용한다. 과거의 래그 블록(lag blocks)을 현재 상태와 비교하여 조건부 잔차 분위수를 추정한다.
• 집합(Aggregation): 핀볼 손실(pinball loss)에 기반한 지수 가중치를 사용하여 국소 분위수 전문가들을 결합함으로써 데이터 적응형 반경을 생성한다.
• 보장: 이 방법은 유한 표본 보장보다는 점근적 시간 평균 교정(asymptotic time-average calibration) 보장($\frac{1}{n}\sum P(Y_{t+1} \in \hat{C}_t) \to 1-\alpha$)을 제공한다.

3. 주요 기여

1. 새로운 동분산성 정의: 메트릭 공간에 맞춤화된 동분산성 정의를 통해 효율적인 공형 알고리즘과 빠른 수렴 속도를 구현한다.
2. 세 가지 알고리즘 프레임워크:
   • 동분산 메트릭 공간을 위한 분할 공형 알고리즘 (유한 표본 마진 보장 제공).
   • 매끄러움 가정 없이 양호한 조건부 교정을 달성하는 이분산 설정을 위한 로컬 kNN 알고리즘.
   • 메트릭 공간 내 시계열을 위한 순차적 전문가 집합 방법.
3. 이론적 일관성: 최소한의 조건 하에서 제안된 추정량들의 일관성을 증명하였다 (유클리드 문헌에서 요구되는 조건보다 약한 조건).
4. 계산 효율성: 제안된 방법들은 계산적으로 확장 가능하며, 수백만 개의 관측치를 몇 초 만에 처리할 수 있다. 이는 작은 데이터셋에 수 시간이 걸리는 깊이 프로파일 방식과 대조적이다.
5. 유연성: 프레임워크는 모든 회귀 알고리즘(예: 랜덤 포레스트, 전역 프레셰 회귀, kNN)과 호환되며, 비유클리드 반응(분포, 그래프) 및 예측 변수를 처리할 수 있다.

4. 결과

4.1 시뮬레이션 연구

저자들은 스칼라-온-스칼라 회귀 및 메트릭 공간 값을 갖는 결과에 대해 프레임워크를 평가했다.

• 성능: 이분산 설정(선형 및 비선형)에서, 제안된 적응형 kNN 방법은 CQR(Conformalized Quantile Regression) 및 Zhou와 Müller [2025]의 깊이 프로파일 방법과 비교하여 가장 낮은 통합 제곱 조건 오차(ISCE)와 가장 높은 최악 슬라이스 커버리지(WSC)를 달이트했다.
• 동분산 설정: 전역 공형 방법은 CQR과 경쟁력 있는 성능을 보여, 동분산 가정이 성립할 때의 효율성을 확인했다.
• 효율성: 제안된 방법들은 $n=3000$일 때 50분이 걸리는 깊이 프로파일 방식보다 훨씬 빠른 (몇 초 단위) 속도를 보였다.
• 강건성: 이분산 방법은 공형 교정이 이루어지지 않은 경우에도 양호한 마진 교정을 유지했으나, 최악 슬라이스 커버리지에 대한 소표본 안정성은 한계점으로 언급되었다.

4.2 실제 응용 사례

프레임워크를 두 가지 생물 의학 데이터셋에 적용했다:

1. 형태 분석 (파킨슨병): 필기 궤적을 무작위 객체로 취급했다. 이 방법은 건강한 대조군을 위한 프레셰 중심 참조 영역을 구축했다. 파킨슨병 환자의 궤적은 이러한 영역 밖에 빈번하게 나타났으며, 이는 형태 기반 디지털 바이오마커로서의 잠재력을 보여주었다.
2. 분포 값 연속 혈당 모니터링: 연속 혈당 모니터링(CGM) 데이터를 2-Wasserstein 공간 내의 확률 분포로 표현했다. 전역 프레셰 회귀와 kNN 반경 추정기를 사용하여 연령별 예측 영역을 구축했다. 결과는 예측 영역(변동성)이 연령에 따라 넓어짐을 보여주었으며, 이는 스칼라 요약으로는 보이지 않는 분포적 변화를 포착한다.

5. 의의 및 주장

본 논문은 메트릭 공간에서의 불확실성 정량화를 위한 일반적이고 유연하며 계산적으로 효율적인 프레임워크를 제공한다고 주장한다. 그 의의는 다음과 같다:

• 격차 해소: 기존 메트릭 공간 방법들의 제한적인 매끄러움 가정에 의존하지 않고 공형 예측 및 국소 교정 기술을 비유클리드 환경으로 확장한다.
• 실용적 유용성: 복잡한 무작위 객체(분포, 그래프)를 빠르게 처리할 수 있는 능력은 현대의 디지털 헬스 및 개인 맞춤형 의료 응용 분야에 적합하다.
• 이론적 엄밀성: 최소한의 가정 하에서 일관성과 수렴 속도를 확립하여, 점근적 방법에 대한 강력한 대안을 제시한다.
• 적응성: 데이터 기반의 이웃 크기 선택을 통해 국소적 이분산성에 적응할 수 있게 함으로써, 전역 방법이 실패하는 곳에서 조건부 교정을 개선한다.

저자들은 본 방법이 동분산 사례에서는 강력한 마진 보장을, 이분산 사례에서는 양호한 조건부 교정을 제공하지만, 메트릭 볼(metric ball)의 사용이 매우 비구형(non-spherical)인 분포에 대해서는 보수적일 수 있다고 겸허히 언급했다. 향-후 연구로는 메트릭 볼 이상의 더 유연한 예측 영역을 탐색할 것을 제안했다.