Conformal Calibration for Multi-Modal Regression with Missing Modalities

기술 요약: 다중 모달 회귀를 위한 컨포멀 캘리브레이션 (Conformal Calibration for Multi-Modal Regression with Missing Modalities)

문제 정의
표 형식의 데이터, 텍스트, 이미지와 같은 다양한 입력 소스를 통합하는 다중 모달 회귀 시스템은 신뢰할 수 있는 불확실성 추정치를 생성하는 데 있어 상당한 어려움에 직면해 있습니다. 이러한 소스들을 융합하면 점 예측(point prediction) 정확도는 향상되는 경우가 많지만, 표준 컨포멀 예측 방법은 일반적으로 단일 전역 분위수(global quantile)에 의존하여 예측 구간을 구축합니다. 이러한 전역적 접근 방식은 입력 데이터의 서로 다른 레짐(regime)을 고려하지 못하며, 모달리티 간의 일치, 충돌 또는 테스트 시 특정 모달리티가 누락되었을 때 발생하는 체계적인 신뢰도 차이를 반영하지 못합니다. 결과적으로, 단일 한계 피복률(marginal coverage) 보장은 어려운 하위 그룹(예: 높은 불일치 또는 데이터 누락 상황)에서의 미달 피복(under-coverage)을 은폐하거나, 쉬운 사례에서의 효율성을 저해할 수 있습니다. 본 논문은 예측 구간의 폭을 관찰된 모달리티 패턴 및 소스 간 불일치에 따라 적응시키면서도 엄격한 유한 표본 피복 보증을 유지하는 캘리브레이션 레이어의 필요성을 다룹니다.

방법론
제안된 방법은 고정된 베이스 예측기(base predictor)와 일련의 소스별 보조 예측기(per-source auxiliary predictors)를 중심으로 작동하는 **모달리티 인식 컨포멀 캘리브레이션 레이어(modality-aware conformal calibration layer)**를 도입합니다. 핵심 메커니즘은 **불일치 점수(disagreement score)**와 **모달리티 가용성(modality availability)**에 의해 구동되는 두 가지 상호 보완적인 전략을 포함합니다:

1. 불일치 점수 구축:
   각 예시 $x$에 대해, 소스별 예측기 $g_k$는 각각의 소스 블록 $x^{(k)}$로부터 예측값 $\hat{y}_k$를 생성합니다. 불일치 점수 $d(x)$는 각 소스 예측값들의 표준 편차로 정의됩니다:
   $$d(x) = \left( \frac{1}{K_x} \sum_{k \in A(x)} (g_k(x^{(k)}) - \bar{g}_{A(x)})^2 \right)^{1/2}$$
   여기서 $A(x)$는 사용 가능한 소스의 집합입니다. 만약 하나의 소스만 사용 가능하다면 $d(x)=0$입니다.

2. 불일치 기반 스케일링 캘리브레이션 (연속적 접근 방식):
   이 방법은 불일치 점수에 따라 구간 폭을 연속적으로 재배분합니다. 스케일링 함수 $a_\gamma(x) = \sqrt{1 + \gamma d(x)^2}$가 컨포멀 양자 회귀(CQR) 점수에 적용됩니다. 파라미터 $\gamma$는 튜닝 분할(tuning split)에서 선택되며 캘리브레이션 전에 고정됩니다.

• 메커니즘: 비정형 점수(non-conformity score)는 $s_i = \max\{e_i, 0\} / a_\gamma(X_i)$로 정규화됩니다.
• 효과: 높은 불일치는 더 큰 스케일링 인자로 이어져 구간을 넓히고, 낮은 불일치는 구간을 좁힙니다.
• 보증: 스케일링 규칙이 캘리브레이션 전에 고정된다는 조건 하에 표준 한계 분할 컨포멀(marginal split-conformal) 피복률($1-\alpha$)을 보존합니다.

3. 몬드리안 (층화) 캘리브레이션 (이산적 접근 방식):
   이 방법은 불일치 점수(빈닝 처리됨) 또는 모달리티 가용성 레짐(예: "텍스트 누락", "이미지 누락")에 의해 사전에 정의된 층(strata)에 대해 별도의 캘리브레이션 분위수를 구축합니다.

• 메커니즘: 캘리브레이션 세트는 층 $h$로 분할됩니다. 각 층에 대해 별도의 분위수 $\hat{q}_h$가 계산됩니다.
• 보증: 층의 정의가 캘리브레이션 전에 고정되고 캘리브레이션/테스트 예시가 캘리브레이션 전 데이터에 대해 조건부로 교환 가능(exchangeable)하다면, 유한 층 조건부 피복(finite-stratum conditional coverage) 보증을 제공합니다.

4. 누락된 모달리티 처리:
   본 프레임워크는 "레짐" 층을 정의함으로써 누락된 모달리티를 명시적으로 처리합니다. 스트레스 테스트에서는 캘리브레이션 예시가 테스트 예시와 동일한 누락 마스크를 사용하여 변환되는 "마스크 매치 재캘리브레이션(mask-matched recalibration)"이 사용됩니다. 이를 통해 부재하는 소스에 대한 예측을 임의로 만들어내지 않고도 특정 누락 데이터 레짐에 대한 피복률을 회복할 수 있습니다.

주요 기여
본 논문의 주요 기여는 네 가지입니다:

1. 불일치 점수의 정의: 각 소스 회귀 예측으로부터 유도된 모델 불가지론적(model-agnostic) 불일치 점수를 정의하며, 이는 컨포멀 점수가 계산되기 전에 구성되는 캘리브레이션 공변량(covariate) 역할을 합니다.
2. 불일치 스케일링 CQR: 이 점수를 정규화된 분할 컨포멀 CQR 방식에 통합하며, 캘리브레이션 전 불일치 스케일을 선택하고 유효성을 위한 정확한 분할 조건을 명시합니다.
3. 몬드리안 구성: 모달리티 가용성 또는 불일치 수준에 기반하여 사전에 지정된 층 내에서의 피복을 위한 공식적인 구성을 제공합니다.
4. 포괄적 평가: 다양한 베이스 예측기(XGBoost 점/양자 회귀, SEMF 앙상블)를 사용하여 네 가지 다중 모달 데이터셋(Swiss Real Estate, Mercari, Pawpularity, IMDB-WIKI)에 대해 방법을 평가하고, 모달리티 누락 상황에 대한 스트레스 테스트를 포함합니다.

실험 결과

• 효율성 및 피복률: 60회의 쌍별 실행(4개 데이터셋 $\times$ 3개 예측기 $\times$ 5개 시드) 전체에서, 불일치 스케일링 방식은 구간 연속적 확률적 적합도(Interval CRPS) 측면에서 60건 중 59건에서, 구간 폭 측면에서 60건 중 52건에서 한계 컨포멀 베이스라인과 대등하거나 개선된 성능을 보였습니다. 경험적 피복률은 목표치인 95% 근처를 유지했습니다 (0.949 대 0.949).
• 불일치 레짐: 본 방법은 불일치가 낮은 예시에서는 구간을 좁히고, 불일치가 높은 예시에서는 구간을 넓힘으로써, 표준 한계 캘리브레이션 하에서 관찰되는 고불일치 빈(bin)에서의 미달 피복 문제를 성공적으로 교정했습니다.
• 누락된 모달리티: 스트레스 테스트에서 "마스크 매치 재캘리브레이션"(몬드리안 캘리브레이션의 특수 사례)은 피복률을 크게 회복했습니다. 가장 까다로운 고정 마스크 레짐(IMDB-WKI에서 테이블 데이터만 사용)에서, 피복률은 19.5 퍼센트 포인트(0.758에서 0.953으로) 회복되었으나, 그에 따른 구간 폭의 증가(125%)가 동반되었습니다.
• 강건성: 결과는 그래디언트 부스팅 트리 및 SEMF 디코더에서 유도된 몬테카를로 앙상블을 포함한 다양한 베이스 예측기에 걸쳐 일관되게 나타났습니다.

의의 및 주장
본 논문은 다중 모달 회귀 시스템을 위한 단순하고 모델 불가지론적인 신뢰성 레이어를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 융합과 캘리브레이션의 분리: 이 레이어는 모든 고정된 베이스 예측기(트리, 신경망, 앙상블)와 함께 작동하며, 융합 모델을 재학습할 필요가 없습니다.
• 적응형 불확실성: "하나의 크기"를 강요하는 전역 분위수를 넘어, 불확실성 추정치가 특정 입력 레짐(일치 vs 충돌 vs 누락)의 신뢰도를 반영할 수 있도록 합니다.
• 엄격한 보증: 휴리스틱한 조정과 달리, 모든 데이터 기반 선택(불일치 스케일 및 층 정의 포함)을 캘리브레이션 전에 고정하는 엄격한 분할 프로토콜을 준수함으로써 엄격한 유한 표본 피복 보증을 유지합니다.
• 실용적 유용성: 모달리티 가용성이 동적인 배포 환경에서 유용한 솔루션을 제공하며, 입력 분포가 변화하더라도(예: 센서 누락 또는 텍스트 손상) 불확실성 추정치가 유효하게 유지되도록 보장합니다.

저자는 모델의 보증이 적합(fitting), 튜닝(tuning), 캘리브레이션(calibration) 데이터의 엄격한 분리에 의존하며, 스칼라 불일치 점수가 모든 소스를 동일하게 취급하여 교차 모달 의존성이나 소스별 신뢰도 차이를 놓칠 수 있다는 점을 언급하며 겸허한 태도를 유지합니다. 본 방법은 새로운 융합 아키텍처라기보다 기존 시스템을 개선하기 위한 래퍼(wrapper)로 제시됩니다.