기술 요약: 스캔 누락 상황에서도 유지되는 보증 (Guarantees That Survive a Missing Scan)

문제 정의

멀티모달 의료 진단은 의료 영상과 정형화된 표 형식 데이터(예: 검사 결과, 인구통계학적 정보)를 융합하는 데 점점 더 의존하고 있습니다. 실제 배포 환경에서 이러한 모델은 전체 모달리티가 누락된 불완complete한 입력(예: 환자가 스캔 없이 도착하거나 검사 결과 없이 도착하는 경우)에 빈번하게 직면합니다. Conformal Prediction (CP)는 분포-무관(distribution-free) 및 유한 샘플 커버리지 보증을 제공하는 표준 방법이지만, 그 타당성은 교정(calibration) 데이터와 테스트 데이터 사이의 교환 가능성(exchangeability) 가정에 의존합니다.

본 논문은 결정적인 실패 모드를 식별합니다: 테스트 시점에 전체 모달리티가 부재할 때 교환 가능성 가정이 깨집니다. 만약 교정이 모달리티가 완전한 환자들을 대상으로 수행되었는데 테스트는 모달리티가 불완전한 환자들을 대상으로 수행된다면, 비정상성 점수(non-conformity scores)는 더 이상 교환 가능하지 않습니다. 결과적으로, 표준 마진 분할 CP(marginal split CP)는 모달리티 불완전 하위 그룹에 대해 **조건부 타당성(conditional validity)**을 조용히 상실합니다. 논문은 이러한 실패가 데이터셋과 훈련 방식에 따라 다음과 같은 두 가지 상반된 방식으로 나타남을 입증합니다:

1. 타당하지만 정보가 없는 경우 (Valid but Uninformative): 이 방법은 커버리지 목표(예: 90%)를 만족하지만, 가능한 모든 레이블을 포함하는 퇴보적인 집합(degenerate sets)을 출력함으로써 실질적인 임상 통찰력을 제공하지 못합니다.
2. 정보가 있지만 타당하지 않은 경우 (Informative but Invalid): 이 방법은 작고 확신에 찬 예측 집합을 생성하지만, 커버리지 목표를 달러하지 못하며, 허용된 오차율보다 훨씬 더 자주 실제 진단을 놓칩니다.

방법론: 모달리티 조건부 컨포멀 예측 (MC2)

이를 해결하기 위해 저자들은 **모달리티 조건부 컨포멀 예측 (Modality-Conditional Conformal Prediction, MC2)**을 도입합니다. 이 접근 방식은 기존 예측 모델을 재학습할 필요 없이 누락된 모달리티를 처리하도록 교정 과정을 수정합니다.

• 몬드리안 교정 (Mondrian Calibration): MC2는 모달리티 가용성 패턴(예: "영상+표 형식", "영상 전용", "표 형식 전용")을 그룹화 함수로 취급합니다. 전체 데이터셋에 대해 단일 글로벌 임계값을 계산하는 대신, MC2는 이러한 패턴별로 교정 세트를 계층화합니다.
• 패턴별 임계값: 각 모달리티 패턴 $m$에 대해, 별도의 임계값 $\hat{q}_m$은 해당 특정 하위 그룹의 비정상성 점수에 대한 $(n_m + 1)(1-\alpha)/n_m$-분위수로 계산됩니다.
• 구현 세부 사항:
  • 예측기 $f$는 학습 가능한 마스크 토큰과 모달리티 드롭아웃을 사용하여 불완전한 입력을 처리하도록 훈련됩니다.
  • 이미지 인코더는 교정 레이어에 대한 기여도를 격리하고 범용 하드웨어에서의 실행 가능성을 보장하기 위해 동결(frozen)됩니다.
  • 특정 모달리티 패턴의 데이터가 불충분한 경우(임계값 $\tau$ 미만), 방법론은 풀링된(마진) 임계값으로 회귀하며 이를 명시적으로 보고합니다.
  • 이 방법은 주로 LAC (Least Ambiguous set-valued Classifier) ($s = 1 - p_y$)를 사용하는 표준 비정상성 점수를 사용하지만, APS (Adaptive Prediction Sets)도 고려됩니다.

주요 기여

1. 조건부 타당성 상실의 공식화: 본 논문은 표준 분할 CP가 전체 모달리티 부재 하에서 조건부 타당성을 상실함을 공식적으로 입증하고, 이 실패의 "두 가지 얼굴"(타당하지만 정보가 없는 경우 vs 정보가 있지만 타당하지 않은 경우)을 경험적으로 규명합니다.
2. MC2 도입: 저자들은 모달리티 가용성 패턴에 따라 계층화하는 몬드리안 교정 전략인 MC2를 제안합니다. 이는 훈련된 예측기에 변경을 가하지 않고도 유효한 패턴별 커버리지를 복구합니다.
3. 메커니즘 식별: 통제된 실험을 통해, 논문은 클래스 유병률(class prevalence)(모달리티 중복성이 아님)이 어떤 "얼굴"의 실패가 나타날지를 결정하는 주요 동인임을 식별합니다. 유병률이 낮으면 과소 커버리지(under-coverage)가 발생하고, 유병률이 높으면 퇴보적 집합(degenerate sets)이 발생함을 보여줍니다.

실험 결과

방법론은 두 가지 공개 이미지+표 형식 데이터셋에서 평가되었습니다:

• CBIS-DDSM: 유방 촬영 ROI 및 표 형식 메타데이터 (이진 분류: 양성/악성; 유병률 ~40.8%).
• OL3I (Stanford AIMI): 단일 L3 CT 슬라이스 및 임상 위험 요인 (이진 분류: 1년 내 허혈성 심장 질환; 유병률 ~4.4%).

결과:

• CBIS-DDSM (높은 유병률): 마진 CP는 타당하지만 정보가 없었습니다. 200 에포크에서, 마진 CP는 영상이 누락된 하위 그룹에 대해 100% 커버리지를 달성했지만, 모든 사례에 대해 전체 레이블 집합을 출력했습니다 (실행 가능률 0%). MC2는 커버리지를 ~90%로 복구하는 동시에 실행 가능률을 두 배로 높였습니다 (조기 종료 시 ~13%에서 ~26%로 증가, 긴 훈련 시 0%에서 회복).
• OL3I (낮은 유병률): 마진 CP는 정보가 있지만 타당하지 않았습니다. 200 에포크에서, 마진 CP는 높은 실행 가능률(~89%)을 달성했지만 커버리지가 목표치인 90%에 못 미치는 ~73%로 떨어졌습니다. MC2는 신뢰할 수 있는, 다소 낮은 실행 가능률을 대가로 커버리지를 ~91%로 복구했습니다.
• 합성 다중 클래스 연구: $K=6$ 클래스를 사용한 통제된 연구는 마진 CP가 영상 누락 하위 그룹에서 심각하게 과소 커버리지(~90% 목표 대비 ~45% 커버리지)를 보이는 반면, MC2는 목표를 유지함을 확인했습니다.
• 유병률 스왑 (Prevalence Swap): 유병률 비율을 인위적으로 맞바꿈으로써(모달리티 구조는 고정), 저자들은 실패 모드가 "반전"됨을 보여주었습니다. CBIS의 유병률을 4.4%로 낮추면 과소 커버리지가 유발되었고, OL3I의 유병률을 40%로 높이면 퇴보성이 유발되었습니다. 이는 유병률이 임계값 불일치를 유발한다는 것을 확인시켜 줍니다.

의의 및 주장

본 논문은 MC2가 멀티모달 임상 배포에서 흔히 발생하는 실패 모드에 대한 간단하고, 사후적(post-hoc)이며, 계산 비용이 적은 해결책이라고 주장합니다. 그 의의는 다음과 같습니다:

• 신뢰 회복: 입력 데이터가 저하된 환자들(스캔이 누락된 환자들)에게도 불확실성 정량화가 유효하도록 보장합니다. 이들은 종종 가장 취약하며 신뢰할 수 있는 의사결정 지원이 필요한 대상입니다.
• 유용성 보존: 모델이 자신의 확신에 대해 거짓말을 하거나 무용지물이 되는 것을 방지하여, 타당성(커버리지)과 정보성(실행 가능한 집합 크기) 사이의 트레이드오프를 복구합니다.
• 재학습 불필요: 이 방법은 기존 예측기 위에 교정 레이어로 작동하므로, 이미 배포된 시스템에 즉시 적용 가능합니다.

저자들은 한계점에 대해 겸허한 태도를 유지하며, 결과가 동결된 인코더에 의존하고, 데이터셋이 이진 분류이며(다중 클래스는 합성 데이터로 보여줌), 결측치가 각 패턴 내에서 조건부로 무작위(conditionally at random)라는 가정에 기반한다는 점을 언급했습니다. 또한 APS 점수를 사용한 MC2의 성능은 레지임(regime)에 따라 달라질 수 있으며 LAC 점수보다 견고함이 떨어질 수 있다고 언급했습니다.