기술 요약: 블록 단위 결측 상황에서의 패턴 교정된 다중 모달 예측

1. 문제 정의

다중 모달 예측 작업(예: 코드, 텍스트, 이미지를 포함하는 전자 건강 기록)에서 데이터는 종종 블록 단위 결측(blockwise missingness) 문제를 겪습니다. 이는 획득 비용, 워크플로 제약 또는 개인정보 보호 문제로 인해 특정 대상에 대해 전체 모달리티가 관찰되지 않는 현상을 의미합니다.

기존 방식들은 대개 이를 불완전한 입력 문제로 취급하며, 임퓨테이션(imputation), 제로 필링(zero-filling) 또는 퓨전 아키텍처를 통해 모든 레코드를 단일 예측 모델에서 사용 가능하게 만드는 것을 목표로 합니다. 그러나 저자들은 이러한 방법들이 근본적인 **추정량 문제(estimand problem)**를 해결하지 못한다고 주장합니다.

• 패턴 특이적 작업(Pattern-Specific Tasks): 관찰된 모달리티의 집합은 예측을 위해 가용한 정보의 범위를 정의합니다. "코드만 있는 경우"에 조건화된 규칙은 "코드, 노트, 이미지가 모두 있는 경우"의 규칙과 근본적으로 다릅니다.
• 풀링으로 인한 편향(Bias from Pooling): 결측 지표를 포함하더라도 모든 패턴에 대해 단일 풀링된 예측기를 학습시키는 것은 서로 다른 관찰 가능한 예측 작업을 하나의 공통된 규칙을 공유하도록 강제합니다. 이는 풀링된 규칙이 타겟 패턴의 특정 리스크가 아닌, 유병률 가중 평균 리스크를 최소화하게 함으로써 편향을 유발합니다.
• 로컬 피팅의 비효율성(Inefficiency of Local Fitting): 반대로, 각 결측 패턴에 대해 별도의 모델을 학습시키는 것(완전한 로컬 전략)은 특정 패턴이 희소할 때(예: 완전 관찰된 레코드가 코드 전용 레코드보다 적은 경우) 비효%적입니다.

핵심 과제는 서로 다른 패턴 간에 정보를 빌려와 효율성을 개선하면서도, 어떻게 별개의 패턴 특이적 예측 규칙을 하나의 편향된 규칙으로 붕괴시키지 않을 것인가입니다.

2. 방법론: MOSAIC

저자들은 패턴 간의 강점을 보존하면서도 패턴 간 정보를 빌려올 수 있도록 설계된 프레임워크인 **MOSAIC(Multimodal Overlap-aware Shared-specific Alignment and Inter-pattern Calibration)**를 제안합니다. 이 방법은 세 단계로 작동합니다.

2.1 공유 및 모달리티 특이적 표현 학습

MOSAIC은 먼저 라벨이 없는 다중 모달 데이터(또는 별도의 표현 학습 샘플)로부터 표현 공간을 학습합니다. 이 공간은 정보를 다음과 같이 분해합니다:

• 공유 표현($z^{(0)}$): 여러 모달리티 간에 비교 가능한 정보.
• 모달리티 특이적 표현($z^{(l)}$): 모달리티 $l$에 고유한 정보.

학습 목적 함수는 세 가지 항을 최소화합니다:

1. 정렬 손실($L_{shared}$): 동일한 대상으로부터 추출된 서로 다른 관찰 모달리티의 공유 표현이 서로 가깝도록 보장합니다.
2. 직교/디커플링 손실($L_{orth}$): 공유 표현과 특이적 표현이 동일한 변동성을 갖지 않도록 방지합니다(결합된 표현의 경험적 2차 모멘트를 정규화함).
3. 재구성 손실($L_{recon}$): 표현이 원래의 모달리티를 재구성하기에 충분한 정보를 보유하도록 보장합니다.

2.2 오버랩 기반 1단계 예측

타겟 결측 패턴 $k$에 대해, MOSAIC은 표현 좌표가 겹치는(overlap) 다른 모든 패턴 $j$로부터 샘플을 빌려와 1단계 예측기 $h^{(k)}$를 구축합니다.

• $S_j \cap S_k$에 있는 좌표(공유되고 양쪽 모두에서 관찰된 것)는 유지하고, $S_k \setminus S_j$에 있는 좌표는 제로 필링합니다.
• 이를 통해 모델은 타겟 패턴의 적은 샘플 수 $n_k$에 국한되지 않고, 소스 패턴들의 오버랩으로부터 유도된 더 큰 **유효 샘플 크기($en(k)$)**를 활용할 수 있습니다.
• 결정적으로, 이 1단계 예측기는 일반적으로 타겟 패턴에 대한 최적의 규칙은 아닙니다. 왜냐하면 소스 샘플들이 전체 타겟 표현을 갖추지 못했기 때문입니다.

2.3 타겟 패턴 교정

1단계 예측기에 의해 도입된 편향을 수정하기 위해, MOSAIC은 오직 타겟 패턴 $k$의 라벨링된 샘플만을 사용하여 교정 갭(calibration gap) $\Delta^{(k)} = g^{(k)} - h^{(k)}$를 추정합니다.

• 최종 예측기는 $g^{(k)} = h^{(k)} + \Delta^{(k)}$가 됩니다.
• 이 단계는 전체 규칙을 처음부터 학습시키는 것보다 덜 까다로운 잔차 수정(residual correction) 단계이며, 특히 공유 표현과 특이적 표현이 잘 분리되어 있을 때 효과적입니다.

3. 주요 기여

1. 문제 공식화: 본 논문은 "패턴 특이적 교차 패턴 빌리기(pattern-specific cross-pattern borrowing)" 문제를 공식화하여, 서로 다른 예측 규칙을 풀링할 때 발생하는 편향과 로컬 피팅의 비효율성을 구분하였습니다. 또한, 특정 관찰 모달리티 집합에 조건화된 최적의 예측 규칙을 추정량으로 정의하였습니다.
2. MOSAIC 프레임워크: 다음을 수행하는 2단계 패턴 교정 프레임워크를 도입했습니다:
   • 디커플링된 공유 및 모달리티 특이적 표현 학습.
   • 표현 공간의 오버랩을 통한 샘플 빌리기.
   • 빌려온 예측기를 수정하기 위한 타겟 패턴 특이적 교정 적용.
3. 이론적 보장: 저자들은 예측 오차를 세 가지 구성 요소로 분해하는 비점근적 에러 바운드(non-asymptotic error bounds)를 수립했습니다:
   • 오버랩 유효 샘플 크기: 패턴 간 빌려온 정보의 이점.
   • 교정 갭: 빌려온 예측기와 타겟 규칙 사이의 불일치로 인한 오차.
   • 표현 학습 오차: 잠재 표현을 추정하는 과정에서 발생하는 오차.
   • 이 이론은 표현 학습 오차와 교정 갭이 통제되는 한, 오버랩 유효 샘플 크기가 로컬 샘플 크기보다 유의미하게 클 때 빌려오는 것이 로컬 피팅보다 개선됨을 명확히 합니다.

4. 실험 결과

4.1 시뮬레이션

• 표현 복구: 실험을 통해 MOSAIC이 공유 및 모달리티 특이적 표현을 성공적으로 복구함을 입증하였으며, 직교 디커플링이나 재구성 손실이 없는 어블레이션 모델보다 우수한 성능을 보였습니다. 복구 성능은 라벨 없는 샘플 크기가 크고 공동 관찰 확률이 높을수록 향상되었습니다.
• 예측 성능: MOSAIC은 다양한 결측 패턴에서 외부 베이스라인(예: M3Care, MedFuse, IF-MMIN) 및 내부 어블레이션 모델 대비 가장 낮은 균형 MSE(Mean Squared Error)를 달축했습니다.
  • 어블레이션 연구: 교정 단계를 제거하면 모달리티 간 잔차 의존성이 증가함에 따라 성능 저하가 발생하여, 교정 단계의 필요성을 확인했습니다. 표현 학습을 제거하고 PCA를 사용하는 경우 수렴 속도가 느려져, 학습된 공유 구조의 가치를 입증했습니다.

4.2 실제 응래 (Real-World Applications)

• MIMIC (ICU 사망 예측): 구조화된 코드, 임상 노트, 흉부 X-레이를 사용하는 차기 방문 ICU 사망 예측에 적용되었습니다.
  • MOSAIC은 가장 높은 전체 AUROC (0.861), AUPRC, F1 스코어를 달성했습니다.
  • 패턴 특이적 이점: 특히 "코드 전용" 패턴에서 두드прав진 개선을 보였는데, 이는 풍부한 모달리티로부터의 교차 패턴 빌리기가(공유 코드를 통해) 노트와 이미지의 부재를 보완했기 때문입니다. 또한 완전 관찰 패턴에서도 최고 성능을 유지했습니다.
• IEMOCAP 및 FairDomain: 감정 인식 및 녹내장 분류에 대한 추가 평가를 통해 통제된 모달리티 마스킹 하에서의 MOSAIC의 이점을 확인했습니다.

5. 의의 및 주장

본 논문은 MOS-AIC이 편향(서로 다른 예측 작업을 풀링함)과 효율성(제한된 로컬 샘플) 사이의 트레이드오프에 대한 원칙적인 솔루션을 제공한다고 주장합니다.

• 메커니즘: 표현 학습과 타겟 패턴 교정을 분리함으로써, MOSAIC은 단일한(잠재적으로 편향된) 예측 규칙을 공유하도록 강제하지 않으면서도 모델이 결측 패턴 간에 "강점을 빌릴 수 있도록" 합니다.
• 이론적 통찰: 에러 바운드의 분해는 교차 패턴 빌리기가 유익한 시점을 명확히 설명합니다. 즉, 오버랩 유효 샘플 크기가 로컬 샘플 크기에 비해 크고, 표현 학습 및 교정 갭이 작을 때입니다.
• 실질적 영향: 이 방법은 타겟 패턴의 샘플이 제한적이거나(예: 희귀한 완전 관찰 레코드) 패턴 특이적 규칙이 크게 다를 때 특히 효과적입니다.

저자들은 현재의 이론적 분석이 단순화된 선형 표현 모델과 MCAR(Missing Completely at Random) 가정에 의존하고 있음을 언급했습니다. 향-후 연구에서는 비선형 인코더 및 더 일반적인 결측 메커니즘(MAR/MNAR)으로 보장을 확장하고, 오버랩이 약한 희귀 패턴에 대한 과제를 해결할 것을 제안했습니다.