Characterizing the Predictive Impact of Modalities with Supervised Latent-Variable Modeling

이 논문은 훈련 및 추론 시 모달리티가 불완전한 경우에도 모든 학습 데이터를 활용하고 결손된 모달리티의 예측 기여도를 정량화할 수 있는 새로운 지도형 잠재변수 모델인 PRIMO 를 제안합니다.

핵심

이 논문은 **'PRIMO'**라는 새로운 인공지능 모델을 소개합니다. 이 모델은 우리가 가진 정보가 부족할 때 (예: 병원에서 검사 결과가 일부만 나왔을 때), 그 부족한 정보가 결과에 얼마나 큰 영향을 미치는지를 정교하게 분석하고 예측하는 데 특화되어 있습니다.

기존의 AI 들은 보통 "모든 정보가 다 있어야만 제대로 작동한다"는 전제를 가지고 있었습니다. 하지만 현실 세계는 그렇지 않죠. 환자가 병원에 왔을 때 모든 검사 결과가 바로 나오는 것은 드뭅니다. PRIMO 는 이런 '불완전한 정보' 상황에서도 똑똑하게 대처하고, 만약 추가 정보가 들어왔을 때 예측이 어떻게 바뀔지 상상해 볼 수 있게 해줍니다.

이 복잡한 개념을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🕵️‍♂️ PRIMO: "정보의 빈칸을 상상하는 탐정"

상상해 보세요. 당신이 치즈 피자를 주문하려고 합니다. 하지만 주문서에는 **'치즈'**만 적혀 있고, **'토마토 소스'**나 '베이컨' 같은 다른 재료는 적혀 있지 않습니다 (이것이 '결측된 모달리티'입니다).

1. 기존 AI 의 방식: "가상 채우기" (Imputation)

기존의 AI 들은 빈칸을 채우기 위해 **"아마도 토마토 소스가 들어갔겠지, 베이컨도 있을 거야"**라고 추측해서 빈칸을 채웁니다. 그리고 그 채워진 내용을 바탕으로 "이건 치즈 피자야!"라고 결론을 내립니다.

• 문제점: 만약 실제로는 소스가 없거나, 다른 재료가 들어갔다면? AI 는 그 추측이 틀렸을지 모른다는 사실을 잊어버리고, 마치 모든 정보가 확실한 것처럼 예측합니다.

2. PRIMO 의 방식: "가능성의 시뮬레이션" (Latent-Variable Modeling)

PRIMO 는 빈칸을 한 가지로 채우지 않습니다. 대신 이렇게 말합니다.

"음, 이 치즈 피자는 토마토 소스가 들어갈 수도 있고, 안 들어갈 수도 있겠네. 혹은 베이컨이 들어갈 수도 있고..."

PRIMO 는 수천 가지의 '가상의 피자'를 상상해 봅니다.

• 시나리오 A: 토마토 소스 O, 베이컨 X
• 시나리오 B: 토마토 소스 X, 베이컨 O
• 시나리오 C: 토마토 소스 O, 베이컨 O

그리고 각 시나리오마다 "이건 어떤 피자일까?"라고 물어봅니다.

• 만약 모든 시나리오에서 **"치즈 피자"**라고 일관되게 나온다면? → "아, 추가 정보가 없어도 확신할 수 있구나." (예측이 안정적)
• 만약 시나리오에 따라 "치즈 피자", "고구마 피자", **"햄 피자"**로 결과가 뚝뚝 갈린다면? → "아, 추가 정보 (토마토 소스 등) 가 정말 중요하구나! 정보가 없으면 결과가 완전히 달라질 수 있어." (예측이 불안정)

이처럼 PRIMO 는 **부족한 정보가 예측을 얼마나 흔드는지 (변동성)**를 측정하여, 그 정보의 중요도를 알려줍니다.

---

🏥 실제 적용 사례: 병원에서의 활용

이론만으로는 어렵죠? 실제 병원 상황을 예로 들어볼까요.

상황: 환자가 응급실에 왔습니다.

• 있는 정보 (xo): 나이, 성별, 기저질환 (만성 질환 유무) 등.
• 없는 정보 (xm): ICU 에 입원 후 24 시간 동안의 심박수, 산소 농도 등 실시간 생체 신호.

PRIMO 가 분석하는 과정:

1. 환자 A (고령, 만성 질환 있음):
   • 실시간 신호가 없어도 나이와 기저질환만으로도 "위험하다"고 예측됩니다.
   • PRIMO 는 "실시간 신호가 들어와도 예측이 크게 바뀌지 않겠군"이라고 판단합니다. (추가 검사 없이도 결정 가능)
2. 환자 B (젊음, 기저질환 없음):
   • 나이와 기저질환만으로는 "안전하다"고 예측되지만, PRIMO 는 실시간 신호를 상상해 봅니다.
   • "아, 만약 심박수가 급격히 떨어지면 '위험'으로 바뀔 수도 있겠네."
   • PRIMO 는 "이 환자는 실시간 신호가 매우 중요하다"고 경고합니다. (추가 검사가 필수)

이처럼 PRIMO 는 **"어떤 환자에게는 추가 검사가 필요하고, 어떤 환자에는 불필요한지"**를 환자 개인별로 분석해 줍니다.

---

💡 이 기술이 왜 중요한가요?

1. 불완전한 데이터도 활용 가능: 정보가 빠져 있어도 버리지 않고, 그 정보를 '상상'하며 학습할 수 있습니다.
2. 비용과 위험 절감: 모든 환자에게 비싼 MRI 나 복잡한 검사를 다 할 필요가 없습니다. PRIMO 가 "이 환자는 추가 검사 없이도 결과가 명확하다"고 말해주면, 불필요한 검사를 줄일 수 있습니다.
3. 예측의 신뢰도 확인: "내가 이걸 예측한 건 정말 확실한가, 아니면 정보가 부족해서 헷갈리는 건가?"를 숫자로 보여줍니다.

📝 한 줄 요약

PRIMO는 "정보가 부족할 때, 그 부족함이 내 판단을 얼마나 뒤흔들지 상상해 보는 AI"입니다. 마치 비밀스러운 재료가 들어갈지 말지 고민하며 요리를 평가하는 미식가처럼, 정보가 없는 상황에서도 "이 정보가 정말 중요할까?"를 정교하게 분석해 줍니다.

이 기술은 의료, 금융, 자율주행 등 정보의 불완전성이 치명적일 수 있는 모든 분야에서 더 안전하고 똑똑한 의사결정을 도와줄 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 최근 멀티모달 대규모 언어 모델 (MLLM) 의 성공에도 불구하고, 기존 접근법은 훈련 및 추론 시 모든 모달리티 (데이터 소스) 가 존재한다고 가정합니다.
• 현실적 한계: 실제 응용 (특히 의료 분야) 에서는 모달리티가 누락되거나, 비동기적으로 수집되거나, 일부 예시에만 존재하는 경우가 빈번합니다.
• 기존 방법의 한계:
  • 대부분의 기존 방법은 누락된 모달리티를 보간 (Imputation) 문제로 접근합니다. 관측된 모달리티를 기반으로 누락된 값을 추론한 후 이를 관측된 값으로 간주하여 예측합니다.
  • 생성 모델 (VAE 등) 을 사용하는 경우 입력 재구성에 최적화되어 있어, 예측 (분류) 성능과는 직접적인 상관관계가 없을 수 있습니다.
  • 일부 방법은 부분적으로 관측된 데이터를 훈련에서 배제하거나, 완전한 데이터 쌍만 사용하여 훈련합니다.
• 핵심 질문: "주어진 멀티모달 예시에서, 누락된 모달리티가 예측 결과에 어떤 영향을 미치는가?"
  • 단순히 누락된 값을 채우는 것이 아니라, 그 값이 예측 분포를 어떻게 변화시키는지 (불확실성) 를 정량화하는 것이 목표입니다.

2. 제안 방법: PRIMO (Methodology)

저자들은 PRIMO라는 감독된 잠재 변수 (Supervised Latent-Variable) 모델을 제안합니다. 이는 훈련과 추론 시 완전한 데이터와 부분적인 데이터를 모두 활용하며, 누락된 모달리티의 예측적 영향을 정량화합니다.

2.1 모델 구조 및 학습 목표

• 잠재 변수 (Latent Variable, $z$): 누락된 모달리티 $x_m$과 관련된 정보 중 예측 $y$에 중요한 부분만을 포착하기 위해 연속적인 잠재 변수 $z$를 도입합니다.
• 데이터 생성 과정 (DGP):
  • 완전한 데이터 ($x_o, x_m, y$): $p(y|x_o, x_m) = \int p_\theta(y|x_o, z) p_\omega(z|x_o, x_m) dz$
  • 누락된 데이터 ($x_o, y$): $p(y|x_o) = \int p_\theta(y|x_o, z) p_\omega(z|x_o) dz$
• 학습 목적 함수 (ELBO):
  • 두 경우 모두에 대해 증거 하한 (ELBO) 을 최대화합니다.
  • 중요: 입력 모달리티를 재구성하는 항 (Reconstruction term) 이 없습니다. 오직 예측 분포 $p(y|\cdot)$를 최적화하는 판별적 (Discriminative) 목적만 가집니다.
  • 대칭성 깨기 (Symmetry Breaking): 잠재 공간의 이동 불변성 문제를 해결하기 위해, 관측된 모달리티만 있는 경우의 사전 분포 $p_\omega(z|x_o)$를 표준 정규분포 $N(0, I)$에 고정하고, 완전한 데이터의 사전 분포를 이에 맞추는 정규화 항을 추가합니다.
  • 후방 붕괴 방지: Posterior mean 에 배치 정규화 (Batch Normalization) 를 적용하여 KL 발산이 0 이 되는 것을 방지합니다.

2.2 추론 및 영향력 정량화

• 예측 (Prediction):
  • $x_m$이 누락된 경우, $z \sim p_\omega(z|x_o)$에서 $K$개의 샘플을 추출하여 예측 확률의 평균을 내어 최종 예측을 수행합니다.
  • $x_m$이 있는 경우, $z \sim p_\omega(z|x_o, x_m)$에서 샘플링합니다.
• 예측 영향력 지표 ($V$):
  • 잠재 변수 $z$의 변화가 예측 분포에 미치는 영향을 **총 변동 거리 (Total Variation Distance, TVD)**로 측정합니다.
  • $V = E_{z} [TVD(p_\theta(\cdot|x_o, z), \bar{p}_\theta(\cdot|x_o))]$
  • 해석: $V$ 값이 크다면 누락된 모달리티가 예측에 큰 영향을 미친다는 뜻 (불확실성 높음) 이고, 작다면 관측된 모달리티만으로 예측이 충분하다는 뜻입니다.
• 가능성 있는 레이블 시각화:
  • 다양한 $z$ 샘플에 대한 예측 로짓 (logits) 을 클러스터링 (DPGMM) 하여, 누락된 모달리티로 인해 발생할 수 있는 "합리적인 레이블 집합 (Plausible Labels)"을 시각화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임: 누락된 모달리티를 단순히 '채우는 것'이 아니라, 그 모달리티가 예측에 미치는 영향력 (Impact) 과 불확실성을 정량화하는 새로운 프레임워크를 제시했습니다.
2. 유연한 훈련/추론: 완전한 데이터와 누락된 데이터가 혼합된 환경에서 훈련 및 추론이 가능하며, 기존 방법들보다 더 많은 훈련 데이터를 활용합니다.
3. 인스턴스 수준의 분석: 전체 데이터셋의 평균 성능뿐만 아니라, **개별 예시 (Instance-level)**마다 어떤 모달리티가 중요한지, 그리고 누락 시 예측이 어떻게 변할 수 있는지를 분석할 수 있는 도구를 제공합니다.
4. 실용적 진단 도구: 완전한 모달리티가 있는 경우에도 모델이 특정 모달리티에 의존하는지 (Shortcuts), 혹은 어떤 모달리티가 불필요한지 진단하는 데 활용 가능합니다.

4. 실험 결과 (Results)

저자들은 합성 데이터 (XOR), 오디오 - 비전 데이터 (AV-MNIST), 그리고 의료 데이터 (MIMIC-III) 에서 PRIMO 를 평가했습니다.

• 성능 (Accuracy):
  • 모달리티 누락 시: PRIMO 는 단일 모달리티 (Unimodal) 베이스라인과 유사한 성능을 냅니다.
  • 모달리티 완전 시: PRIMO 는 멀티모달 베이스라인과 유사한 성능을 냅니다.
  • 기존 생성 모델 (MVAE, MMVAE) 이나 다른 보간 기반 방법들보다 우수한 또는 동등한 성능을 보였습니다.
• AV-MNIST (오디오/비전):
  • 비전이 누락된 경우 예측 불확실성 ($V$) 이 오디오가 누락된 경우보다 훨씬 컸습니다. 이는 숫자 인식에 비전이 더 중요함을 의미합니다.
  • 고변동성 (High-V) 예시에서는 다양한 잠재 샘플에 따라 예측 레이블이 달라지는 것을 확인했습니다.
• MIMIC-III (의료 데이터):
  • 사망률 예측: 나이와 같은 정적 (Static) 정보만으로도 예측이 가능한 경우가 많았으나, 고령 환자 등에서는 시계열 데이터 (Time-series) 가 중요한 영향을 미쳤습니다.
  • ICD-9 코드 예측:
    • 종양 (Neoplasms): 정적 정보 (만성 질환 등) 만으로도 예측이 잘 되어 시계열 데이터의 영향이 적었습니다.
    • 호흡기 질환: 시계열 데이터 (산소포화도 등) 가 필수적이었으며, 이를 누락하면 예측 불확실성이 극도로 커졌습니다.
  • 결론: 동일한 데이터셋 내에서도 작업 (Task) 에 따라 모달리티의 중요도가 크게 달라짐을 PRIMO 가 포착했습니다.

5. 의의 및 결론 (Significance)

• 실제 적용 가능성: 의료 등 고비용/고위험 분야에서 추가 모달리티 수집이 불가능할 때, "그 정보가 있으면 예측이 어떻게 변할까?"를 사전에 평가하여 의사결정을 지원합니다.
• 데이터 불균형 해결: 누락된 데이터가 있는 경우에도 모든 데이터를 훈련에 활용할 수 있게 하여 데이터 효율성을 높입니다.
• 해석 가능성: 멀티모달 모델이 어떤 모달리티에 의존하는지, 그리고 개별 사례별로 그 의존도가 어떻게 다른지를 시각적이고 정량적으로 보여줍니다.
• 향후 과제: 3 개 이상의 모달리티가 있는 경우나, 레이블이 누락된 실제 환경에서의 검증 필요성이 제기되었습니다.

요약하자면, PRIMO는 누락된 데이터가 있는 현실적인 멀티모달 학습 환경에서, 단순히 값을 채우는 것을 넘어 누락된 정보가 예측에 미치는 불확실성과 영향력을 체계적으로 분석할 수 있는 강력한 프레임워크를 제공합니다.