Inference-Time Dynamic Modality Selection for Incomplete Multimodal Classification

이 논문은 결측 멀티모달 데이터의 분류 성능을 극대화하기 위해 추론 시 작업 관련 정보를 최대화하는 동적 모달리티 선택 프레임워크 'DyMo'를 제안하며, 기존 폐기 또는 보간 방식의 한계를 극복하고 다양한 데이터셋에서 최첨단 성능을 입증했습니다.

핵심

🧩 잃어버린 조각을 찾아내는 똑똑한 AI: 'DyMo' 이야기

이 논문은 **"불완전한 정보로 세상을 이해하는 AI"**에 대한 이야기입니다. 우리가 살아가면서 모든 정보가 완벽하게 주어지는 경우는 드뭅니다. 예를 들어, 의사가 환자를 진료할 때 MRI 사진은 있는데 혈액 검사 결과는 없거나, 반대로 혈액 검사만 있고 영상은 없는 경우가 있죠.

기존의 AI들은 이런 상황에서 두 가지 선택지 중 하나만 고려했습니다.

1. 무시하기: 정보가 없는 건 그냥 무시하고 나머지 정보만으로 판단한다. (하지만 중요한 정보가 빠질 수 있어 위험함)
2. 추측하기: 없는 정보를 AI 가 임의로 만들어서 (추정해서) 채운다. (하지만 잘못된 추측을 하면 오히려 혼란을 줌)

이 논문은 이 두 가지의 단점을 모두 해결한 새로운 방법, **'DyMo'**를 제안합니다.

---

🍽️ 비유로 이해하는 DyMo 의 원리

이해를 돕기 위해 **'요리사'**와 **'손님'**의 상황을 상상해 보세요.

1. 상황: 손님이 주문을 하려는데 재료가 부족해요

손님이 "스테이크를 주세요"라고 주문했는데, 주방에는 **고기 (이미지)**만 있고 **소스 (텍스트/데이터)**가 없습니다.

• 기존 방법 A (무시하기): 소스가 없으니 고기만 보고 "아마도 소금 간을 했겠지?"라고 추측해서 내줍니다. (맛이 없을 수도 있음)
• 기존 방법 B (임의 추측): 소스 레시피를 기억하지 못하더라도, AI 가 "어디서 본 것 같은 소스"를 임의로 만들어서 고기에 붓습니다. (하지만 그 소스가 고기와 안 맞거나, 상한 소스일 수도 있음)

2. DyMo 의 새로운 방법: "맛있는 소스만 골라 넣기"

DyMo 는 이렇게 생각합니다.

"소스 (빠진 정보) 가 없다면, AI 가 임시로 소스를 만들어 보자. 그런데 이 만든 소스가 진짜 맛있는지, 아니면 상한 소스인지 미리 맛을 보고 결정하자!"

DyMo 는 다음과 같은 3 단계로 작동합니다.

① 임시 소스 만들기 (회복)
빠진 정보를 AI 가 먼저 추측해서 '임시 소스'를 만들어냅니다.

② 맛보기 테스트 (동적 선택)
이제 이 '임시 소스'를 진짜 고기에 섞어볼까요?

• 맛이 좋아졌다면? 👉 "좋아! 이 소스는 진짜 정보를 담고 있구나!"라고 생각해서 실제 메뉴판에 포함시킵니다.
• 맛이 이상하거나 상했다면? 👉 "아, 이 소스는 엉터리구나. 넣으면 안 되겠다."라고 생각해서 버립니다.

③ 최종 결정
오직 **맛있는 정보 (신뢰할 수 있는 복구된 데이터)**만 골라내서 최종적인 판단을 내립니다.

---

🚀 왜 이것이 중요한가요? (핵심 기술)

이 논문에서 가장 혁신적인 점은 **"어떻게 맛을 보는가?"**입니다.

• 기존의 문제: 다른 AI 들은 "이 소스가 얼마나 그럴듯해 보이느냐 (모양)"만 보고 판단했습니다. 그래서 모양은 예쁜데 맛없는 (의미가 없는) 소스를 넣는 실수를 자주 했습니다.
• DyMo 의 해법: DyMo 는 **"이 소스를 넣었을 때, 정답을 맞출 확률이 얼마나 올라가는가?"**를 계산합니다.
  • 마치 요리사가 "이 소스를 넣으면 손님이 만족할까?"를 계산하는 것처럼, AI 는 **"이 정보를 추가하면 내 점수 (오류율) 가 줄어드는가?"**를 실시간으로 계산합니다.
  • 점수가 올라가면 (오류가 줄어들면) 그 정보를 받아들이고, 점수가 떨어지면 (오류가 늘면) 그 정보를 거절합니다.

이 과정을 매번 (실시간) 수행하기 때문에, 어떤 정보는 받아들이고 어떤 정보는 거절할지 상황에 따라 유동적으로 결정할 수 있습니다.

---

🏆 실제 성과: 의료와 일상에서 빛을 발하다

이 방법은 실제 실험에서 놀라운 결과를 보여주었습니다.

1. 의료 진단 (심장병): MRI 영상과 환자의 병력 데이터 중 일부가 누락되어도, DyMo 는 누락된 데이터를 '맛있게' 복구해서 진단 정확도를 높였습니다. 잘못된 추측을 하지 않기 때문에 오진 위험을 줄여줍니다.
2. 이미지 인식: 손글씨 숫자나 얼굴 사진을 인식할 때, 일부 정보가 없어도 다른 정보와 잘 어울리는 '추측 정보'만 골라내어 정확도를 높였습니다.

💡 한 줄 요약

**"정보를 잃어버렸을 때, 무조건 무시하거나 막연히 추측하지 말고, AI 가 '이 정보가 진짜 도움이 될까?'를 실시간으로 테스트해서, 도움이 되는 정보만 골라내어 최선의 결정을 내리는 똑똑한 시스템"**입니다.

이처럼 DyMo는 불완전한 세상에서 AI 가 더 안전하고 정확하게 일할 수 있도록 도와주는 '현명한 필터' 역할을 합니다.

기술 요약

1. 문제 정의 (Problem Definition)

배경 및 한계:
다중 모달 딥러닝 (MDL) 은 의료, 마케팅 등 다양한 분야에서 성공을 거두었으나, 실제 배포 시에는 센서 고장, 전송 오류, 이질적인 데이터 수집 프로토콜 등으로 인해 **불완전한 모달리티 데이터 (Missing Modalities)**가 빈번하게 발생합니다.

기존 방법의 딜레마 (The Discarding-Imputation Dilemma):
기존 불완전 MDL 방법들은 크게 두 가지 접근 방식을 취하는데, 둘 다 본질적인 한계를 가집니다.

1. 회복 기반 (Recovery-based): 누락된 모달리티를 생성 (Imputation) 하여 복원한 후 사용합니다. 하지만 생성된 데이터가 저화질 (Low-fidelity) 이거나 의미론적으로 불일치 (Semantic misalignment) 하는 경우, 이는 노이즈로 작용하여 모델 성능을 저하시킵니다.
2. 비회복 기반 (Recovery-free): 누락된 모달리티를 무시하고 가용한 모달리티만으로 예측합니다. 이 경우, 누락된 모달리티가 작업에 매우 중요한 정보를 담고 있다면 그 가치를 잃게 되어 성능이 떨어집니다.

핵심 문제:
누락된 모달리티를 무시할지 (Discard) 아니면 **복원할지 (Impute)**에 대한 이분법적 선택은, 복원된 데이터의 신뢰도가 샘플마다 다르기 때문에 최적의 해결책이 될 수 없습니다. 즉, "유용한 정보는 잃을 수 있고, 해로운 정보는 포함될 수 있는" 딜레마가 존재합니다.

---

2. 제안 방법 (Methodology: DyMo)

저자들은 이 딜레마를 해결하기 위해 **DyMo (Dynamic Modality Selection)**라는 새로운 추론 시 동적 모달리티 선택 프레임워크를 제안합니다. DyMo 는 복원된 모달리티를 무조건 통합하거나 배제하는 대신, **작업 관련성 (Task Relevance)**에 기반하여 동적으로 신뢰할 수 있는 복원된 모달리티만 선택적으로 융합합니다.

주요 구성 요소:

1. 유연한 다중 모달 아키텍처 (Flexible Multimodal Architecture):

   • 임의의 모달리티 조합 (완전하거나 불완전한 경우 모두) 을 입력으로 받아 예측할 수 있도록 설계되었습니다.
   • 모달리티별 인코더, 다중 모달 트랜스포머 (Cross-modal interaction 학습), 분류기로 구성됩니다.
   • 누락된 모달리티를 위해 더미 토큰 (Dummy tokens) 을 사용하여 시퀀스 구조를 유지합니다.

2. 추론 시 동적 모달리티 선택 알고리즘 (Dynamic Modality Selection at Inference):

   • 핵심 아이디어: 각 샘플마다 **증분적 다중 모달 작업 관련 정보 (Incremental Multimodal Task-Relevant Information)**를 최대화하는 방향으로 모달리티를 선택합니다.
   • 정보 이론적 접근: 직접적인 정보량 (Mutual Information) 추정은 추론 시 데이터 분포를 알 수 없어 불가능하므로, 작업 손실 (Task Loss) 감소를 정보 획득의 대리 지표 (Proxy) 로 사용합니다.
   • MTIR (Multimodal Task-Relevant Information Reward):
     • 복원된 모달리티를 추가했을 때 분류 손실 (Cross-Entropy Loss) 이 감소하는 정도를 기반으로 보상 (Reward) 을 계산합니다.
     • 보상 신호 해석:
       • 양수 (+): 작업 관련 정보 추가 (신뢰할 수 있는 복원).
       • 0: 저화질로 인한 노이즈 (유용하지 않음).
       • 음수 (-): 의미론적 불일치로 인한 정보 왜곡 (해로운 복원).
   • 클래스 내 유사도 보정 (Intra-Class Similarity Calibration):
     • 예측된 클래스 프로토타입 (Class Prototype) 과의 거리 변화를 기반으로 보정 계수 ($\alpha$) 를 도입합니다.
     • 복원된 데이터가 학습 분포 내에서 해당 클래스의 대표성을 갖지 못하면 (비유사함), 보상을 감산하여 보수적으로 선택하도록 유도합니다.
   • 반복적 선택 (Iterative Selection):
     • 가장 높은 보상을 주는 복원 모달리티부터 순차적으로 통합하고, 비효율적인 모달리티는 제거하는 알고리즘 (Algorithm 1) 을 사용합니다.

3. 맞춤형 학습 전략 (Tailored Training Strategy):

   • 불완전 모달리티 시뮬레이션 학습: 훈련 중 무작위로 모달리티를 제거하여 다양한 누락 패턴에 강인한 특징을 학습합니다.
   • 보조 손실 (Auxiliary Missing-Agnostic Contrastive Loss): 누락 여부와 관계없이 동일한 클래스 샘플이 잠재 공간 (Latent Space) 에서 군집화되도록 유도하여, 동적 선택 시 신뢰할 수 있는 표현을 제공합니다.

---

3. 주요 기여 (Key Contributions)

1. 새로운 관점 제시: 불완전 MDL 에서의 "무시 vs 복원" 딜레마를 최초로 체계적으로 분석하고, 이를 해결하기 위해 동적 신경망을 도입했습니다.
2. DyMo 프레임워크 개발:
   • 작업 관련 정보 획득을 기반으로 한 새로운 선택 알고리즘 (MTIR) 과 보정 메커니즘을 제안했습니다.
   • 임의의 모달리티 조합에 대응 가능한 유연한 아키텍처와 강인한 특징 학습을 위한 훈련 전략을 설계했습니다.
3. 성능 입증: 자연 이미지 및 의료 이미지 데이터셋 (PolyMNIST, MST, CelebA, DVM, UKBB) 에서 기존 최첨단 (SOTA) 방법들 (회복 기반 및 비회복 기반) 보다 다양한 누락 시나리오에서 우수한 성능을 입증했습니다.
4. 실용성: 추가적인 아키텍처 오버헤드 없이 기존 모달리티 복구 방법 (VAE 등) 과 쉽게 결합하여 배포 가능합니다.

---

4. 실험 결과 (Results)

• 데이터셋: PolyMNIST, MST, CelebA (시뮬레이션 벤치마크), DVM (자연 이미지), UKBB (의료 이미지) 등 5 개 데이터셋.
• 비교 대상:
  • 정적/동적 융합 SOTA (CONCAT, QMF, DynMM, PDF 등).
  • 불완전 MDL SOTA (MultiAE, MoPoE, ModDrop, M3Care 등).
• 주요 성과:
  • PolyMNIST: 모달리티 80% 누락 시 기존 방법 대비 **1.61%~13.12%**의 정확도 향상.
  • CelebA: **3.88%**의 정확도 향상.
  • DVM: 전체 테이블이 누락된 경우 4.11% 향상.
  • 의료 데이터 (UKBB): 심근경색 분류에서 70% 표 데이터 누락 시 AUC 1.97% 향상.
• 분석:
  • 기존 동적 융합 방법들은 생성된 모달리티의 품질이 낮거나 의미 불일치가 있을 때 성능이 급격히 떨어지는 반면, DyMo 는 이를 효과적으로 식별하여 배제함으로써 강인함을 입증했습니다.
  • 다양한 복구 방법 (MoPoE, MMVAE+, CMVAE, TIP 등) 과 결합했을 때 일관된 성능 향상을 보였습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 불완전 다중 모달 데이터 처리에 있어 **"복원된 데이터의 신뢰성을 추론 시 동적으로 평가하고 선택한다"**는 새로운 패러다임을 제시했습니다.

• 이론적 기여: 정보 이론 (상호 정보량) 과 작업 손실 (Task Loss) 간의 이론적 연결을 증명하여, 추론 시 계산 가능한 보상 함수를 설계했습니다.
• 실용적 가치: 실제 세계의 불완전한 데이터 환경에서 모델의 성능 저하를 방지하고, 생성형 AI 기반의 모달리티 복구 기술의 한계 (노이즈, 불일치) 를 보완할 수 있는 실용적인 솔루션을 제공합니다.
• 확장성: 분류 작업뿐만 아니라 분할 (Segmentation), 검출 (Detection) 등 다른 작업으로도 확장 가능함을 논의했습니다.

결론적으로, DyMo 는 불완전 다중 모달 학습의 핵심 난제인 '딜레마'를 해결하여, 실제 환경에서의 다중 모달 AI 배포 가능성을 크게 높인 중요한 연구로 평가됩니다.