기술 요약: 결측 모달리티를 포함한 딥 멀티모달 학습: 서베이

1. 문제 정의

본 논문은 딥 멀티모달 학습에서의 **결측 모달리티 문제(Missing Modality Problem)**를 다룹니다. 실제 시나리오에서 멀티모달 시스템은 센서 오작동, 하드웨어 제한, 개인정보 보호 제약, 데이터 손실 또는 환경적 간섭으로 인해 불완전한 데이터를 빈번하게 마주하게 됩니다. 모든 $N$개의 모달리티가 훈련 및 테스트 중에 일관되게 가용하다고 가정하는 기존의 멀티모달 학습과 달리, **결측 모달리티를 포함한 멀티모달 학습(MLMM)**은 하나 이상의 입력 모달리티가 부재할 때도 모델이 견고하고 우수한 성능을 유지하도록 하는 것을 목표로 합니다. 핵심 과제는 결정적인 입력의 부재로 인해 성능이 저하되지 않으면서, 가용 가능한 모달리티를 효과적으로 활용하여 완전한 정보로 훈련된 시스템과 대등한 성능을 유지하는 것입니다.

2. 방법론 분류 체계 (Methodology Taxonomy)

저자들은 기존의 딥 MLMM 방법들을 **데이터 처리(Data Processing)**와 **전략 설계(Strategy Design)**라는 두 가지 주요 측면으로 분류하는 새롭고 세밀한 분류 체계를 제안합니다. 이 측면들은 다시 네 가지 유형과 12개의 하위 카테고리로 나뉩니다 (논문의 표 1에 요약됨).

A. 데이터 처리 측면 (Data Processing Aspect)

이 측면은 모델이 데이터 또는 표현(representation) 수준에서 누락된 정보를 어떻게 처리하는지에 초점을 맞춥니다.

1. 모달리티 임퓨테이션 (Modality Imputation): 누락된 정보를 채우기 위해 로 데이터(raw data) 수준에서 작동합니다.

   • 모달리티 합성 (Modality Composition): 누락된 데이터를 제로(zero) 또는 랜덤 값으로 대체하거나, 유사한 인스로부터 데이터를 검색/복사합니다 (예: K-최근접 이웃). 방식은 간단하지만, 픽셀 수준의 작업에서는 실패하는 경우가 많으며 과적합이나 중복 샘플을 유발할 수 있습니다.
   • 모달리티 생성 (Modality Generation): 생성 모델(오토인코더, GAN, 확산 모델)을 사용하여 가용 모달리티로부터 누락된 모달리티를 합성합니다. 개별 생성기는 모달리티별로 훈련되며, 통합 생성기는 모든 누락된 모달리티를 동시에 생성하려고 시도합니다. 이러한 방식은 데이터 다양성을 개선하지만 계산 및 저장 비용을 증가시킵니다.

2. 표현 중심 모델 (Representation-Focused Models): 특징 표현(feature representation) 수준에서 작동합니다.

   • 협응 표현 (Coordinated-Representation): 가용 모달리티를 공유 의미 공간에 정렬하기 위해 제약 조건(예: 텐서 랭크 정규화, 심층 정준 상관 분석)을 부과하여, 입력이 누락되더라도 의미적 일관성을 보장합니다.
   • 표현 합성 (Representation Composition): 산술 연산(풀링, 덧셈) 또는 검색 기반 방법을 사용하여 가용 표현을 융합함으로써 학습 가능한 파라미터 없이 완전한 표현을 형성합니다.
   • 표현 생성 (Representation Generation): 생성 모델을 사용하여 누락된 특징 표현을 직접 생성합니다.
     • 간접적-태스크 연결 (Indirect-to-Task): 훈련 중에 모달리티 재구성을 보조 태스크로 취급하지만(주로 인코더-디코더 구조 사용), 추론 시에는 생성기를 버립니다.
     • 직접적-태스크 연결 (Direct-to-Task): 명시적인 재구성 단계 없이 작은 생성 네트워크(예: 환각 네트워크, 베이지안 학습)를 사용하여 가용 표현을 누락된 표현으로 직접 매핑합니다.

B. 전략 설계 측면 (Strategy Design Aspect)

이 측면은 다양한 입력 조건에 적응하기 위한 아키텍처 조정 및 모델 조합에 초점을 맞춥니다.

1. 아키텍처 중심 모델 (Architecture-Focused Models): 가용 모달리티 수에 적응하는 유연한 아키텍처를 설계합니다.

   • 어텐션 기반 (Attention-Based): 가용 모달리티를 동적으로 융합하기 위해 자기 주의(self-attention) 메커즘(내부 및 외부 모달리티 간)과 마스킹 전략을 활용합니다. 트랜스포머 기반의 공동 표현 학습(JRL)과 프롬프트 및 어댑터 튜닝과 같은 파라미터 효율적 학습(PEL) 방법을 포함합니다.
   • 증류 기반 (Distillation-Based): "교사(teacher)" 모델(전체 모달리티로 훈련됨)로부터 "학생(student)" 모델(누락된 모달리티를 처리함)로 지식을 전달합니다. 응답 증류(로짓), 중간 특징 증류, 그리고 평균 교사(Mean Teacher) 및 자기 증류(Self-Distillation)와 같은 프로세스 기반 방법을 포함합니다.
   • 그래프 학습 기반 (Graph Learning-Based): 그래프 신경망(GNN)을 사용하여 모달리티와 샘플 간의 관계를 모델링하고, 그래프 완성 또는 메시지 전달을 통해 가용 특징을 융합하고 누락된 부분을 보완합니다.
   • 멀티모달 거대 언어 모델 (MLLMs): LLM이 가변적인 수의 모달리티 토큰을 수용할 수 있는 특징 프로세서 역할을 수행하는 파운데이션 모델(예: LLaVA, AnyGPT)을 활용하여, 유연한 아키텍처를 통해 자연스럽게 누락된 입력을 처리합니다.

2. 모델 조합 (Model Combinations): 여러 전문화된 모델을 활용하는 전략을 채택합니다.

   • 앙상블 방법 (Ensemble Methods): 투표 또는 가중 평균을 통해 여러 모델(멀티모달 또는 유니모달)의 예측을 결합합니다.
   • 전용 훈련 (Dedicated Training): 특정 누락 모달리티 조합에 대한 특정 모델을 훈련시키고(예: 모달리티 1+3 전용 모델), 추론 시 적절한 모델을 선택합니다.
   • 이산 스케줄러 (Discrete Scheduler): LLM을 컨트롤러로 사용하여 가용 모달리티 및 태스크 지침에 따라 다운스트림 모듈을 조율하고 선택합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 포괄적인 서베이: 다양한 도메인(감성 컴퓨팅, 의료, 원격 탐사, 로보틱스 등)에 걸친 딥 MLMM 방법에 대한 첫 번째 광범한 리뷰를 제공하며, 관련 데이터셋 목록을 함께 제시합니다.
2. 새로운 분류 체계: 데이터 처리(임퓨테이션 vs. 표현)와 전략 설계(아키텍처 vs. 조합)를 기반으로 한 세밀한 분류 프레임워크를 도입하여, 기존 문헌을 분석할 수 있는 구조화된 방식을 제공합니다.
3. 비판적 분석: 현재 접근 방식들을 심층적으로 분석하여 그 트레이드오프(예: 생성 방법 vs. 효율성, 복구 vs. 비복구)를 강조하고, 열린 과제와 향후 연구 방향을 식별합니다.

4. 결과 및 통계

본 서베이는 2012년부터 2025년 8월 사이에 발표된 354개의 주요 논문을 분석했습니다. 주요 통계적 결과는 다음과 같습니다:

• 방법 분포: 약 **75.5%**의 연구가 누락된 모달리티 정보를 **복구(recovering)**하는 데 집중하고 있는 반면(초기, 중간, 또는 후기 단계 복구), **24.5%**는 복구 없이 추론하는 것(non-recovery)에 집중하고 있습니다.
• 복구 단계: 중간 단계 복구(특징 수준)가 가장 흔하며(45.8%), 초기 단계(20.3%)와 후기 단계(4.7%)가 그 뒤를 잇습니다.
• 훈련 데이터 제약: 불완전한 훈련 데이터셋을 다루는 데 있어 상당한 격차가 존재합니다. 검토된 연구 중 훈련 중에 누락된 모달리티 데이터가 가용하지 않은 데이터셋으로 훈련된 경우는 **36.4%**에 불과하며, 대다수(63.6%)는 훈련 중에는 전체 데이터에 접근할 수 있다고 가정하고 테스트 시에만 누락을 시뮬레이션했습니다.
• 기술적 진화: 이 분야는 초기 휴리스틱 데이터 수준 수정 및 앙상블 방법에서 표현 학습, 유연한 아키텍처 설계(어텐션, 증류), 그리고 최근의 파운데이션 모델 기반 접근 방식으로 진화해 왔습니다.

5. 의의 및 주장

저자들은 이 서베이가 결측 모달리티를 포함한 딥 멀티모달 학습에 특화된 첫 번째 종합적인 리뷰라고 주장합니다. 본 논문의 의의는 다음과 같습니다:

• 분야의 통합: 컴퓨터 비전, NLP, 신호 처리의 이질적인 방법들을 연결하는 구조화된 분류 체계를 제공합니다.
• 실제 세계의 관련성 강조: 누락된 모달티가 단순한 합성적 도전 과제가 아니라 실제 배포(예: 우주 탐사의 센서 고장, 의료 AI의 개인정보 보호)에서 발생하는 고유한 문제임을 강조합니다.
• 핵심 격차 식별: 본 논문은 현재의 벤치마크가 현실적인 누락 패턴(예: 비동기적 센서 고장)을 모델링하는 데 실패하는 경우가 많으며, 대부분의 방법이 불완전한 훈련 데이터셋을 다루는 데 어려움을 겪고 있음을 완곡하지만 단호하게 지적합니다.
• 향ational 방향: Unified Benchmark(MultiBench와 유사한)의 개발, 에지 디바이스를 위한 더 효율적이고 경량화된 모델, 그리고 데이터가 본질적으로 불완전한 스트리밍 데이터 및 과학적 응용 분야를 위한 강건한 방법론을 촉구합니다.

본 논문은 많은 진전이 있었음에도 불구하고, 이 분야는 더욱 엄격한 평가 프로토콜, 표준화된 벤치마크, 그리고 실제 환경에서 발견되는 구조적이고 지속적인 누락에 명시적으로 설계된 아키텍처를 필요로 한다고 결론짓습니다.