Retrieving to Recover: Towards Incomplete Audio-Visual Question Answering via Semantic-consistent Purification

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 오디오 - 시각 질문 응답 (AVQA) 은 시각, 오디오, 텍스트 정보를 통합하여 동적 장면을 이해하는 중요한 멀티모달 태스크입니다.
• 문제점:
  • 기존 AVQA 방법론들은 대부분 데이터가 완전하다고 가정합니다. 그러나 실제 환경 (센서 고장, 데이터 전송 실패 등) 에서는 오디오나 시각 데이터와 같은 중요한 모달리티가 누락되거나 손상되는 경우가 빈번합니다.
  • 기존 불완전 모달리티 처리 기법들은 주로 **생성적 imputation(Generative Imputation)**에 의존합니다. 즉, 존재하는 데이터를 기반으로 누락된 모달리티의 특징을 '생성'하여 채웁니다.
  • 생성적 방법의 한계: 생성 모델은 모달리티 간의 공통된 지식 (Common Knowledge) 은 잘 포착하지만, 특정 모달리티에 고유한 세밀한 정보 (Modality-specific details) 를 복원하는 데 실패합니다. 이로 인해 **할루시네이션 (Hallucination)**이 발생하고, 추론 정확도가 떨어지는 문제가 발생합니다. (예: 콘서트 영상에서 악기의 고유한 음색 대신 일반적인 '음악' 소리만 생성함)

2. 제안 방법론: R2ScP (Methodology)

저자들은 생성적 imputation 에서 **검색 기반 복구 (Retrieval-based Recovery)**로 패러다임을 전환한 R2ScP 프레임워크를 제안합니다. 핵심은 누락된 모달리티의 특징을 생성하는 대신, 의미 공간 (Semantic Space) 에서 고품질의 실제 데이터 세그먼트를 검색하고 정제하는 것입니다.

2.1. 주요 구성 요소

1. 크로스-모달 검색 (Cross-Modal Retrieval, CMR):

   • 사전 학습된 멀티모달 모델 (예: ImageBind) 을 기반으로 구축된 통합 의미 공간의 외부 메모리 뱅크를 사용합니다.
   • 존재하는 모달리티 (예: 시각) 를 쿼리로 사용하여, 누락된 모달리티 (예: 오디오) 의 잠재적 특징을 메모리에서 검색합니다.
   • 코사인 유사도를 기반으로 상위 $n$개의 후보 집합을 추출합니다.

2. 맥락 인식 적응적 정제 (Context-aware Adaptive Purification, CAP):

   • 검색된 데이터에는 관련 없는 노이즈나 문맥 불일치 정보가 포함될 수 있습니다. 이를 제거하기 위해 CAP 메커니즘을 도입합니다.
   • 3 단계 정제 과정:
     • 일치 기반 노이즈 프로파일링: 존재하는 모달리티의 전역 컨텍스트와 검색된 토큰 간의 의미적 불일치 (Dissonance) 를 계산하여 노이즈 인덱스를 식별합니다.
     • 텍스트 유도 의미 획득: 질문 (텍스트) 을 가이드로 사용하여, 공통 지식에서 질문 의도와 가장 관련성이 높은 중요한 시맨틱 토큰을 식별합니다.
     • 선택적 특징 주입: 식별된 노이즈 영역을 고품질의 의미적 단서 (Salient cues) 로 대체하여 정제된 특징 표현 ($H^{pur}_{miss}$) 을 생성합니다.

3. 2 단계 전문가 훈련 전략 (Two-Stage Experts Training):

   • Stage I (전문가 사전 훈련): 시각, 오디오, 텍스트 전문가 (Expert) 를 각각 독립적으로 훈련시켜 각 모달리티의 고유한 표현력을 강화합니다.
   • Stage II (전문가 혼합 훈련): 동적 게이팅 네트워크 (Router) 를 학습하여 입력 컨텍스트에 따라 각 전문가 (원본 데이터 또는 검색/정제된 데이터) 의 가중치를 동적으로 조절합니다. 이를 통해 원본 정보와 복구된 정보 간의 복잡한 상호 의존성을 모델링합니다.

4. 최적화 및 랭킹 손실 (Optimization & Ranking Loss):

   • 표준 교차 엔트로피 손실 외에도, 검색된 긍정/부정 샘플과 정답 (Ground Truth) 간의 의미적 위계를 강제하는 **랭킹 손실 (Ranking Loss)**을 도입하여 검색된 특징의 품질을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 패러다임 전환: AVQA 의 누락 모달리티 처리를 '생성적 imputation'에서 '검색 기반 복구'로 전환하여 모달리티별 고유한 세부 정보를 효과적으로 보존합니다.
2. CAP 메커니즘 도입: 검색된 특징에서 의미적 노이즈를 동적으로 필터링하고 가용 모달리티와의 일관성을 강제하여 고충실도 (High-fidelity) 특징 재구성을 가능하게 합니다.
3. 성능 향상: 다양한 AVQA 데이터셋 (Music-AVQA, AVQA) 에서 기존 최첨단 (SOTA) 방법들을 크게 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: Music-AVQA 및 AVQA 벤치마크에서 평가 수행.
• 성능:
  • Music-AVQA 에서 평균 정확도 71.54%, AVQA 에서 **76.35%**를 기록하여 기존 방법들 (Missing-AVQA, IMOL, SimMLM 등) 보다 우수한 성능을 보였습니다.
  • 특히 오디오나 시각 데이터가 누락된 시나리오에서 기존 생성 기반 방법들의 성능 저하가 심한 반면, R2ScP 는 높은 강건성 (Robustness) 을 유지했습니다.
• Ablation Study:
  • CMR(검색) 과 CAP(정제) 모듈 모두 필수적이며, 두 모듈을 결합했을 때 가장 높은 정확도를 달성했습니다.
  • 2 단계 훈련 전략 (전문가 사전 훈련 + 혼합) 과 랭킹 손실이 성능 향상에 결정적인 역할을 함을 확인했습니다.
• 일반화 능력: 누락 비율이 30% 에서 70% 로 증가할수록 기존 방법들의 성능이 급격히 떨어지는 반면, R2ScP 는 외부 지식 검색을 통해 데이터 부족 상황에서도 안정적인 성능을 유지했습니다.
• 시각화 (t-SNE): R2ScP 는 다른 방법들에 비해 클래스 간 분리가 명확하고 클러스터링이 밀집되어 있어, 모델이 누락된 데이터 상황에서도 정확한 의미 공간 표현을 학습했음을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 의의: 이 연구는 멀티모달 학습에서 데이터 손실 문제를 해결하는 새로운 방향성을 제시합니다. 생성 모델이 가질 수 있는 '할루시네이션'의 위험을 줄이고, 실제 세계의 고품질 데이터를 검색하여 활용함으로써 보다 신뢰할 수 있는 추론을 가능하게 합니다.
• 한계 및 향후 과제: 현재는 추론 (Inference) 단계에서의 누락 모달리티만 처리하며, 학습 (Training) 단계에서의 누락을 고려하지는 않았습니다. 또한 검색된 샘플의 품질이 모델 성능에 민감하게 영향을 미칩니다. 향후 더 대규모의 검색 데이터베이스 구축 및 학습 단계에서의 누락 처리를 연구할 예정입니다.

요약하자면, R2ScP 는 생성적 추측 대신 '검색과 정제'를 통해 누락된 멀티모달 정보를 복구함으로써, 실제 환경에서 발생할 수 있는 데이터 결손에 강건한 AVQA 시스템을 구현한 획기적인 연구입니다.