AVRT: Audio-Visual Reasoning Transfer through Single-Modality Teachers

논문 개요: AVRT (Audio-Visual Reasoning Transfer)

이 논문은 텍스트 기반 추론 모델의 능력을 오디오 - 비주얼 (Audio-Visual) 멀티모달 영역으로 확장하는 데 존재하는 어려움을 해결하기 위해 제안된 새로운 프레임워크 AVRT를 소개합니다. 핵심 아이디어는 고품질의 오디오 - 비주얼 추론 데이터가 부족하다는 문제를 해결하기 위해, 각각의 단일 모달리티 (오디오 전용, 비주얼 전용) 에 특화된 '교사 (Teacher)' 모델들을 활용하여 추론 흔적 (Reasoning Traces) 을 생성하고, 이를 텍스트 기반 LLM 이 통합하여 멀티모달 추론 능력을 가진 '학생 (Student)' 모델을 학습시키는 것입니다.

1. 문제 정의 (Problem Statement)

• 현재의 한계: 최근 대규모 언어 모델 (LLM) 은 텍스트 기반 추론에서 괄목할 만한 성과를 보였으나, 오디오와 비주얼 데이터를 동시에 이해하고 추론하는 멀티모달 영역에서는 여전히 뒤처져 있습니다.
• 주요 원인:
  1. 고품질의 오디오 - 비주얼 추론 데이터 (Chain-of-Thought 포함) 의 부재.
  2. 서로 다른 모달리티 간의 정보를 통합하고 추론 단계를 생성하는 데 따른 기술적 난이도.
  3. 기존 접근법들은 종종 모든 모달리티를 함께 학습한 거대 모델에서 참조 추론을 생성하거나, 강화학습 (RL) 을 적용하는 데 그쳐 효율성과 데이터 품질 측면에서 한계가 있었습니다.

2. 방법론 (Methodology)

AVRT 는 **단일 모달리티 교사 모델 (Single-Modality Teachers)**을 기반으로 한 3 단계 프로세스를 따릅니다.

가. 교차 모달 추론 흔적 생성 (Cross-Modal Reasoning Trace Generation)

1. 단일 모달리티 추론 추출:
   • 주어진 오디오 - 비주얼 질문 - 답변 쌍 $(X, Q)$에 대해, 오디오 전용 교사 모델 ($T_A$) 과 비주얼 전용 교사 모델 ($T_V$) 을 각각 사용합니다.
   • 각 모델은 해당 모달리티 (오디오 또는 비디오 프레임) 와 질문을 입력받아 상세한 추론 과정 (Reasoning Trace) 을 생성합니다.
2. 교차 모달 집계 (Cross-Modal Aggregation):
   • 생성된 오디오 추론 ($R_A$) 과 비주얼 추론 ($R_V$) 을 **텍스트 전용 LLM (Merger Model, $M_{agg}$)**에 입력합니다.
   • Merger 모델은 두 가지 추론을 통합하여 일관된 형식의 교차 모달 추론 ($R_{agg}$) 을 생성합니다. 이 과정에서 모달리티 간 상관관계를 명시적으로 연결합니다.
3. 필터링 (Filtering):
   • 학습 데이터의 품질을 보장하기 위해, 두 교사 모델 모두 정답을 맞춘 샘플만 선택하여 최종 데이터셋 (AVRT-20K) 을 구성합니다. 이는 노이즈가 포함된 추론 패턴의 전파를 방지합니다.

나. 2 단계 학습 파이프라인 (Two-Stage Training Pipeline)

1. 1 단계: 지도 미세 조정 (Supervised Fine-Tuning, SFT)
   • 생성된 고품질 오디오 - 비주얼 추론 흔적 ($R_{agg}$) 을 사용하여 학생 모델 (Target Model) 을 학습시킵니다.
   • 모델은 추론 형식 (Thinking section) 과 멀티모달 추론 패턴을 학습하며, 추론 단계와 최종 답변을 구분하는 구조를 익힙니다.
2. 2 단계: 강화 학습 (Reinforcement Learning, RL)
   • SFT 로 학습된 모델을 기반으로 GRPO (Group Relative Policy Optimization) 알고리즘을 적용합니다.
   • 보상 함수 (Reward Function):
     • 형식 준수 ($R_{format}$): <answer> 태그 등 올바른 출력 형식 유지.
     • 정답 정확도 ($R_{acc}$): 정답 일치 여부.
     • 추론 길이 ($R_{length}$): 과도하지 않으면서도 충분한 길이의 추론을 유도 (가우스 분포 기반).

3. 주요 기여 (Key Contributions)

1. 새로운 데이터 생성 방법론: 텍스트 전용 Merger 를 통해 단일 모달리티 교사들의 추론 흔적을 통합하여, 고품질의 교차 모달 추론 데이터를 생성하는 새로운 레시피를 제안했습니다. 이는 추론 데이터가 부족한 임의의 모달리티 조합에 적용 가능합니다.
2. 초기 멀티모달 추론자의 탄생: 본질적으로 멀티모달 추론 능력이 없는 단일 모달리티 교사 모델들만으로도, 텍스트 통합기를 통해 강력한 멀티모달 추론 능력을 가진 모델을 훈련시킬 수 있음을 최초로 증명했습니다.
3. 성능 및 일반화: 오디오 - 비주얼 벤치마크에서 동급 규모의 모델 중 최상위 (SOTA) 성능을 달성했으며, 멀티모달 학습이 단일 모달리티 (오디오 전용) 추론 성능 향상으로도 이어진다는 '진정한 교차 모달 추론 전이 (Genuine Cross-Modal Reasoning Transfer)'를 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크: 7 개의 오디오 - 비주얼 및 오디오 전용 벤치마크 (OmniBench, DailyOmni, MMAR, MMAU 등) 에서 평가.
• 모델 크기: 3B 및 7B 파라미터 모델.
• 주요 성과:
  • OmniBench: 3B 모델이 56.3% (기존 50.2% 대비 +6.1), 7B 모델이 57.1% 를 기록하여 동급 모델 중 SOTA 달성.
  • DailyOmni: 3B 모델이 49.2% (+6.1), 7B 모델이 54.4% (+2.9) 기록.
  • 오디오 전용 전이: 멀티모달 학습을 통해 오디오 전용 태스크 (MMAR, MMAU) 에서도 성능이 크게 향상됨 (예: 3B 모델 MMAR 57.3%, MMAU 70.0%).
  • 단일 교사 대비 우위: 개별 교사 모델의 성능을 합친 것보다 Merger 를 통한 통합 추론이 더 높은 성능을 보임.
• Ablation Study:
  • SFT 단계의 추론 흔적 학습이 RL 단계의 성능 향상에 결정적임.
  • 오디오와 비주얼 추론을 모두 통합한 데이터가 단일 모달리티 추론 데이터보다 성능이 우수함.
  • Merger 모델과 학생 모델의 아키텍처가 일치할 때 (예: Qwen 계열 간) 성능이 가장 좋음.

5. 의의 및 결론 (Significance)

이 연구는 데이터의 부재라는 멀티모달 AI 의 핵심 병목 현상을 우회하는 혁신적인 접근법을 제시합니다. 거대하고 복잡한 멀티모달 모델을 처음부터 학습시키거나, 모든 모달리티를 이해하는 교사 모델이 필요하지 않더라도, 전문적인 단일 모달리티 모델들의 지식을 텍스트 기반 통합기를 통해 결합함으로써 고품질의 추론 능력을 획득할 수 있음을 증명했습니다.

이는 추론 데이터가 부족한 새로운 모달리티 조합에 대해 확장 가능한 학습 파이프라인을 제공하며, 멀티모달 모델의 추론 능력을 향상시키는 데 있어 **지식 증류 (Knowledge Distillation)**와 **구조화된 추론 (Structured Reasoning)**의 중요성을 부각시킵니다. 또한, 멀티모달 학습이 단일 모달리티 성능까지 향상시킨다는 점은 모델의 일반화 능력과 효율적인 학습 전략의 중요성을 시사합니다.