OmniVideo-R1: Reinforcing Audio-visual Reasoning with Query Intention and Modality Attention

이 논문은 자기지도 학습 기반의 쿼리 집중 그라운딩과 대비 학습 기반의 모달리티 주의 융합 전략을 통해 오디오 - 비주얼 이해 능력을 강화한 새로운 강화 프레임워크 'OmniVideo-R1'을 제안하고, 다양한 벤치마크에서 기존 모델보다 우수한 성능을 입증합니다.

핵심

🎬 오미비디오-R1: "눈과 귀를 동시에 쓰는" 똑똑한 AI의 비밀

이 논문은 인공지능(AI)이 동영상과 소리를 함께 보고 들으며 더 똑똑하게 생각할 수 있게 만든 새로운 기술, **'오미비디오-R1(OmniVideo-R1)'**에 대한 이야기입니다.

기존의 AI들은 영상을 볼 때 소리를 무시하거나, 소리를 들을 때 영상을 제대로 보지 못하는 경우가 많았어요. 마치 눈을 가리고 귀만 막은 채 영화를 보는 것처럼 말이죠. 이 새로운 기술은 AI에게 "눈과 귀를 모두 열어두고, 질문의 의도를 파악해서 정확한 증거를 찾아내라"고 가르쳤습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제점: "왜 더 많은 정보가 오히려 방해가 될까?"

기존의 최첨단 AI 모델들은 영상만 볼 때는 아주 잘했지만, 소리를 추가하면 오히려 성능이 떨어지는 이상한 현상이 있었습니다.

• 비유: 마치 유능한 요리사가 있습니다. 이 요리사는 오직 '재료(영상)'만 보고도 훌륭한 요리를 만들죠. 그런데 갑자기 '요리 비법 책(소리)'을 옆에 두게 했더니, 오히려 집중이 안 되어 요리를 망쳐버리는 꼴이 된 거예요.
• 원인: AI가 소리와 영상을 따로따로 처리하다 보니, 서로 정보가 섞이지 않고 오히려 혼란을 겪은 것입니다.

2. 해결책: 오미비디오-R1의 두 가지 마법

이 문제를 해결하기 위해 연구팀은 AI에게 두 가지 특별한 훈련을 시켰습니다.

🎯 첫 번째 훈련: "질문의 의도를 파악하고 증거를 찾아라 (Query-Intensive Grounding)"

AI에게 "이 영상에서 중요한 순간을 찾아봐"라고만 하면, AI는 막연하게 전체를 훑어볼 뿐입니다. 하지만 이 훈련은 AI에게 **"질문자가 무엇을 알고 싶어 하는지 먼저 생각해보고, 그와 관련된 영상과 소리의 특정 구간을 딱 집어내라"**고 가르칩니다.

• 비유: 수사관이 된 AI를 상상해보세요.
  • 일반 AI는 "범인은 어딘가?"라고 묻자마자 전체 CCTV 영상을 무작위로 훑습니다.
  • 오미비디오-R1은 먼저 "범인이 도망친 건지, 숨은 건지?"라는 질문의 의도를 파악합니다. 그리고 나서 "아, 범인이 도망쳤다면 3 분 10 초짜리 문이 열리는 소리와 그 순간의 그림이 중요하겠구나!"라고 정확한 시간과 장소를 찾아냅니다.
  • 이 훈련은 AI가 스스로 "이 부분이 중요해!"라고 생각하게 만드는 자기주도 학습 방식입니다.

🎧 두 번째 훈련: "눈과 귀를 하나로 묶어라 (Modality-Attentive Fusion)"

이제 AI가 중요한 부분을 찾았으니, 눈(영상)과 귀(소리)가 서로 싸우지 않고 협력하게 만들어야 합니다.

• 비유: 듀엣 가수를 생각해보세요.
  • 한 명은 노래만 부르고, 다른 한 명은 춤만 추면 어색하죠.
  • 이 훈련은 AI에게 **"소리가 들릴 때 영상을 더 잘 보고, 영상이 움직일 때 소리를 더 잘 들어라"**고 시킵니다.
  • 만약 AI가 소리만 듣고 답을 맞췄다면 점수를 주지 않고, 영상과 소리를 모두 활용해서 더 정확한 답을 낼 때만 큰 점수를 줍니다. 이렇게 하면 AI는 자연스럽게 두 감각을 하나로 융합하는 법을 배우게 됩니다.

3. 결과: 어떻게 변했을까?

이 두 가지 훈련을 거친 AI는 놀라운 변화를 보였습니다.

• 정답률 상승: 복잡한 영상과 소리를 함께 이해해야 하는 문제에서 기존 AI들보다 훨씬 높은 점수를 받았습니다.
• 단순 영상도 잘함: 소리를 추가해서 훈련시켰는데, 소리가 없는 영상만 봐도 오히려 더 잘하게 되었습니다. (눈과 귀가 협력하는 법을 익히니, 눈만으로도 더 똑똑해진 셈입니다.)
• 실제 사례: 예를 들어, "이 영상에서 누가 웃었나요?"라는 질문에, AI는 단순히 얼굴만 보는 게 아니라 "웃음소리가 들리는 순간"을 찾아서 정확히 답할 수 있게 되었습니다.

🌟 요약: 왜 이 기술이 중요할까요?

우리가 세상을 볼 때는 눈과 귀가 함께 작동합니다. 이 논문은 AI에게도 인간처럼 눈과 귀를 동시에 써서 세상을 이해하는 법을 가르쳤습니다.

• 기존 AI: "영상은 보고, 소리는 무시하거나 혼란스러워함."
• 오미비디오-R1: "질문을 듣고, 중요한 순간을 찾아내며, 눈과 귀의 정보를 완벽하게 섞어 답을 도출함."

이 기술은 앞으로 AI가 영화 분석, 보안 감시, 교육 콘텐츠 제작 등 다양한 분야에서 인간처럼 자연스럽게 소통하고 이해하는 데 큰 역할을 할 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 인간의 인지 과정은 시각과 청각 신호를 병렬로 처리하고 통합하여 환경을 이해하는 다중 모달 (multimodal) 특성을 가집니다. 그러나 기존의 옴니모달 (omnimodal) 모델들은 이러한 시너지 효과를 충분히 발휘하지 못합니다.
• 핵심 문제:
  • 모달리티 편향 (Modality Bias): 최신 옴니모달 모델 (예: Qwen3-Omni) 은 오디오 모달리티를 추가함에도 불구하고, 오히려 기존에 잘 학습된 시각적 추론 능력을 저하시키는 역설적인 현상을 보입니다. (예: MMStar 및 MathVista 벤치마크에서 오디오가 포함된 모델이 시각 전용 모델보다 성능이 떨어짐)
  • 중간 증거 추적의 부재: 기존의 사후 학습 (Post-training) 방법 (SFT 또는 기존 RL) 은 최종 답변에 초점을 맞추어, 모델이 다중 모달 간에 증거를 locating(위치 파악) 하고 구성하는 중간 추론 과정을 명시적으로 학습하지 못합니다. 이로 인해 모델은 데이터 편향이나 단일 모달리티의 단서 (shortcut) 에 의존하여 정답을 도출할 수 있습니다.
  • 데이터의 한계: 고품질의 혼합 모달리티 데이터를 대량으로 확보하고 정렬하는 것은 비용이 많이 들고 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 OmniVideo-R1을 제안하며, 이는 혼합 모달리티 추론 능력을 강화하기 위해 두 가지 핵심 전략을 통합한 강화 학습 (RL) 기반 프레임워크입니다. 전체 학습 과정은 두 단계로 구성됩니다.

A. 핵심 전략

1. 쿼리 집약적 그라운딩 (Query-Intensive Grounding, QI):
   • 사용자의 질문 (Query) 의 의도에 기반하여 오디오 - 비디오 시퀀스 내의 관련 구간을 명시적으로 위치 파악하고 추론하는 능력을 학습합니다.
   • 자기 지도 학습 (Self-supervised Learning): 그라운딩 주석 (Grounding annotation) 이 고비용이므로, 여러 시간 - 캡션 (time-caption) 쌍을 활용하여 모델이 생성한 그라운딩이 해당 텍스트 설명과 일관성이 있는지 스스로 검증하는 방식을 사용합니다.
2. 모달리티 주의 융합 (Modality-Attentive Fusion, MA):
   • 오디오와 시각 단서를 효과적으로 통합하여 추론 정확도를 높이는 능력을 강화합니다.
   • 대조 학습 (Contrastive Learning): 완전한 오디오 - 비디오 입력, 오디오만 있는 입력, 비디오만 있는 입력에 대한 모델의 성능을 비교합니다. 모델이 단일 모달리티 입력보다 **혼합 입력에서 더 높은 신뢰도 (confidence)**를 갖도록 보상 함수를 설계하여, 두 모달리티 간의 시너지 관계를 강제합니다.

B. 학습 파이프라인

• 데이터 준비: LLaVA-Video 및 Video-Vista 등에서 수집된 데이터를 3 단계 (품질 평가, 휴리스틱 필터링, 카테고리 균형 조정) 를 거쳐 정제하여 8 만 8 천 개 이상의 고품질 샘플을 확보했습니다.
• 1 단계 (QI Stage): 자기 지도 학습을 통해 모델이 질문 의도에 맞는 핵심 시점 (time) 과 캡션을 생성하도록 학습시킵니다. (형식 정규화, 결과 기반 제약, 과정 수준의 자기 감독 보상 활용)
• 2 단계 (MA Stage): 1 단계에서 학습된 추론 행동을 바탕으로, 오디오와 비디오의 융합이 필수적인 데이터 하위 집합에 대해 대조 학습 보상을 적용하여 심층적인 다중 모달 이해를 달성합니다.
• 최적화 알고리즘: MoE(Mixture-of-Experts) 모델의 토큰 분포 변화를 고려하여, 토큰 레벨이 아닌 **시퀀스 레벨 (Sequence-level)**에서 최적화를 수행하는 GSPO (Group Sequence Policy Optimization) 알고리즘을 사용합니다.

3. 주요 기여 (Key Contributions)

1. OmniVideo-R1 프레임워크: 혼합 모달리티 추론을 개선하도록 설계된 최초의 강화 학습 (RL) 기반 프레임워크를 제안했습니다.
2. 고품질 데이터 코퍼스: 전용 데이터 정제 파이프라인을 통해 복잡한 추론 작업을 지원하기 위해 8 만 개의 오디오 - 비디오 학습 샘플을 구축했습니다.
3. 2 단계 RL 패러다임: 과정 수준의 주석이 필요 없는 자기 지도 그라운딩과 대조적 융합을 통합한 2 단계 학습 방식을 도입하여, 모델이 쿼리 의도와 모달리티 주의를 자연스럽게 학습하도록 했습니다.
4. 성능 입증: 다양한 벤치마크에서 기존 오픈소스 및 클로즈드 소스 SOTA 모델들을 일관되게 능가하며, 오디오 - 비디오 추론 능력을 획기적으로 향상시켰음을 입증했습니다.

4. 실험 결과 (Results)

• 오디오 - 비디오 이해 벤치마크:
  • Daily-Omni: 82.8 점 (기존 SOTA 인 Gemini-3-Pro 의 81.1 점 및 Video-SALMONN 2+-72B 의 79.4 점보다 우위).
  • IntentBench: 74.2 점 (Gemini-3-Pro 의 71.5 점보다 3.8% 향상).
  • OmniVideoBench: 44.8 점으로, 베이스 모델 (Qwen3-Omni-30B-A3B) 대비 21.1% 향상되었으며, 이전 방법들이 무작위 추측 수준이었던 난이도 높은 과제에서 돌파구를 마련했습니다.
• 시각 전용 (Visual-only) 성능:
  • 혼합 모달리티 학습 후 시각 전용 작업 (Video-MME, MLVU, LVBench) 에서 성능 저하가 없으며, 오히려 일부 벤치마크에서 향상된 결과를 보였습니다. 이는 모달리티 간 트레이드오프가 발생하지 않음을 의미합니다.
• 비교 실험:
  • 단순 SFT, CoT SFT, 기존 RL (Vanilla RL) 등 다른 학습 전략보다 OmniVideo-R1 이 모든 벤치마크에서 압도적으로 우수한 성능을 보였습니다.
  • Ablation Study: QI 단계 (그라운딩) 와 MA 단계 (모달리티 융합) 모두 모델 성능 향상에 필수적이며, 특히 rintent(의도 기반 보상) 와 rattn(모달리티 주의 보상) 이 성능의 핵심 요소임을 확인했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 단순히 데이터를 늘리는 것을 넘어, 모델이 **"옴니모달 단서로 사고 (think with omnimodal cues)"**하도록 유도하는 새로운 학습 패러다임을 제시했습니다.
• 실용성: 과정 수준의 주석 (process-level annotations) 없이도 모델이 복잡한 오디오 - 비디오 환경에서 핵심 증거를 찾아내고 논리적으로 통합할 수 있게 함으로써, 고품질 다중 모달 데이터 확보의 어려움을 해결했습니다.
• 미래 방향: OmniVideo-R1 은 오디오와 비디오가 긴밀하게 통합된 추론이 필요한 실제 세계의 복잡한 시나리오 (예: 로봇 제어, 의료 영상 분석, 교육용 콘텐츠 이해 등) 에 적용될 수 있는 강력한 기반을 마련했습니다.

이 논문은 다중 모달리티 모델이 가진 "편향" 문제를 해결하고, 진정한 의미의 시너지 효과를 내는 추론 능력을 갖추기 위한 중요한 기술적 진전을 이룬 것으로 평가됩니다.