기술 요약: 옴니모달 오디오-비디오 이해를 위한 OmniAgent

1. 문제 정의

옴니모달 대규모 언어 모델(OmniLLMs)은 시각 및 오디오 인코더를 통합함으로써 상당한 진전을 이루었습니다. 그러나 이들은 **세밀한 교차 모달 이해(fine-grained cross-modal understanding)**와 멀티모달 정렬(multimodal alignment) 측면에서 결정적인 한계에 직면해 있습니다. 기존의 엔드투엔드(end-to-end) 모델은 모달리티 간에 주의(attention) 자원을 적응적으로 할당하는 데 어려움을 겪는 경우가 많습니다. 이들은 고정된 토큰 예산과 공동 최적화 목표로 인해 특정 모달리티를 동적으로 우선순위화하거나 처리 정밀도를 조정하는 데 제약을 받습니다. 결과적으로, 정밀한 시간적 근거 제시(temporal grounding)나 고해 resolution의 시각적 검사가 필요한 질의를 해결하지 못하는 경우가 빈번합니다.

또한, 비디오 이해를 위한 기존의 에이전트 기반 접근 방식은 경직되고 정적인 워크플로우 또는 **밀집된 프레임-캡션 생성(dense frame-captioning)**에 의존합니다. 이러한 방식은 상당한 계산 비용을 발생시키고, 무관한 캡션을 생성하며, 사용자 질의의 특정 요구 사항에 따라 주의력을 동적으로 계획하는 유연성이 부족합니다. 오디오는 돌출된 사건(salient events)에 대해 정확한 시간적 근거를 자연스럽게 제공하지만, 현재의 시스템은 이를 시각적 분석을 가이드하는 데 효율적으로 활용하지 못하고 있습니다.

2. 방법론: OmniAgent

저자들은 옴니모달 오디오-비디오 이해를 위해 설계된 최초의 완전 능동형 지각 에이전트인 OmniAgent를 소개합니다. 수동적인 모델과 달리, OmniAgent는 강력한 단일 모달 모델들을 호출 가능한 도구(tools)로 취급하며, 재귀적인 "생각-행동-관찰-성찰(Think-Act-Observe-Reflect)" 루프를 사용하여 멀티모달 추론을 동적으로 조율합니다.

핵심 아키텍처

시스템은 LLM(이하 "두뇌")이 각 단계에서 최적의 모달리티와 정밀도를 자율적으로 결정하는 순차적 의사결정 과정으로 작동합니다. 이 과정은 다음을 포함합니다:

1. 능동적 사고(Active Thinking): 에이전트는 질의의 교차 모달 의존성을 평가하여 "듣기(오디오)"를 할 것인지 아니면 "보기(비디오)"를 할 것인지를 결정하고 적절한 도구를 선택합니다.
2. 행동 및 관찰(Action & Observation): 에이전트는 선택된 도구를 해당 모달리티 스트림에 실행하여 관찰 결과(예: 전사 데이터, 시각적 설명 또는 타임스탬프)를 받습니다.
3. 성찰(Reflection): 에이전트는 현재의 관찰 결과와 과거의 문맥을 합성하여 **교차 모달 일관성 체크(cross-modal consistency check)**를 수행합니다. 증거가 불충분하거나 불일치가 존재할 경우, 에이전트는 더 많은 데이터를 수집하기 위해 사고 사이클을 다시 시작합니다. 이 루프는 최종 답변이 합성될 때까지 지속됩니다.

모달리티 인식 전문가 도구 세트(Modality-Aware Expert Toolset)

OmniAgent는 모달리티와 정밀도에 따라 계층화된 포괄적인 도구 라이브러리를 활용합니다:

• 비디오 지각 도구:
  • Global QA (TVGA): 거친 수준의 시간적 국지화(temporal localization)와 전역 문맥을 위해 희소 프레임 샘플링을 사용합니다.
  • Clip QA (TVCA): 세밀한 시각적 추론을 위해 더 높은 샘로잉 레이트와 해상도로 특정 시간 윈도우를 분석합니다.
• 오디오 지각 도구:
  • ASR (TASR): 정밀한 타임스탬프 정렬과 함께 대화를 전사합니다.
  • Global Caption (TAGC): 음향 환경을 요약합니다.
  • Audio QA (TAQ): 타겟팅된 질의를 통해 특정 음향 세부 정보를 추출합니다.
• 이벤트 지각 도구 (새로운 기여 사항):
  • Event List (TEL) & Event Location (TELO): 새로운 오디오 가이드 이벤트 국지화(audio-guided event localization) 전략입니다. 에이전트는 전체 오디오 스트림을 처리하여 이산적인 사운드 이벤트 목록을 추출하고 시간적 앵커를 설정합니다. 이를 통해 에이전트는 돌출된 이벤트(예: 특정 소리나 구절)가 발생하는 정확한 시점을 찾아낼 수 있으며, 이후 해당 윈도우에 대해 고해상도 비디오 도구를 호출할 수 있습니다.

Coarse-to-Fine 추론 패러다임

에이전트는 Coarse-to-Fine 오디오 가이드 지각 패러다임을 채택합니다. 일반적으로 저비용의 오디오 단서(ASR 또는 Event Location)를 사용하여 관련 시간 구간을 국지화하는 것으로 시작합니다. 시간 윈도우가 식별되면, 에이전트는 고비용의 고해상도 비디오 도구(Clip QA)로 전환하여 세부 사항을 검증합니다. 이 접근 방식은 인간의 인지 과정을 모방하여, 비디오 전체를 고해상도로 처리하는 데 드는 계산 비용을 피합니다.

3. 주요 기여

1. OmniAgent 프레임워크: 자기 성찰 메커니즘을 통해 청각 및 시각 모달리티 간의 주의력을 동적으로 조절하여, 경직된 학습 없이도 교차 모달 정렬 문제를 효과적으로 해결하는 최초의 능동형 지각 에이전트입니다.
2. 오디오 가이드 이벤트 국지화: 오디오 단서를 활용하여 이벤트를 시간적으로 국지화함으로써, 후속 정밀 비디오 분석을 위한 정밀한 제안 메커니즘(proposal mechanism) 역할을 하는 새로운 알고리즘을 도입했습니다.
3. 포괄적 도구 세트: 에이전트가 공간적 및 시간적 집중 범위를 적응적으로 선택할 수 있도록 하는 모달리티별 도구 세트(비디오, 오디오, 이벤트)를 구축했습니다.

4. 실험 결과

저자들은 세 가지 벤치마크인 Daily-Omni(단문), OmniVideoBench(장문), WorldSense(중단문, 다중 도메인)에서 OmniAgent를 평가했습니다.

• 성능: OmniAgent는 별도의 학습 없이 모든 벤치마크에서 **최고 수준(SoTA)**의 성능을 달-성했습니다.
  • Daily-Omni에서 **82.71%**의 정확도를 기록하며, 강력한 폐쇄형 모델인 Gemini 2.5-Flash(72.70%)와 오픈 소스인 Qwen3-Omni-30B(72.08%)를 10~20% 차이로 앞질렀습니다.
  • OmniVideoBench에서 **59.10%**의 정확도를 달성하여, Qwen3-Omni-30B(38.40%) 및 기타 엔드투엔드 모델을 크게 압도했습니다.
  • WorldSense에서 평균 **61.2%**의 정확도를 기록하며 기술, 문화, 일상 생활 등 다양한 도메인에서 선두를 차지했습니다.
• Ablation 연구:
  • 도구의 필요성: Video Clip QA 또는 Event Location 도구를 제거했을 때 성능이 크게 하락하였으며, 이는 정밀한 비디오 분석과 오디오 가이드 국지화의 필요성을 입증합니다.
  • 모델 선택: "두뇌" 역할을 하는 기반 LLM과 특정 도구 모델의 선택(예: 우수한 시간적 근거 제시 능력을 가진 Gemini-2.5를 이벤트 국지화에 사용)이 성능에 결정적인 영향을 미칩니다.
  • 추론 행동: 성공적인 에이전트(예: OpenAI o3를 사용하는 모델)는 전역 문맥을 먼저 확립한 후, 이벤트 국지화를 사용하여 범위를 좁히고, 마지막으로 정밀한 시각적 검증을 수행하는 전략적 패턴을 따릅다는 분석 결과가 나왔습니다. 조기 수렴(예: GPT-4o)하는 모델은 성능이 낮았습니다.

5. 의의 및 주장

본 논문은 OmniAgent가 수동적인 응답 생성에서 능동적인 멀티모달 탐구로의 패러다임 전환을 나타낸다고 주장합니다. 모달리티를 호출 가능한 도구로 명시적으로 분리함으로써, 시스템은 엔드투엔드 모델에 내재된 정렬 병목 현상을 우회합니다.

저자들은 다음과 같은 점을 강조합니다:

• 교차 모달 정렬 해결: 오디오를 사용하여 시각적 주의를 가이드함으로써, 복잡한 공동 정렬 학습의 필요성을 피합니다.
• 정밀한 이해 가능: 필요한 곳에만 동적으로 공간 및 시간 해상도를 높일 수 있는 능력은 정적 모델이 놓치는 상세한 추론을 가능하게 합니다.
• 투명성 제공: 의사결정 과정(도구 선택, 성찰)은 엔드투엔드 융합의 "블랙박스" 특성과 달리 투명하고 설명 가능합니다.

이 연구는 옴니모달 에이전트 알고리즘을 향한 기초적인 단계로 제시되며, 향-후 연구는 추론 비용을 더욱 줄이고 효율성을 높이기 위해 도구를 스스로 호출할 수 있는 네이티브 옴니모달 에이전트를 훈련하는 데 집중해야 함을 시사합니다. 저자들은 실제 비디오 분석과 관련된 개인정보 보호 문제를 해결하기 위해 평가 범위를 오픈 소스 벤치마크 데이터셋으로 엄격히 제한하였습니다.