기술 요약: 다중 홉 오디오 - 비주얼 추론을 위한 에이전트형 능동적 오모달 인식

문제 정의

현재의 오모달 대규모 언어 모델 (Omni-LLMs) 은 다중 홉 오디오 - 비주얼 추론에서 상당한 도전에 직면해 있습니다. 특히 관련 증거가 희소하고, 시간적으로 분산되어 있으며, 오디오와 비주얼 스트림 모두에 걸쳐 분포되어 있을 때 이러한 어려움이 두드러집니다. 기존 벤치마크는 종종 이러한 특정 능력을 격리하지 못하며, 제한된 모달리티, 짧은 시간 구간, 또는 단일 모달리티의 결정적 증거만을 포함하는 경우가 많습니다. 따라서 오모달 LLM 이 여러 시간 구간에 걸쳐 분포된 희소하고 교차 모달인 증거를 효과적으로 통합하여 복잡한 질문에 답변할 수 있는지 여부는 여전히 불분명합니다. 또한, 기존 능동적 인식을 위한 에이전트 접근법은 비용이 많이 드는 독점 모델에 의존하거나 광범위한 훈련을 요구하는 경우가 많아, 저자원 환경에서 오픈소스 오모달 LLM 에 적용하는 데 제한이 따릅니다.

방법론

1. MOV-Bench: 다중 홉 추론을 위한 벤치마크

이러한 능력을 엄격하게 평가하기 위해 저자들은 MOV-Bench(Multi-hop Omni Video Benchmark) 를 소개합니다.

• 데이터셋 구축: Fine-Video 데이터셋을 기반으로 구축된 MOV-Bench 는 519 개의 신중하게 큐레이션된 객관식 질문을 포함합니다.
• 설계 원칙:
  • 다중 홉 시간적 추론: 질문은 2 개에서 4 개의 서로 다른 시간 구간에서 증거를 요구하여, 모델이 단일 순간의 인식에만 의존하는 것을 방지합니다.
  • 교차 모달 통합: 오디오 스트림이나 비주얼 스트림 중 어느 하나만으로는 충분하지 않도록 질문이 구성되며, 모델은 시각적 사건, 음성 내용, 오디오 단서를 함께 해석해야 합니다.
  • 추론 테마: 질문은 인과적, 지시적, 관계적, 가설적, 의도 추론이라는 다섯 가지 서로 다른 추론 패턴을 다룹니다.
• 품질 관리: 편향을 제거하기 위한 언어 전용 필터링을 거친 후 인간 검증을 수행하는 2 단계 필터링 과정을 통해 질문이 진정한 교차 모달 다중 홉 추론을 요구하도록 보장합니다.

2. AOP-Agent: 능동적 오모달 인식 프레임워크

수동적 처리의 한계를 해결하기 위해 저자들은 추가 훈련이나 독점 구성 요소 없이 오픈소스 오모달 LLM 을 위해 설계된 효율적인 에이전트 프레임워크인 AOP-Agent를 제안합니다.

• 계층적 오모달 메모리: AOP-Agent 는 raw 비디오 스트림을 직접 처리하는 대신 비디오 콘텐츠를 구조화된 메모리로 조직화합니다.
  • 세밀한 클립: 로컬 세부 정보를 보존합니다.
  • 중간 수준 구간: 더 낮은 해상도로 압축된 병합된 클립 (≤30 초).
  • 구조화된 메타데이터: 각 구간에 대해 시스템은 시각적 키포인트, 오디오 키포인트, 검색 키워드, 구간 수준 설명을 생성합니다.
  • 전체 요약: 전체 비디오에 대한 합성된 설명입니다.
• 관찰 - 반성 - 재계획 루프: 이 프레임워크는 다중 에이전트 협업 프로세스를 활용합니다.
  • 플래너 에이전트 ($A_P$): 현재 추론 상태에 기반하여 다음 관찰 대상을 결정하고 검사할 특정 비디오 영역을 선택합니다.
  • 관찰 도구: 에이전트가 계층적 메모리를 탐색할 수 있도록 하는 5 가지 보완적 도구 세트를 제공합니다.
    • 설명 기반: 고수준 사건에 대한 의미적 매칭.
    • 키워드 유도: 명시적 개체/행동에 대한 어휘 검색.
    • 키포인트 유도: 교차 모달 단서를 위한 시각/오디오 키포인트 매칭.
    • 이웃 관찰: 시간적으로 인접한 구간으로 확장.
    • 세밀한 관찰: 로컬 검증을 위해 세부적으로 파고듦.
  • 리플렉터 에이전트 ($A_R$): 현재 관찰이 충분한지 평가합니다. 충분하지 않으면 재계획을 안내하기 위해 피드백을 제공하고, 충분하면 최종 추론을 트리거합니다.
  • 리저너 에이전트 ($A_A$): 축적된 증거를 종합하여 최종 답변을 생성합니다.

주요 기여

1. MOV-Bench: 시간적으로 분산된 구간을 가로지르는 다중 홉 오디오 - 비주얼 추론을 목표로 하는 새로운 벤치마크로, 현재 오모달 LLM 이 희소한 교차 모달 증거를 찾고 통합하는 데 어려움을 겪고 있음을 드러냈습니다.
2. AOP-Agent: 오픈소스 오모달 LLM 이 능동적 인식을 수행할 수 있도록 하는 저자원 에이전트 프레임워크입니다. 계층적 메모리 구축과 협업적인 관찰 - 반성 - 재계획 루프를 통해 이를 달성하며, 추가 훈련이나 독점 모델이 필요하지 않습니다.
3. 실증적 검증: AOP-Agent 가 MOV-Bench 와 OmniVideoBench 모두에서 추론 성능을 일관되게 향상시켰음을 보여주었으며, 특히 긴 비디오와 추론 집약적인 질문에서 상당한 개선을 보였습니다.

실험 결과

다양한 오픈소스 오모달 LLM(예: Qwen3-Omni-Instruct, Qwen2.5-Omni-7B) 을 사용하여 MOV-Bench 와 OmniVideoBench 에서 실험이 수행되었습니다.

• 기선 한계: MOV-Bench 에 대한 직접 추론은 현재 오모달 LLM 이 상대적으로 낮은 정확도 (예: Qwen3-Omni-Instruct 의 경우 약 52.8%) 를 달성함을 보여주었습니다. 비디오 길이가 길어지고 추론 홉 수가 증가함에 따라 성능이 현저히 저하되었습니다 (예: 4 홉 질문에서 약 44% 로 감소).
• AOP-Agent 성능:
  • 일반적 개선: AOP-Agent 는 다양한 모델 백본에 걸쳐 직접 추론 기선보다 일관되게 우수한 성능을 보였습니다. 예를 들어, Qwen3-Omni-Instruct 를 사용한 긴 비디오에서 정확도는 45.50% 에서 60.85% 로 향상되었습니다.
  • 에이전트 프레임워크와의 비교: 오픈소스 모델에 적용되었을 때 직접 추론보다 더 낮은 성능을 보였던 기존 에이전트 프레임워크 (OmniAgent, ActiveVideoPerception) 와 달리, AOP-Agent 는 우수한 결과를 달성했습니다. 이는 종종 강력한 독점 모델을 위해 설계된 기존 방법들이 AOP-Agent 가 제공하는 특정 구조적 지원 없이 더 약한 오픈소스 모델에서 오류 누적을 증폭시킨다는 것을 시사합니다.
  • 절대 연구:
    • 구성 요소: 플래너와 리플렉터 에이전트 모두 성능에 기여했으며, 전체 루프가 가장 좋은 결과를 낳았습니다.
    • 모델 할당: 강력한 플래닝 및 반성 능력이 최종 리저너의 강도보다 더 중요하다는 것이 밝혀졌으며, 이는 효과적인 증거 선택이 성공적인 추론에 선행함을 강조합니다.
    • 관찰 라운드: 관찰 라운드가 증가함에 따라 (최대 3 회까지) 성능이 향상되었으나, 과도한 라운드에서는 포화되거나 약간 저하되어 증거 복구와 노이즈 축적 사이의 트레이드오프를 나타냈습니다.

중요성과 주장

이 논문은 현재 오모달 LLM 의 다중 홉 추론에 대한 주요 병목 현상이 단순히 추론 능력 자체가 아니라, 희소하고 시간적으로 분산된 증거를 효과적으로 찾고, 보존하며, 통합하는 능력이라고 주장합니다.

수동적 비디오 처리에서 능동적이고 반복적인 인식으로 전환함으로써, AOP-Agent 는 오픈소스 모델이 질문과 관련된 증거를 선택적으로 검사할 수 있게 합니다. 저자들은 이 접근법이 결정적 증거가 희소한 시나리오에서 특히 긴 비디오 오모달 추론을 위한 확장 가능하고 효과적인 패러다임을 제공한다고 봅니다. 이 연구는 시스템이 계층적 메모리와 구조화된 능동적 인식 루프를 갖추고 있다면, 비용이 많이 드는 독점 모델이나 대규모 훈련 없이도 복잡한 다중 홉 추론을 달성할 수 있음을 보여줍니다.

인정된 한계:

• MOV-Bench 의 규모는 주석 비용에 의해 제한됩니다.
• 다중 라운드 루프는 추론 오버헤드를 도입합니다.
• 시스템은 여전히 기본 메모리 베이스의 환각에 취약하며, 이는 오류를 전파할 수 있습니다.
• 현재 메모리 구축은 오프라인 기반이므로 실시간 스트리밍 시나리오에 적용하는 데 제한이 있습니다.