기술 요약: AgentCVR

문제 정의

크로스-비디오 추론 (CVR) 은 멀티모달 지능의 중요한 최전선으로, 모델이 복잡한 질의에 답하기 위해 여러 독립적인 비디오 스트림에 분산된 증거를 검색, 정렬 및 집계해야 함을 의미합니다. 증거가 국소적으로 제한된 단일 비디오 작업과 달리, CVR 은 희소하고 시간적으로 정렬되지 않은 단서를 포함하며, 종종 명시적인 크로스-비디오 비교를 필요로 합니다.

현재의 접근법인 멀티모달 대규모 언어 모델 (MLLM) 은 주로 "수동적 단일 통과 (passive single-pass)" 패러다임을 사용합니다. 이 전략에서는 모든 후보 비디오가 공유된 압축된 컨텍스트로 인코딩되어 한 단계로 답변을 생성합니다. 저자들은 이러한 설계가 CVR 에 근본적으로 결함이 있다고 주장합니다. 긴 비디오를 고정된 크기의 표현으로 압축하는 것은 드물지만 중요한 증거를 흐리게 만들기 때문입니다. 결과적으로 이러한 모델은 약한 증거 귀속과 불완전한 크로스-비디오 비교, 특히 시간적 및 비교적 질의에서 어려움을 겪습니다.

방법론: AgentCVR

이러한 한계를 해결하기 위해 저자들은 CVR 을 컨텍스트 길이 문제에서 능동적 증거 획득 작업으로 재정의하는 AgentCVR 프레임워크를 제안합니다. 이 시스템은 단일 통과 추론이 아닌 다중 라운드, 다중 에이전트 패러다임으로 작동합니다.

1. 다중 에이전트 아키텍처

AgentCVR 은 중앙 제어기 역할을 하는 경량 마스터 에이전트를 사용하여 시각 및 오디오 에이전트와 같은 전문 에이전트들을 반복적으로 조정합니다.

• 마스터 에이전트: 각 단계에서 사용자 질의와 누적된 상호작용 기록을 추론하여 어떤 모달리티별 에이전트를 호출할지, 어떤 시간 구간을 검사할지, 그리고 언제 종료할지 동적으로 결정합니다.
• 액션 공간: 액션 공간은 세 가지 하위 공간으로 분해됩니다.
  • 시각 쿼리: 시각 에이전트가 국소화된 텍스트 관찰을 추출하도록 비디오 ID, 시간 구간 및 초점 프롬프트를 지정합니다.
  • 오디오 쿼리: 오디오 에이전트를 특정 구간에서 음성 또는 소리 설명을 검색하도록 트리거하여 오디오 신호를 활용한 크로스-비디오 정렬을 가능하게 합니다.
  • 답변 액션: 충분한 증거가 수집되어 최종 답변을 생성할 수 있게 되면 프로세스를 종료합니다.
    이 설계는 증거 수집과 고수준 추론을 분리하여, 추론 모듈이 과부하된 컨텍스트 창이 아닌 명시적이고 질의에 조건부인 입력을 받도록 보장합니다.

2. 스크립트 시뮬레이션 강화 학습 (RL)

복잡하고 장기적인 의사결정을 위한 마스터 에이전트의 정책을 최적화하기 위해 저자들은 스크립트 시뮬레이션 RL을 도입합니다. 무거운 비전 - 언어 모델을 반복적으로 호출하는 계산 오버헤드로 인해 원시 비디오 추론을 통한 직접적인 온라인 RL 은 prohibitively expensive(부적절하게 비쌈) 합니다.

• 합성 스크립트 구성: 학습 환경은 경량 텍스트 기반 시뮬레이터입니다. LLM 이 비디오 세트, 시간적으로 근거 있는 사건, 그리고 크로스-비디오 관계를 정의하는 합성 의미 스크립트 ($W_{script}$) 를 생성합니다. 이러한 스크립트는 원시 비디오 데이터의 대리 역할을 합니다.
• 텍스트 기반 시뮬레이터 ($M_{sim}$): 온라인 탐색 동안 시뮬레이터는 원시 비디오 추론을 대체합니다. 에이전트 액션과 스크립트 슬라이스가 주어지면 $M_{sim}$은 의미 검색을 수행하여 시각 및 오디오 에이전트로부터의 피드백을 근사하는 자연어 관찰을 생성합니다. 중요한 점은 시뮬레이터는 관련 사건이 존재하지 않을 경우 "증거 없음"을 반환하도록 제한되어 할루시네이션을 방지한다는 것입니다.
• 학습 목표: 마스터 에이전트는 **그룹 상대적 정책 최적화 (GRPO)**를 사용하여 최적화됩니다. 보상 함수는 다음으로 구성됩니다.
  • 정확도 보상: 최종 답변의 정확도에 기반한 희소 신호.
  • 포맷팅 보상: 안정적인 실행을 보장하기 위한 유효한 도구 호출 형식을 장려하는 보조 보상.
• 시뮬레이션 - 현실 전이: 스크립트 기반 시뮬레이터에서 학습된 정책은 실제 시각 및 오디오 도구와 원시 비디오를 상호작용하는 실제 추론 파이프라인으로 직접 전이됩니다.

주요 기여

1. 패러다임 전환: 본 논문은 AgentCVR 을 제안하여 CVR 패러다임을 수동적 단일 통과 컨텍스트 압축에서 능동적 다중 라운드 증거 획득으로 전환합니다.
2. 스크립트 시뮬레이션 RL: LLM 이 생성한 의미 스크립트와 경량 텍스트 기반 시뮬레이터를 활용하여 다중 에이전트 정책을 학습하는 새로운 학습 패러다임을 도입함으로써, 고비용의 온라인 멀티모달 탐색을 우회합니다.
3. 실증적 검증: 광범위한 실험을 통해 AgentCVR 이 포괄적인 CVR 작업 전반에 걸쳐 강력한 성능을 달성하여 단일 통과 베이스라인을 능가하고, 특정 정렬 및 국소화 작업에서 최첨단 폐쇄형 소스 시스템과 대등한 성능을 보임을 입증했습니다.

실험 결과

이 프레임워크는 비교 분석, 시간적 이해, 다중 뷰 추론, 자유 형식 QA 의 네 가지 차원을 다루는 CVR 을 위해 특별히 설계된 대규모 벤치마크인 CrossVid에서 평가되었습니다.

• 성능: AgentCVR(특히 8B 변형) 은 오픈 소스 단일 통과 모델 (예: Qwen3-VL 시리즈) 과 적응된 단일 비디오 에이전트보다 현저히 뛰어난 성능을 발휘합니다. 특히 정밀한 증거 국소화와 세밀한 크로스-비디오 정렬이 필요한 작업에서 Doubao-1.5-VL-pro, GPT-4.1, Gemini-2.5-Pro 와 같은 강력한 폐쇄형 소스 최첨단 모델과 비교 가능한 성능을 달성합니다.
• 절대 실험 (Ablation Studies):
  • 아키텍처: 단일 통과 베이스라인을 다중 에이전트 아키텍처로 대체한 결과, 4B 및 8B 규모 모두에서 명확한 개선이 나타났습니다.
  • 학습: 스크립트 시뮬레이션 RL 을 도입한 결과 성능이 더욱 향상되어, 장기 상호작용을 마스터하기 위한 명시적 정책 최적화의 필요성이 검증되었습니다.
  • 모달리티 시너지: 시각적 지각이 증거 추출의 주요 동인이지만, 오디오 에이전트의 포함은 크로스-모달 검증이 필요한 작업에서 성능을 향상시키는 보완적 단서를 제공했습니다.
• 효율성: 스크립트 시뮬레이션 RL 접근법은 의사결정에서의 높은 정렬 (Sim-to-Real 일관성) 을 유지하면서 실제 비디오 상호작용 대비 학습 지연 시간을 약 5 배 단축했습니다.

중요성 및 주장

저자들은 AgentCVR 이 복잡한 실제 세계 비디오 스트림을 능동적으로 추론하는 멀티모달 에이전트들을 위한 새롭고 효율적이며 해석 가능한 경로를 확립했다고 주장합니다. CVR 을 증거 획득 문제로 간주함으로써 이 프레임워크는 현재 MLLM 들의 컨텍스트 과부하 한계를 극복합니다.

본 논문은 AgentCVR 이 폐쇄형 소스 시스템과의 격차를 좁혔지만, 여전히 미미한 성능 격차가 존재함을 겸손하게 인정합니다. 또한 모호한 시나리오에서의 잠재적 지시 편향, 조기 인지적 폐쇄, 그리고 단일 통과 방법에 비해 높은 추론 지연 시간과 같은 다중 턴 추론에 내재된 한계도 지적합니다. 이 연구는 단일 비디오 분석을 넘어 비디오 이해를 발전시키기 위한 핵심 구성 요소로서 능동적 지각과 시뮬레이션을 통한 효율적 정책 학습의 중요성을 강조합니다.