VideoChat-M1: Collaborative Policy Planning for Video Understanding via Multi-Agent Reinforcement Learning

이 논문은 고정된 도구 호출 방식을 극복하고 다중 에이전트 간 협력적 정책 계획 (CPP) 과 다중 에이전트 강화 학습 (MARL) 을 도입하여 동적으로 정책을 정제함으로써 비디오 이해 성능을 획기적으로 향상시킨 VideoChat-M1 을 제안합니다.

핵심

비디오를 이해하는 '팀워크의 마법': VideoChat-M1 설명

이 논문은 **"비디오를 보고 복잡한 질문을 답할 때, AI 가 혼자 끙끙 앓는 대신, 여러 AI 가 팀을 이뤄 함께 일하면 훨씬 똑똑해진다"**는 아이디어를 담고 있습니다. 이를 VideoChat-M1이라고 부릅니다.

기존의 AI 는 비디오를 볼 때 "무조건 이 순서대로만 봐야 해"라는 고정된 규칙을 따랐습니다. 마치 식당에서 "먼저 메뉴판 보고, 그다음 주문하고, 그다음 요리 기다리기"라는 순서만 고수하는 웨이터처럼요. 하지만 비디오는 매번 다르고, 질문도 어렵기 때문에 이 고정된 규칙으로는 실패하기 쉽습니다.

VideoChat-M1 은 이 문제를 해결하기 위해 세 가지 핵심 비법을 사용합니다.

---

1. 고정된 규칙 대신 '유연한 작전 회의' (Collaborative Policy Planning)

기존 방식은 단일한 AI가 혼자서 "어떤 도구를 쓸까?"를 정하고 실행합니다. 하지만 VideoChat-M1 은 **여러 명의 AI 에이전트 (팀원)**로 구성된 팀을 만듭니다.

• 비유: 탐정팀의 작전 회의
  • 기존 방식: 한 명의 형사가 "범인은 오른쪽 문으로 도망쳤을 거야"라고 단정 짓고 그쪽만 쫓아갑니다. 틀리면 끝장입니다.
  • VideoChat-M1 방식: 4 명의 형사 (AI 팀원) 가 모여서 각자 다른 가설을 세웁니다.
    • A 형사: "아마 왼쪽 창문으로 도망쳤을 거야."
    • B 형사: "아니야, 범인은 지하차도를 이용했을 수도 있어."
    • C 형사: "잠깐, CCTV 를 먼저 확인해 봐야겠다."
  • 작전 실행과 소통: 각자가 자신의 가설대로 증거 (비디오 장면) 를 찾아봅니다. 그리고 중간중간 서로에게 **"나 지금 이걸 찾았어, 너는 어때?"**라고 정보를 공유합니다.
  • 수정: A 형사가 "아! B 형사가 찾은 증거를 보니 내가 틀렸네. 내 계획을 바꿔야겠다"라고 생각하며 작전을 수정합니다.
  • 결과: 서로의 실수를 보완하고, 더 좋은 증거를 찾아내어 최종 정답에 도달합니다.

이 과정을 **정책 생성 (작전 세우기) → 실행 (수색) → 소통 (정보 공유 및 수정)**의 반복으로 이루어집니다.

2. 팀워크를 훈련시키는 '강력한 코치' (Multi-Agent Reinforcement Learning)

단순히 팀을 꾸렸다고 해서 다 잘하는 건 아닙니다. VideoChat-M1 은 이 팀을 **강화학습 (Reinforcement Learning)**으로 훈련시킵니다.

• 비유: 스포츠 팀의 코칭 스태프
  • 결과 점수 (정답): 게임에서 이겼으면 큰 점수, 졌으면 감점.
  • 과정 점수 (협업): 단순히 이기는 것뿐만 아니라, 팀원들이 서로 잘 협력했는지, 불필요한 실수를 줄였는지도 평가합니다.
  • 코치의 역할: AI 코치 (LLM) 가 팀의 작전 회의를 지켜보며 "너희 팀은 서로 정보를 공유해서 작전을 바꾼 게 훌륭해!"라고 칭찬하거나, "너는 혼자서 엉뚱한 곳만 쫓고 있었잖아"라고 지적합니다.
  • 훈련: 이 칭찬과 지적을 바탕으로 팀원들은 다음 게임을 위해 서로 더 잘 협력하는 방법을 스스로 배웁니다.

이 덕분에 VideoChat-M1 은 단순히 정답만 맞추는 게 아니라, 어떻게 협력해야 가장 효율적으로 문제를 해결할지까지 배우게 됩니다.

3. 실제 성과: 거인들을 이긴 작은 팀

이 방법은 놀라운 결과를 낳았습니다.

• 비유: 작은 팀이 거인들을 이기다
  • 구글의 Gemini 2.5 Pro나 오픈AI 의 GPT-4o 같은 거대하고 비싼 AI 모델들은 비디오를 이해하는 데서 종종 실수를 합니다. 특히 긴 비디오나 복잡한 공간 관계를 물어보면 더 그렇습니다.
  • 하지만 VideoChat-M1 은 상대적으로 작은 모델 (약 370 억 개 파라미터) 로 구성되었음에도, Gemini 2.5 Pro 보다 3.6% 더 높게, GPT-4o 보다 무려 15.6% 더 높은 점수를 받았습니다.
  • 마치 4 명의 똑똑한 형사가 팀을 이뤄, 거대한 정보 처리 능력을 가진 혼자만의 형사보다 더 뛰어난 추리를 해낸 것과 같습니다.

요약: 왜 이것이 중요한가요?

기존의 AI 는 "한 가지 방법만 고수하는 고집 센 학생"이었다면, VideoChat-M1 은 **"서로 의견을 나누고, 실수를 인정하며, 함께 문제를 해결하는 팀워크의 대가"**입니다.

이 기술은 긴 영화의 줄거리를 파악하거나, 복잡한 사건 사고의 원인을 추적하거나, 비디오 속 공간 관계를 이해하는 등 인간처럼 유연하게 사고하는 AI를 만드는 중요한 첫걸음입니다. 단순히 더 큰 컴퓨터를 쓰는 것이 아니라, 더 똑똑한 협력 방식을 개발함으로써 AI 의 한계를 넘은 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 비디오 이해 (Video Understanding) 를 위한 멀티 에이전트 프레임워크는 대부분 정적 (static) 이고 학습 불가능한 도구 호출 메커니즘을 사용합니다.

• 한계: 이러한 고정된 정책 (Fixed Policy) 은 복잡하고 긴 시간적 맥락 (Long Video) 이나 복잡한 공간적 구조를 가진 비디오에서 다양한 단서 (clues) 를 발견하고 추적하는 데 한계가 있습니다.
• 결과: 에이전트가 비디오의 다양한 시간적 스케일에 걸쳐 풍부한 단서를 식별, 추적, 요약하지 못하여 복잡한 비디오에 대한 지각 및 추론 능력이 최적화되지 못합니다.

2. 방법론 (Methodology)

이 논문은 VideoChat-M1이라는 새로운 멀티 에이전트 시스템을 제안하며, 기존의 단일 고정 정책 대신 협업 정책 계획 (Collaborative Policy Planning, CPP) 패러다임을 도입합니다.

A. 협업 정책 계획 (CPP) 파이프라인

CPP 는 세 가지 핵심 단계를 통해 에이전트들이 동적으로 정책을 생성하고 수정합니다.

1. 정책 생성 (Policy Generation): 각 에이전트가 사용자의 질의 (Query) 에 맞춰 고유한 도구 호출 전략 (정책) 을 생성합니다.
2. 정책 실행 (Policy Execution): 각 에이전트가 생성된 정책에 따라 관련 도구 (예: 비디오 검색, 이미지 검색, 공간 분석 도구 등) 를 순차적으로 호출하여 비디오 내용을 탐색하고 중간 답변을 도출합니다.
3. 정책 소통 (Policy Communication): 실행 중간 단계에서 에이전트들은 공유 메모리 버퍼를 통해 서로의 중간 결과와 맥락을 교환합니다. 이를 바탕으로 각 에이전트는 자신의 초기 정책을 더 최적화된 정책으로 **동적으로 수정 (Refine)**하거나 유지합니다.

B. 멀티 에이전트 강화 학습 (Multi-Agent Reinforcement Learning, MARL)

CPP 의 효과성과 견고성을 높이기 위해 MARL 을 도입했습니다. 이는 비디오 이해를 위한 멀티 에이전트 정책 학습 프레임워크로는 최초의 시도입니다.

• SFT (Supervised Fine-Tuning): 고품질의 초기 정책 계획을 생성할 수 있도록 에이전트들을 사전 학습시킵니다.
• 보상 설계 (Reward Design): 세 가지 유형의 보상을 통해 에이전트 그룹을 공동 최적화합니다.
  • 결과 보상 ($R_{res}$): 최종 답변의 정확도에 기반.
  • 형식 보상 ($R_{format}$): 문법적으로 올바른 도구 호출 및 실행 가능한 출력에 기반.
  • 협업 보상 ($R_{col}$): LLM 을 리워드 모델로 사용하여 중간 협업 과정 (계획의 실행 가능성, 도구 호출 적절성 등) 의 질을 평가.
• 최적화 알고리즘: **GRPO (Group Relative Policy Optimization)**를 적용하여 그룹 내 상대적 성능을 기준으로 정책을 업데이트하고, KL 발산 패널티를 통해 학습 안정성을 유지합니다.

3. 주요 기여 (Key Contributions)

1. VideoChat-M1 프레임워크 제안: 단일 고정 정책을 CPP 패러다임으로 대체하여, 에이전트들이 멀티 에이전트 소통을 통해 도구 사용 전략을 동적으로 생성하고 적응하도록 함.
2. 선구적인 MARL 방법론 도입: 최종 답변 정확도뿐만 아니라 중간 협업 과정의 질까지 평가하는 하이브리드 보상 시스템을 통해 협업 프로세스를 최적화하는 최초의 프레임워크.
3. SOTA 성능 달성: 4 가지 주요 작업 (장기 비디오 QA, 비디오 추론, 공간 지능, 시간적 정렬) 에 대한 8 개의 벤치마크에서 최첨단 (SOTA) 성능을 기록.

4. 실험 결과 (Results)

VideoChat-M1 은 8 개의 도전적인 벤치마크에서 폐쇄형 (Closed-source) 및 오픈소스 (Open-source) 모델 모두를 능가하는 성능을 보였습니다.

• 성능 비교:
  • LongVideoBench: GPT-4o 보다 15.6% 높고, Gemini 2.5 Pro 보다 3.6% 높은 성능을 기록.
  • VideoMMMU: 37B 파라미터 규모의 에이전트 그룹이 235B 파라미터 규모의 Qwen3-VL 과 유사한 성능을 보임 (파라미터 효율성 입증).
  • VSIBench (공간 지능): Gemini 1.5 Pro 보다 26.5% 높은 성능 달성.
  • Charades-STA (시간적 정렬): Seed 1.5VL 보다 3.0% 향상.
• 효율성:
  • 다른 모델 대비 훨씬 적은 프레임 수 (평균 69.9 프레임) 와 짧은 추론 시간 (19.8 초) 으로 최상위 성능을 달성하여 효율성 - 성능 트레이드오프가 우수함.
• Ablation Study:
  • 에이전트 수 증가에 따른 성능 향상 (4 개 에이전트까지 최적).
  • 이질적인 에이전트 구성 (Homogeneous vs Heterogeneous) 이 협업 효율에 긍정적 영향.
  • MARL 의 모든 보상 구성 요소와 에이전트 드롭아웃 (Agent Dropout) 이 성능에 필수적임을 확인.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: 비디오 이해 분야에서 정적인 도구 호출에서 동적이고 협업적인 정책 계획으로의 전환을 주도함.
• 학습 가능성: 기존 에이전트 기반 프레임워크들이 학습되지 않은 정적 규칙에 의존했던 것과 달리, VideoChat-M1 은 강화 학습을 통해 협업 능력을 학습하여 복잡한 비디오 작업에 적응할 수 있음.
• 실용성: 거대 모델 (Large-scale MLLM) 에 의존하지 않고도, 효율적인 멀티 에이전트 협업과 정책 학습을 통해 최상위 성능을 달성함으로써 비용 효율적인 비디오 이해 솔루션을 제시함.

이 연구는 복잡한 비디오 콘텐츠를 이해하기 위해 에이전트들이 서로 소통하며 전략을 수정하고 최적화하는 적응형 (Adaptive) 지능 시스템의 가능성을 입증했습니다.