EVA: Efficient Reinforcement Learning for End-to-End Video Agent

이 논문은 비디오의 긴 토큰 시퀀스와 시간적 의존성 문제를 해결하기 위해 '지각 전 계획 (planning-before-perception)'을 가능하게 하는 효율적인 강화학습 기반 엔드투엔드 비디오 에이전트 'EVA'를 제안하고, 이를 위해 3 단계 학습 파이프라인을 구축하여 기존 모델 대비 성능을 크게 향상시켰음을 보여줍니다.

핵심

🤔 문제: "모든 걸 다 보려고 하다가 지쳐버린 AI"

기존의 비디오 이해 AI 들은 마치 무식하게 모든 장면을 다 보는 관객과 같습니다.

• 기존 방식: "이 10 분짜리 비디오를 분석해 줘!"라고 하면, AI 는 1 초 간격으로 모든 장면을 쭉 훑어보거나, 무작위로 몇 장을 찍어봅니다.
• 문제점: 비디오가 길어지면 (예: 1 시간짜리 영화), AI 는 모든 장면을 다 보느라 시간과 계산 자원을 다 써버립니다. 게다가 중요한 장면은 놓치고, 중요하지 않은 장면 (예: 배경의 나무가 흔들리는 장면) 에 시간을 낭비하기도 합니다.
• 비유: 도서관에서 책을 한 권 찾으라고 했을 때, 책장 전체를 다 뒤져서 모든 책의 표지를 다 읽는 것과 같습니다. 비효율적이죠.

---

✨ 해결책: EVA, "먼저 계획하고, 그다음 보는" 탐험가

EVA 는 이 문제를 해결하기 위해 "계획 - 행동 - 성찰"이라는 새로운 방식을 도입했습니다. 이를 "계획 후 지각 (Planning-before-Perception)"이라고 부릅니다.

🕵️‍♂️ EVA 의 작동 원리: 4 단계 탐험 루프

EVA 는 비디오를 바로 보는 게 아니라, 질문을 먼저 읽고 어떻게 볼지 계획을 세웁니다.

1. **요약 **(Summary) "질문이 뭘 물어보는 거지? 어떤 정보가 필요할까?"라고 먼저 생각합니다.
2. **계획 **(Plan) "아, 이 질문은 영화 시작 부분의 표정 변화를 물어보는구나. 그럼 처음 1 분만 고화질로 봐야겠어."라고 어디를, 언제, 얼마나 자세히 볼지 결정합니다.
3. **행동 **(Action) 직접 비디오 플레이어의 '줌 (Zoom)'이나 '시간 이동' 기능을 조작합니다. (예: "처음 1 분을 1 초 간격으로 자세히 보여줘" 또는 "중간 10 분은 저화질로 빠르게 훑어줘")
4. **성찰 **(Reflection) "지금 본 걸로 답이 나왔나? 아니면 더 자세히 봐야 하나?"라고 스스로 점검합니다. 답이 안 나오면 다시 계획을 세우고 더 필요한 부분만 찾아갑니다.

💡 핵심 비유:
기존 AI 는 모든 책을 다 읽으려는 독서광이라면,
EVA 는 목차를 보고 필요한 장만 찾아 읽는 현명한 연구원입니다.
"이 책에서 '사과'에 대한 내용만 찾아줘"라고 하면, 사과 관련 장만 빠르게 찾아서 읽지, 책 전체를 다 읽지 않죠.

---

🛠️ 어떻게 이렇게 똑똑해졌을까? (3 단계 훈련 과정)

EVA 가 이 능력을 갖추기 위해 연구자들은 3 단계의 특별한 훈련을 시켰습니다.

1. **1 단계: 초보 훈련 **(SFT - 감독 학습)

   • 상황: AI 에게 "비디오를 어떻게 보는지" 기본 매뉴얼을 가르칩니다.
   • 비유: 비행 조종사 훈련. 비행기 조종석의 버튼이 어디에 있고, 어떻게 작동하는지 기본기를 익히는 단계입니다.

2. **2 단계: 실수 교정 **(KTO - 카네만 - 트버스키 최적화)

   • 상황: AI 가 자주 하는 실수 (예: 답을 모를 때 무작위 추측하기, 너무 많은 장면을 다 보는 등) 를 가르쳐서 고칩니다.
   • 비유: 실전 연습. 조종사가 "아, 이 버튼을 잘못 누르면 비상 상황이 오네?"라고 실수를 경험하고, "다음엔 이렇게 해야지"라고 배우는 단계입니다.

3. **3 단계: 실전 강화 학습 **(GRPO - 보상 기반 학습)

   • 상황: AI 가 스스로 비디오를 탐험하며 정답을 맞출 때마다 상을 주고, 틀리면 벌점을 줍니다.
   • 비유: 게임 랭킹 시스템. AI 는 수많은 시도를 통해 "어떻게 하면 가장 적은 노력으로 정답을 맞출까?"를 스스로 터득합니다.

---

🏆 EVA 의 성과: 빠르고, 정확하고, 똑똑해!

실험 결과, EVA 는 기존 방식보다 훨씬 뛰어난 성과를 보였습니다.

• 효율성: 기존 AI 가 70 만 개의 이미지 조각 (토큰) 을 처리해야 했던 것을, EVA 는 1 만 개도 안 되는 양으로 해결했습니다. (비유: 전체 책을 다 읽지 않고, 필요한 10 페이지만 읽어서 정답을 맞춘 것과 같습니다.)
• 정확도: 긴 비디오에서도 정답을 맞히는 비율이 기존 모델보다 6~12% 높았습니다.
• 유연성: 질문이 복잡하면 고화질로 자세히 보고, 단순하면 저화질로 빠르게 훑어보는 등 상황에 맞춰 유연하게 대처합니다.

🎯 결론

EVA 는 단순히 비디오를 "보는" 것을 넘어, 질문을 해결하기 위해 능동적으로 비디오를 "탐험"하는 AI입니다.

한 줄 요약:
"기존 AI 는 비디오를 모두 다 보는 무식한 노동자였다면, EVA 는 무엇을 봐야 할지 먼저 생각한 뒤 필요한 부분만 정확히 보는 똑똑한 탐험가입니다."

이 기술은 앞으로 긴 영상 분석, 로봇의 시야 이해, 실시간 비디오 검색 등 다양한 분야에서 혁신을 일으킬 것으로 기대됩니다.

기술 요약

EVA: 효율적인 강화 학습을 통한 종단간 비디오 에이전트

1. 문제 정의 (Problem)

기존의 멀티모달 대형 언어 모델 (MLLM) 을 활용한 비디오 이해 시스템은 다음과 같은 근본적인 한계를 가지고 있습니다:

• 수동적 인식 (Passive Recognition): 대부분의 모델이 비디오 전체를 처리하거나 균일하게 샘플링된 프레임을 입력받아 수동적으로 응답을 생성합니다. 이는 긴 비디오에서 발생하는 시간적 의존성과 중복 프레임을 효율적으로 처리하지 못하게 합니다.
• 비효율적인 에이전트 설계: 최근 에이전트 기반 방법들은 외부 도구 (프레임 선택 모듈 등) 를 도입했으나, 여전히 수동으로 설계된 고정된 워크플로우와 '지각 우선 (Perception-first)' 전략에 의존합니다. 이는 에이전트가 질문을 분석하기 전에 이미 많은 시각 정보를 입력받아 불필요한 계산을 수행하게 만듭니다.
• 긴 비디오의 처리 난제: 긴 비디오의 경우, 균일한 샘플링만으로는 핵심 프레임을 모두 포착하기 어렵거나, 모든 프레임을 처리하는 것은 토큰 비용이 너무 많이 들어 비실용적입니다.

2. 제안 방법 (Methodology)

저자들은 "지각 전 계획 (Planning-before-Perception)" 패러다임을 도입하여, 에이전트가 시각 입력을 받기 전에 텍스트 질문만으로 무엇을, 언제, 어떻게 볼지 결정하도록 합니다. 이를 위해 EVA(Efficient Video Agent) 프레임워크를 제안했습니다.

• 핵심 메커니즘: 반복적 요약 - 계획 - 행동 - 성찰 (Iterative Summary-Plan-Action-Reflection)

  • 에이전트는 질문을 기반으로 초기 계획을 수립합니다.
  • 필요한 시각 정보를 얻기 위해 도구 (프레임 선택 도구) 를 호출합니다. 이 도구는 시간 범위 (start/end time), 샘플링 프레임 수 (nframes), 해상도 조절 (resize) 등을 유연하게 제어할 수 있습니다.
  • 획득한 정보를 바탕으로 추론을 수행하고, 정보가 부족하면 추가 도구를 호출하거나, 충분하면 답변을 생성합니다.
  • 불충분한 정보로 답변을 생성하는 것을 방지하기 위해 '성찰 (Reflection)' 단계를 거칩니다.

• 3 단계 학습 파이프라인 (Three-Stage Training Pipeline)
  안정적이고 재현 가능한 에이전트 강화 학습을 위해 세 단계의 학습 전략을 사용합니다:

  1. 지도 미세 조정 (SFT, Supervised Fine-Tuning):
     • EVA-SFT 데이터셋 (1 만 개) 을 사용하여 모델에게 도구 호출 형식, 교차 이미지 - 텍스트 추론, 프레임 선택 전략 등 에이전트의 기본 행동 양식을 학습시킵니다.
  2. 카네만 - 트버스키 최적화 (KTO, Kahneman-Tversky Optimization):
     • EVA-KTO 데이터셋 (1.1 만 개) 을 활용합니다. 성공적인 전략과 실패한 전략 (예: 시각 정보 없이 추측, 과도한 샘플링 등) 을 구분하여 모델이 일반적인 실패 패턴을 피하고 효과적인 전략을 선호하도록 학습시킵니다. 이는 온라인 강화 학습 전의 안정성을 높입니다.
  3. 일반화 보상 정책 최적화 (GRPO, Generalized Reward Policy Optimization):
     • EVA-RL 데이터셋 (9.6 천 개 오픈엔드 QA + 1.1 천 개 객관식) 을 사용하여 온라인 강화 학습을 수행합니다.
     • 데이터 증강: 학습 중 발생한 실패 사례를 수집하여 교사 모델 (Teacher MLLM) 에게 새로운 질문 - 답변 쌍을 생성하게 함으로써 데이터 다양성을 확보합니다.
     • 보상 설계: 객관식 문제는 정답 확인 (CSV), 오픈엔드 문제는 ROUGE 점수를 기반으로 한 복합 보상 함수를 사용하여 추론의 깊이와 계산 효율성을 균형 있게 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. 새로운 비디오 에이전트 아키텍처: '지각 전 계획'을 기반으로 한 반복적 추론 루프를 통해, 효율적이고 해석 가능한 비디오 이해를 가능하게 하는 EVA 를 제안했습니다.
2. 간단하지만 효과적인 3 단계 학습 파이프라인: SFT(콜드 스타트), KTO(전략 수정), GRPO(최적화) 를 결합하여 추론 깊이와 계산 효율성을 동시에 향상시키는 확장 가능한 학습 프로세스를 구축했습니다.
3. 고품질 데이터셋 및 실증적 성과: 각 학습 단계를 지원하는 EVA-SFT, EVA-KTO, EVA-RL 데이터셋을 구축했으며, 여러 벤치마크에서 기존 방법론을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

EVA 는 6 가지 주요 비디오 이해 벤치마크 (LSDBench, LongVideoBench, MLVU, VideoMME, LVBench, Video-Holmes) 에서 평가되었습니다.

• 샘플링 딜레마 벤치 (LSDBench):
  • 기존 폐쇄형 모델 (Gemini-2.0-Flash 등) 은 높은 정확도 (56.2%) 를 보이지만 70 만 개 이상의 시각 토큰을 사용했습니다.
  • EVA 는 약 6,200 개의 시각 토큰만 사용하여 51.8% 의 정확도를 달성했습니다. 이는 오픈소스 베이스라인 대비 2.6%p 향상되었으며, 토큰 사용량은 획기적으로 줄였습니다.
• 장편 비디오 이해:
  • LongVideoBench, MLVU, VideoMME 등 장편 비디오 벤치마크에서 기존 적응형 에이전트 방법론보다 1~3%p, 일반 MLLM 베이스라인보다 6~12%p의 성능 향상을 보였습니다.
  • 비디오당 약 20~30 개의 프레임만 동적으로 선택하여 처리함으로써 긴 컨텍스트 문제를 효과적으로 해결했습니다.
• 제로샷 추론 능력:
  • Video-Holmes 벤치마크에서 별도의 작업별 학습 없이도 복잡한 추론 (사회적 추론, 인과 추론 등) 에서 경쟁력 있는 성능을 보여주었습니다.
• 계산 효율성:
  • 다중 라운드 추론을 수행하지만, 적응형 토큰 할당 덕분에 전체 계산 비용은 균일 샘플링 방식과 유사하거나 더 낮았습니다.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: 비디오 이해를 '수동적인 프레임 인식'에서 '능동적인 시각 정보 탐색'으로 전환시켰습니다. 에이전트가 질문의 의도에 따라 시각 토큰을 효율적으로 할당함으로써, 긴 비디오 이해의 핵심 병목 현상인 '샘플링 딜레마'를 해결했습니다.
• 자율성과 적응성: 고정된 워크플로우가 아닌, 에이전트가 실시간으로 해상도, 프레임 수, 시간 범위를 조절하며 상황에 맞는 최적의 관측 전략을 스스로 수립할 수 있게 되었습니다.
• 확장 가능성: 제안된 3 단계 학습 파이프라인과 데이터 구축 방법은 향후 더 복잡한 멀티모달 에이전트 개발의 표준적인 접근법으로 자리 잡을 수 있는 기반을 마련했습니다.

결론적으로, EVA 는 강화 학습을 통해 비디오 에이전트가 어떤 프레임을, 언제, 어떤 해상도로 볼지 스스로 결정할 수 있도록 함으로써, 효율성과 정확성을 동시에 달성한 새로운 차원의 비디오 이해 모델을 제시했습니다.