Think with Grounding: Curriculum Reinforced Reasoning with Video Grounding for Long Video Understanding

이 논문은 긴 비디오 이해 시 발생할 수 있는 환각 현상을 줄이고 정확한 추론을 위해, 필요한 순간에만 비디오 클립을 선택적으로 참조하는 'Think-with-Grounding' 패러다임을 도입하고, 이를 강화 학습 커리큘럼과 새로운 TwG-GRPO 알고리즘을 통해 학습시킨 Video-TwG 모델을 제안합니다.

핵심

🎬 비유: "긴 영화 속 숨은 보물을 찾는 탐정"

상상해 보세요. 2 시간짜리 긴 영화를 보고 "영화 속에서 주인공이 들고 있던 주황색 공구는 무엇이었나요?"라는 질문을 받았다고 칩시다.

1. 기존 AI 의 문제점: "눈이 먼 독서"

기존의 AI 들은 이 긴 영화를 처음부터 끝까지 한 번에 훑어보려고 합니다. 하지만 영화가 너무 길고 내용이 복잡하면, AI 는 중요한 순간을 놓치거나 기억력이 부족해져서 상상으로 답을 만들어냅니다.

• 현실: "아, 공구였지? 아마 주황색이었을 거야." (실제로는 파란색인데, 기억이 안 나서 주황색이라고 확신하며 틀린 답을 냄)
• 문제: 긴 영상에는 불필요한 장면이 너무 많고, 중요한 순간은 아주 짧게 지나가기 때문에, AI 가 모든 것을 기억할 수 없어 환각 (Hallucination) 현상이 발생합니다.

2. 이 논문이 제안한 해결책: "Video-TwG (필요할 때만 확대해서 보기)"

이 논문은 AI 에게 **"일단 대충 훑어보고, 궁금한 게 생기면 그때그때 해당 장면을 확대해서 자세히 보라"**는 새로운 방식을 가르쳤습니다.

• 단계 1 (대략 보기): AI 는 먼저 전체 영상을 빠르게 훑어봅니다 (저해상도).
• 단계 2 (생각하기): "어? 이 부분에서 공구가 나온 것 같은데, 너무 흐릿해서 확실하지 않아."라고 생각합니다.
• 단계 3 (근거 찾기 - Grounding): "그럼 이 부분만 다시 자세히 보자!"라고 말하며, **정확한 시간대 (예: 2 분 30 초~3 분)**를 지정해서 그 부분만 고화질로 다시 봅니다.
• 단계 4 (정답 도출): 자세히 보니 공구가 파란색이네요! 이제 확신을 가지고 "정답은 파란색입니다!"라고 답합니다.

이 방식은 마치 검색 엔진이 필요한 정보만 찾아주는 것과 비슷합니다. 모든 책을 다 읽을 필요 없이, 궁금한 부분만 찾아서 읽는 것이죠.

---

🚀 어떻게 가르쳤을까요? (두 단계 커리큘럼)

AI 를 갑자기 긴 영화로 가르치면 혼란스러워합니다. 그래서 연구팀은 두 단계로 나누어 가르쳤습니다.

1. 첫 번째 단계 (짧은 영상으로 연습):

   • 짧은 영상 (예: 1 분짜리) 과 정답이 있는 데이터를 줍니다.
   • "이 짧은 영상에서 중요한 부분을 찾아서 확대해 봐"라고 가르칩니다.
   • 마치 유아용 교재로 기본기를 다지는 과정입니다.

2. 두 번째 단계 (긴 영상으로 확장):

   • 이제 1 시간짜리 긴 영화나 다양한 영상으로 넘어갑니다.
   • 정답이 없는 영상도 많습니다. 이때 AI 는 스스로 "이 부분을 보면 답을 알 수 있겠구나"라고 판단하며 학습합니다.
   • 마치 실전 훈련을 통해 스스로 문제를 해결하는 능력을 키우는 과정입니다.

---

🏆 왜 이 방법이 좋은가요?

• 정확도 UP: 중요한 순간을 놓치지 않고 확대해서 보기 때문에, 틀린 답을 상상하는 경우가 훨씬 줄어듭니다.
• 효율성 UP: 처음부터 끝까지 고화질로 다 보는 게 아니라, 필요한 부분만 고화질로 봅니다. 그래서 컴퓨터 자원도 아끼고 빠릅니다.
• 현실 적용: 실제 우리는 긴 영상을 볼 때도 "어? 저게 뭐지?" 싶을 때만 다시 돌려보거나 확대해서 보잖아요? 이 AI 는 인간의 그런 자연스러운 방식을 배운 것입니다.

💡 결론

이 연구는 AI 가 긴 영상을 볼 때, 눈을 감고 상상하는 대신, 필요한 순간에 "확대경"을 꺼내어 정확한 증거를 찾아보게 함으로써 훨씬 더 똑똑하고 정확한 답변을 하도록 만들었습니다.

**"모든 것을 기억하려 하지 말고, 중요한 순간을 찾아서 자세히 보라"**는 것이 이 논문의 핵심 메시지입니다.

기술 요약

1. 문제 정의 (Problem)

장기 비디오 이해 (Long Video Understanding, LVU) 는 긴 시간 범위에 걸쳐 존재하는 풍부하지만 복잡한 멀티모달 단서들을 처리해야 하므로 매우 어렵습니다. 기존 연구들은 텍스트 형태의 추론 (Reasoning) 을 통해 복잡한 비디오 단서를 분석하려는 시도를 해왔으나, 다음과 같은 한계가 있었습니다:

• 할루시네이션 (Hallucination) 심화: 고정된 비디오 컨텍스트 하에서 텍스트만 기반한 추론을 수행할 때, 긴 비디오의 시간적 중복성 (Temporal Redundancy) 으로 인해 중요한 세부 정보가 누락되거나 무시될 수 있습니다.
• 부적절한 컨텍스트 길이: 제한된 비디오 컨텍스트 길이 내에서 질문과 관련된 희소하게 분포된 중요한 순간 (Sparsely distributed moments) 을 놓치게 되어 최적의 결과를 얻지 못합니다.
• 수동적 접근: 기존 모델들은 정적으로 샘플링된 비디오 컨텍스트를 수동적으로만 분석할 뿐, 필요할 때 동적으로 중요한 클립을 찾아내는 능력이 부족했습니다.

2. 제안 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 Video-TwG라는 새로운 프레임워크를 제안했습니다. 이는 비디오 LLM 이 추론 과정에서 필요에 따라 동적으로 비디오를 'Grounding(지정/확대)'하는 'Think-with-Grounding' 패러다임을 구현합니다.

핵심 구성 요소:

1. Think-with-Grounding 패러다임:

   • 고정된 컨텍스트에서 수동적으로 추론하는 대신, RAG(검색 증강 생성) 와 유사하게 모델이 스스로 다음에 필요한 증거를 판단합니다.
   • 추론 과정에서 질문과 관련된 중요한 비디오 클립을 선택적으로 확대 (Zoom-in) 하여 정밀한 세부 정보를 획득하고, 이를 다시 추론 컨텍스트에 추가하는 다중 턱 (Multi-turn) 상호작용을 수행합니다.

2. TwG-51K 데이터셋:

   • 학습을 위해 구축된 새로운 데이터셋으로, 총 50,744 개의 샘플로 구성됩니다.
   • 라벨링된 데이터: NExT-GQA 및 CG-Bench 에서 가져온 8,195 개의 샘플 (비디오 지면/Grounding 라벨 포함).
   • 라벨 없는 데이터: LLaVA-Video-178K 에서 샘플링한 42,549 개의 일반 비디오 QA 데이터 (Grounding 라벨 없음).

3. 2 단계 강화 커리큘럼 전략 (Two-stage Reinforced Curriculum Strategy):

   • 1 단계 (Cold Start): 라벨이 있는 짧은 비디오 GQA 데이터 (NExT-GQA 등) 를 사용하여 모델이 'Think-with-Grounding' 행동을 학습하도록 유도합니다.
   • 2 단계 (Generalization): 라벨이 없는 다양한 도메인과 길이의 일반 QA 데이터로 학습 범위를 확장하여 모델의 일반화 능력을 향상시킵니다.

4. TwG-GRPO 알고리즘:

   • 기존 GRPO(Group Relative Policy Optimization) 를 기반으로 하며, 복잡한 추론 궤적과 다양한 데이터 유형을 처리하기 위해 설계되었습니다.
   • 세부 보상 설계:
     • Fine-grained Grounding Reward: 라벨이 있는 데이터에 대해 정답과 일치하는 Grounding 이 수행되었는지에 대한 세밀한 보상.
     • Self-Confirmed Pseudo Reward: 라벨이 없는 데이터에 대해, 모델이 Grounding 한 클립만으로 정답을 도출할 수 있는지 스스로 확인 (Self-confirmation) 하여 가상의 보상을 부여합니다.
     • Accuracy-Gated Mechanism: 정답의 정확도가 Grounding 행동보다 우선시되도록 설계하여, 잘못된 Grounding 이 정확도 최적화를 방해하는 것을 방지합니다.

5. 다중 그레인 비디오 표현 (Multi-Grained Video Representation):

   • 초기 입력은 coarse-grained(저해상도/간략한) 프레임으로 처리하고, Grounding 이 수행된 클립은 fine-grained(고해상도/세부적) 프레임으로 처리하여 계산 효율성과 정확도를 동시에 확보합니다.

3. 주요 기여 (Key Contributions)

1. Video-TwG 프레임워크: 외부 모듈이나 비용이 많이 드는 지도 학습 (SFT) 추론 흔적 없이, 비디오 LLM 이 장기 비디오 이해를 위해 반복적으로 'Grounding 과 함께 추론'할 수 있게 하는 새로운 커리큘럼 강화 학습 프레임워크 제안.
2. Two-stage Reinforced Curriculum Strategy & TwG-GRPO: 학습 난이도를 낮추기 위한 2 단계 커리큘럼과, 정밀한 Grounding 보상, 자기 확인 가상 보상, 정확도 게이트 메커니즘을 결합한 새로운 RL 알고리즘 제안.
3. TwG-51K 데이터셋: 라벨링된 GQA 데이터와 라벨 없는 일반 비디오 QA 데이터를 결합하여 대규모 학습을 가능하게 하는 새로운 데이터셋 구축.
4. 성능 입증: Video-MME, LongVideoBench, MLVU 등 주요 벤치마크에서 기존 강력한 LVU 베이스라인들을 일관되게 능가하는 성능 달성.

4. 실험 결과 (Results)

• 벤치마크 성능: Video-MME, LongVideoBench, MLVU 에서 Qwen2.5-VL-7B 를 베이스로 한 Video-TwG 는 저해상도 (LR) 및 고해상도 (HR) 설정 모두에서 기존 모델들 (Video-R1, VideoAgent, VideoTree 등) 보다 우수한 성능을 보였습니다.
  • 예: Video-MME 에서 저해상도 기준 Qwen2.5-VL-7B 대비 7.0 포인트, 고해상도 기준 2.5 포인트 향상.
• Ablation Study:
  • 2 단계 커리큘럼의 필요성: 1 단계 (라벨 데이터 학습) 를 생략할 경우 모델의 Grounding 행동이 학습 초기에 사라지며 성능이 크게 저하됨을 확인.
  • TwG-GRPO 의 효과: Self-Confirmed Pseudo Reward 를 도입함으로써 불필요한 Grounding 행동을 15.7% 감소시키면서도 QA 성능은 유지하거나 향상시켰습니다.
  • Grounding 의 효율성: 단순히 비디오 입력 길이를 늘리는 것보다, 필요한 순간에 동적으로 클립을 확대하는 'Think-with-Grounding' 방식이 장기 비디오에서 훨씬 효과적이었습니다.

5. 의의 및 결론 (Significance)

이 논문은 장기 비디오 이해의 핵심 병목 현상인 '정보 과부하'와 '중요 단서 누락' 문제를 해결하기 위해, 모델이 스스로 판단하여 필요한 시각적 정보를 동적으로 검색하고 확대하는 능력을 강화학습을 통해 학습시켰다는 점에서 의의가 큽니다.

• 효율성: 불필요한 계산 (전체 비디오의 고해상도 처리) 을 줄이고, 질문과 관련된 핵심 클립에만 집중하여 효율성을 높였습니다.
• 확장성: 복잡한 수동 주석 (Reasoning traces) 없이도 대규모 라벨 없는 데이터를 활용하여 학습할 수 있는 방법을 제시했습니다.
• 실용성: 실제 환경에서 장시간 비디오를 분석해야 하는 상황에서 할루시네이션을 줄이고 정확한 답변을 도출하는 데 기여할 것으로 기대됩니다.

결론적으로, Video-TwG 는 비디오 LLM 이 정적인 컨텍스트에 머무르지 않고, 능동적으로 시각적 증거를 탐색하며 추론하는 새로운 패러다임을 제시했습니다.