VideoTemp-o3: Harmonizing Temporal Grounding and Video Understanding in Agentic Thinking-with-Videos

이 논문은 긴 비디오 이해에서 기존 균일 샘플링의 한계를 극복하고, 국소화 및 답변을 통합적으로 모델링하는 새로운 에이전트 사고 프레임워크인 'VideoTemp-o3'를 제안하여, 정밀한 시간적 국소화와 고품질 데이터 구축을 통해 성능을 획기적으로 향상시킨다고 요약할 수 있습니다.

핵심

비디오를 보고 생각하며 답하는 'VideoTemp-o3' 설명

이 논문은 **"긴 영상을 볼 때, AI 가 어떻게 똑똑하게 핵심 부분만 찾아서 정답을 낼 수 있을까?"**라는 문제를 해결한 새로운 방법, VideoTemp-o3를 소개합니다.

기존의 AI 는 긴 영상을 볼 때 마치 모든 장면을 똑같은 간격으로 빠르게 훑어보는 (Uniform Sampling) 사람과 같았습니다. 문제는 중요한 순간이 그 '훑어보기' 사이에서 놓쳐버릴 수 있다는 점입니다. 마치 책 전체를 빠르게 넘기다가 정답이 있는 페이지를 건너뛰는 것과 비슷하죠.

이 문제를 해결하기 위해 등장한 VideoTemp-o3 는 마치 현명한 탐정처럼 행동합니다.

---

1. 기존 방식 vs 새로운 방식: "모두 훑기" vs "탐정처럼 찾기"

• 기존 방식 (비효율적인 훑어보기):
  긴 영상을 볼 때 AI 는 컴퓨터 성능을 아끼려고 영상을 100 장 중 10 장만 골라 봅니다. 하지만 정답이 있는 11 번째 장면을 놓치면, AI 는 엉뚱한 답을 말하거나 "모르겠다"고 합니다.

• VideoTemp-o3 의 방식 (지능형 탐정):
  이 AI 는 영상을 처음부터 끝까지 다 보지 않습니다. 대신 질문을 듣고 **"어? 이 부분에서 답이 나올 것 같은데?"**라고 추측합니다.

  1. 예상 구간 찾기: 영상 전체를 빠르게 훑어보며 "아마도 3 분 10 초부터 3 분 20 초 사이일 거야"라고 대략적인 범위를 잡습니다.
  2. 클립 자르기 (Crop): 그 구간만 잘라내어 확대해 봅니다.
  3. 생각하며 답하기 (Thinking): 잘라낸 부분을 자세히 보고 답을 찾습니다. 만약 답이 안 나오면, **"아, 내가 잘못 찾았네. 다시 5 분 구간을 찾아보자"**라고 스스로 반성하고 다시 찾습니다.

이 과정을 **"탐정처럼 생각하며 영상 보기 (Thinking-with-Videos)"**라고 부릅니다.

---

2. VideoTemp-o3 의 핵심 능력 3 가지

이 모델은 세 가지 특별한 능력을 갖추고 있습니다.

① 필요할 때만 자르기 (On-demand Clipping)

• 비유: 요리할 때 모든 재료를 다 썰지 않고, 레시피에 필요한 것만 썰는 것과 같습니다.
• 설명: 영상이 짧고 답이 명확하면 바로 답을 냅니다. 하지만 영상이 길고 복잡하면, AI 가 스스로 "이제 잘라봐야겠다"라고 판단하여 필요한 부분만 잘라냅니다. 불필요한 계산을 아껴줍니다.

② 실수하면 다시 찾기 (Reflection Mechanism)

• 비유: 길을 찾다가 헤매면 지도를 다시 보고 "아, 내가 잘못 들어갔네. 다시 출발하자"라고 말하는 것과 같습니다.
• 설명: 처음에 찾은 구간이 틀렸을 때, AI 는 "이건 답이 아니야"라고 스스로 깨닫고 다시 더 정확한 구간을 찾아냅니다. 여러 번 시도하며 정답에 가까워집니다.

③ 한 몸으로 두 가지 일 하기 (Unified Framework)

• 비유: 한 명의 요리사가 '재료 찾기'와 '요리하기'를 동시에 잘하는 것과 같습니다.
• 설명: 보통은 '장면 찾기'를 하는 AI 와 '질문 답하기'를 하는 AI 가 따로 있었습니다. 하지만 VideoTemp-o3 는 이 두 가지를 하나로 합쳐서, 장면을 찾을 때부터 답을 생각하며 훈련합니다. 그래서 더 자연스럽게 행동합니다.

---

3. 어떻게 가르쳤을까? (훈련 방법)

AI 를 똑똑하게 만들기 위해 두 가지 특별한 훈련을 시켰습니다.

• 스승의 눈으로 가르침 (SFT - 지도 학습):
  AI 가 처음에는 엉뚱한 장면을 찾을 수도 있습니다. 이때는 처음의 추측은 무시하고, 마지막에 정답을 낸 부분만 칭찬합니다. (마치 학생이 시험을 풀다가 중간에 실수해도, 최종 정답이 맞으면 점수를 주는 것과 비슷합니다.) 이렇게 하면 AI 가 "중간 과정은 헛수고일 수 있지만, 최종 목표는 정답이다"라고 배우게 됩니다.

• 보상 게임 (RL - 강화 학습):
  AI 가 정답을 맞출 때만 점수를 주고, 엉뚱한 구간을 자르거나 형식을 틀리게 하면 벌점을 줍니다. 특히 **"점수만 따기 위해 아무 구간이나 자르는 것 (Reward Hacking)"**을 막기 위해, 구간이 정확하지 않으면 점수를 깎는 규칙을 만들었습니다.

---

4. 데이터: 좋은 재료가 좋은 요리를 만든다

AI 가 잘하려면 좋은 학습 데이터가 필요합니다. 연구팀은 긴 영상에서 정확한 시간과 정답이 매칭된 데이터를 직접 만들었습니다.

• 비유: 요리사가 최고의 재료를 직접 선별하여 준비한 것과 같습니다.
• 결과: 이 데이터를 통해 AI 는 긴 영상에서도 핵심을 빠르게 찾아내고 정확한 답을 낼 수 있게 되었습니다.

---

5. 결론: 왜 이것이 중요한가요?

VideoTemp-o3 는 긴 영상을 볼 때 인간처럼 '생각'하고 '행동'하는 AI의 첫걸음입니다.

• 기존: "영상 전체를 다 봐야지!" (시간과 비용 낭비)
• VideoTemp-o3: "여기서 답이 나올 것 같아. 여기만 자세히 보자. 아, 아니네? 저기로 가자. 오, 여기다! 정답은 B!"

이 기술은 앞으로 긴 교육 영상 분석, 뉴스 검색, 혹은 복잡한 사건을 추적하는 등 긴 영상을 다뤄야 하는 모든 분야에서 AI 의 능력을 획기적으로 높여줄 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 기존 방식의 한계: 장편 비디오 이해 (Long Video Understanding) 에서는 일반적으로 계산 비용 절감을 위해 고정된 프레임 수로 균일한 샘플링 (Uniform Frame Sampling) 을 사용합니다. 그러나 이 방식은 핵심 시각적 증거를 놓치기 쉽고, 할루시네이션 (Hallucination) 을 유발하며 성능을 저하시킵니다.
• 에이전트 사고 (Agentic Thinking) 의 부재: 최근 '이미지 사고 (Thinking-with-Images)' 패러다임이 등장하여 모델이 필요한 부분을 자르고 (Crop) 분석하는 방식을 도입했습니다. 비디오 분야에서도 '비디오 사고 (Thinking-with-Videos)'가 등장하여 모델이 질문과 관련된 구간을 찾아내고 (Localize), 해당 구간을 밀집하게 샘플링 (Dense Sampling) 한 후 답변하는 'Localize-Clip-Answer' 파이프라인을 시도하고 있습니다.
• 현존 방법의 결함:
  1. 복잡한 워크플로우: 시간적 정렬 (Grounding) 과 비디오 질문 답변 (VideoQA) 을 별도의 모델이 수행하여 추론 오버헤드가 큽니다.
  2. 부정확한 정렬: 정밀한 시간적 위치 파악이 어렵고, 잘못된 위치를 수정할 수 있는 메커니즘이 부족합니다.
  3. 경직된 파이프라인: 짧은 비디오는 바로 답변하고 긴 비디오는 무조건 한 번 자르는 등 상황에 따른 유연한 대응이 부족합니다.
  4. 데이터 및 학습 전략의 부족: 고품질의 장기 비디오 정렬 데이터가 부족하며, 보상 해킹 (Reward Hacking) 을 방지하는 강화 학습 (RL) 전략이 미흡합니다.

2. 제안 방법: VideoTemp-o3 (Methodology)

저자들은 단일 모델 내에서 시간적 정렬 (Temporal Grounding) 과 비디오 질문 답변 (VideoQA) 을 통합한 VideoTemp-o3를 제안합니다. 이는 'Localize-Clip-Answer' 파이프라인을 따르는 에이전트 사고 프레임워크입니다.

핵심 아키텍처 및 기능

• On-Demand Cropping: 짧은 비디오는 바로 답변하고, 긴 비디오나 복잡한 질문의 경우 필요한 구간을 동적으로 잘라내어 밀집 샘플링을 수행합니다.
• 반성 메커니즘 (Reflection Mechanism): 초기에 찾은 구간이 부정확할 경우, 모델이 스스로 이를 인지하고 구간을 수정 (Refine) 하는 다중 턴 (Multi-turn) 상호작용을 지원합니다.
• 통합 작업: 시간적 정렬과 VideoQA 를 하나의 모델 아키텍처에서 통합하여 학습함으로써 모델의 내재적 정렬 능력을 강화합니다.

학습 전략 (Training Strategy)

1. 콜드 스타트 SFT (Supervised Fine-Tuning):

   • 통합 마스킹 전략 (Unified Masking Strategy): 다중 턴 대화 데이터에서 초기의 부정확한 추론 경로는 노이즈가 될 수 있으므로, 학습 손실 (Loss) 을 **최종 2 턴 (정확한 구간과 최종 답변)**에만 적용하고 이전 턴은 마스킹합니다. 이를 통해 모델이 올바른 신호에 집중하도록 유도합니다.
   • 데이터 구성: 단일 턴 (단순 QA) 과 다중 턴 (도구 호출 포함, 정렬 및 수정 포함) 데이터를 혼합하여 구성합니다.

2. 에이전트 강화 학습 (Agentic RL):

   • GRPO 알고리즘 적용: 온-폴리시 (On-policy) 기반의 GRPO 알고리즘을 사용합니다.
   • 맞춤형 보상 설계 (Reward Design):
     • 정확도 보상: 정답 일치 여부.
     • 포맷 보상: 대화 형식 준수 여부.
     • 페널티 인식 IoU 보상 (Penalty-aware IoU Reward): 단순히 IoU 만을 보상하면 모델이 임의의 구간을 선택하여 보상을 속이는 (Reward Hacking) 현상이 발생합니다. 이를 방지하기 위해 IoU 임계값 ($\sigma$) 이하일 때 페널티 ($\lambda$) 를 부과하여 신뢰할 수 있는 정렬을 유도합니다.

데이터 구축 (Data Construction)

• 고품질 데이터 파이프라인: Gemini-2.5-Pro 와 같은 강력한 모델을 활용해 시간적 구간을 재주석 (Re-annotate) 하고, 검증 단계를 거쳐 정답과 일치하는 구간만 선별합니다.
• VideoTemp-Bench: 다양한 비디오 길이 (03 분, 310 분, 10~20 분, 20 분 이상) 에 따른 모델 성능을 체계적으로 평가하기 위한 새로운 벤치마크를 제안했습니다.

3. 주요 기여 (Key Contributions)

1. VideoTemp-o3 모델: 단일 아키텍처에서 시간적 정렬과 비디오 QA 를 조화시키고, 필요에 따라 비디오를 자르며 다중 턴 정렬을 수행하는 에이전트 모델을 처음 제안했습니다.
2. 고급 학습 기법: 초기 SFT 를 위한 통합 마스킹 전략과 RL 을 위한 페널티 인식 IoU 보상 설계를 통해 모델의 정렬 정확도와 추론 능력을 극대화했습니다.
3. 대규모 고품질 데이터셋: 긴 비디오 기반의 정렬된 QA 데이터 (GQA) 와 이를 평가할 수 있는 VideoTemp-Bench 를 구축하여 연구의 기반을 마련했습니다.

4. 실험 결과 (Results)

• 장편 비디오 이해 (Long Video Understanding): MLVU, VideoMMMU, VideoMME, LVBench 등 주요 벤치마크에서 기존 SOTA(State-of-the-Art) 모델 (VideoChat-R1, Video-R1, Qwen2.5-VL 등) 을 능가하는 성능을 기록했습니다. 특히 VideoMME 에서 2.4%, LVBench 에서 1.7% 향상되었습니다.
• 시간적 정렬 (Temporal Grounding): Charades-STA, ActivityNet-MR 에서 전문 정렬 모델 (TimeMaker 등) 과 경쟁하거나 능가하는 성능을 보였습니다.
• 비디오 GQA 성능: NextGQA, ReXTime 에서 높은 mIoU(정렬 정확도) 와 답변 정확도를 동시에 달성하여, 정확한 정렬이 비디오 이해도 향상으로 이어짐을 입증했습니다.
• 벤치마크 분석 (VideoTemp-Bench): 비디오 길이가 길어질수록 (특히 20 분 이상) 기존 모델들의 성능이 급격히 떨어지는 반면, VideoTemp-o3 는 'On-Demand' 도구 호출을 통해 상대적으로 높은 성능을 유지했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 단순한 프레임 샘플링을 넘어, 모델이 스스로 필요한 정보를 찾아내고 (Active Localization), 이를 바탕으로 추론하는 '에이전트 사고' 패러다임을 비디오 이해 분야에 성공적으로 적용했습니다.
• 실용성: 긴 비디오에서 발생하는 정보 과부하와 핵심 정보 누락 문제를 해결하여, 실제 장편 영상 분석 (교육, 뉴스, 엔터테인먼트 등) 에 적용 가능한 강력한 모델을 제시했습니다.
• 향후 방향: 검색 엔진이나 시공간 정렬 도구 등 더 다양한 외부 도구를 통합하여 복잡한 실세계 태스크를 처리할 수 있는 방향으로의 확장을 제안합니다.

이 논문은 장편 비디오 이해의 핵심 병목 현상인 '정확한 시간적 정렬'과 '효율적인 정보 추출'을 통합적으로 해결함으로써, 차세대 멀티모달 에이전트 모델 개발에 중요한 이정표가 됩니다.