Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously

이 논문은 실시간 응답성과 논리적 추론을 동시에 달성하기 위해 입력되는 비디오 클립에 대한 추론을 활성화하는 'Video Streaming Thinking(VST)' 패러다임을 제안하고, 이를 위한 포스트 트레이닝 파이프라인과 자동 데이터 생성 방법을 통해 기존 오프라인 모델 대비 응답 속도를 획기적으로 단축하면서도 다양한 비디오 이해 작업에서 뛰어난 성능을 입증했습니다.

핵심

🎬 "보면서 동시에 생각하기": 비디오 스트리밍 사고 (VST) 란 무엇일까요?

이 논문은 **"비디오를 보면서도 동시에 생각할 수 있는 AI"**를 개발한 이야기입니다. 기존 AI 들이 가진 불편함을 해결하고, 훨씬 더 똑똑하고 빠른 새로운 방식을 제안했죠.

이해하기 쉽게 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 기존 방식의 문제점: "기다림 vs. 뒤늦은 후회"

기존의 비디오 AI 들은 크게 두 가지 방식 중 하나를 선택해야 했습니다.

• 방식 A (빠르지만 멍청한 AI):
  • 비유: 영화를 보다가 질문이 나오면 **"그냥 대충 대답"**하는 친구입니다.
  • 현실: 반응은 빠르지만, 중요한 디테일을 놓치거나 헛소리를 할 때가 많습니다. (실시간성은 좋으나 추론 능력이 부족함)
• 방식 B (똑똑하지만 느린 AI):
  • 비유: 영화를 다 본 뒤에 "자, 이제 이 영화가 무슨 뜻이었지?"라고 한참 동안 곰곰이 생각하다가 대답하는 친구입니다.
  • 현실: 아주 정확한 답을 내지만, 사용자가 "왜 이렇게 오래 걸려?"라고 기다리는 동안 답답해집니다. (정답률은 높지만 응답 지연이 심함)

핵심 문제: "정답을 빨리 내고 싶으면"과 "정답을 정확히 내고 싶으면"이 서로 충돌한다는 것이었습니다.

---

2. 이 논문의 해결책: "보면서 생각하기 (VST)"

이 논문이 제안한 **VST(Video Streaming Thinking)**는 바로 이 딜레마를 해결합니다.

• 비유: 영화를 보면서 동시에 옆에서 작은 메모장을 챙기는 친구입니다.
  • 영화가 흘러가듯 장면이 바뀔 때마다, 이 친구는 **"아, 저기서 시계가 9 시 50 분을 가리켰네", "저기 고양이 인형이 있었지"**라고 실시간으로 메모를 남깁니다.
  • 사용자가 나중에 "이 영화에서 남자가 나타난 규칙이 뭐야?"라고 질문하면, 이 친구는 이미 메모장에 다 적어둔 내용을 바로 꺼내서 순간적으로 정답을 말합니다.

왜 이것이 혁신적인가요?

• 생각을 미리 해둡니다: 질문이 들어오기 전에, 비디오가 재생되는 동안 이미 "생각 (추론)"을 해두기 때문에, 질문이 들어오자마자 바로 답을 낼 수 있습니다.
• 기억을 쌓아갑니다: 비디오가 끝날 때까지 중요한 정보들을 계속 메모장에 적어두므로, 영화가 길어도 잊어버리지 않습니다.

---

3. 어떻게 훈련시켰을까요? (데이터와 학습법)

AI 가 이런 능력을 갖추게 하려면 특별한 훈련이 필요했습니다.

• 자동 데이터 공장:
  • 기존에는 "보면서 생각"하는 데이터가 없어서, AI 가 스스로 배우기 어려웠습니다.
  • 그래서 연구팀은 **지식 그래프 (Knowledge Graph)**라는 지도를 그리는 방식을 썼습니다. 비디오 속 등장인물과 사건들을 연결해서 스토리 지도를 만들고, AI 가 이 지도를 따라가며 **"왜 그런 일이 일어났을까?"**라고 스스로 질문하고 답하는 10 만 개의 연습 문제를 자동으로 만들었습니다.
• 두 단계 훈련:
  1. SFT (지도 학습): 인간이 만든 정답 예시를 보고 "어떻게 메모를 남기면 좋은지"를 배웁니다.
  2. RL (강화 학습): 스스로 문제를 풀고 정답을 맞췄을 때 보상을 주어, **"더 좋은 메모를 남기는 법"**을 스스로 터득하게 합니다.

---

4. 실제 성과: "빠르면서도 똑똑한" AI

실험 결과, 이 새로운 방식 (VST) 은 놀라운 성과를 보였습니다.

• 속도: 기존에 "다 보고 생각"하는 방식 (Video-R1) 보다 약 15 배 더 빠릅니다. (질문 후 0.5 초 만에 답변 vs 9 초 이상)
• 정확도: 실시간 비디오 이해 능력에서 기존 최고 수준을 뛰어넘었고, 긴 영화나 복잡한 추론이 필요한 문제에서도 매우 뛰어난 성적을 냈습니다.
• 확장성: 작은 모델 (30 억 개 파라미터) 에서부터 거대 모델 (320 억 개) 까지 모두 이 방식을 적용하면 성능이 좋아졌습니다.

---

🌟 한 줄 요약

"기존 AI 는 영화를 다 보고 나서 뒤늦게 생각하거나, 생각 없이 대충 대답했지만, 이 새로운 AI 는 영화를 보면서도 메모를 하며 미리 생각해 두기 때문에, 질문이 들어오자마자 '정답'을 '순간'에 뿜어냅니다."

이 기술은 앞으로 실시간 번역, 자율주행차의 상황 판단, 실시간 게임 AI 등 즉각적인 반응이 필요한 모든 분야에서 큰 역할을 할 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 온라인 비디오 대형 언어 모델 (VideoLLM) 은 실시간 상호작용, embodied intelligence(구체적 지능), 대화형 AI 어시스턴트 등에 필수적입니다.
• 기존 방법의 한계:
  • 스트리밍 인식 위주: 기존 온라인 VideoLLM 들은 주로 시각 토큰 압축이나 KV 캐시 검색을 통해 컨텍스트 창 효율성을 높이는 데 집중했습니다. 하지만 이는 '지각 (Perception)'에 머무르며, 명시적인 논리적 추론 (Reasoning) 이나 분석적 고찰이 부족합니다.
  • 지연 시간 (Latency) 문제: 오프라인 VideoLLM 에서 성공적인 Chain-of-Thought (CoT) 기법을 적용하여 추론 능력을 높이려 할 때, 사용자의 질문 (Query) 이 들어온 후에 단계별 추론을 수행하면 응답 지연 시간이 크게 증가하여 실시간 요구사항을 충족하기 어렵습니다.
• 핵심 과제: 실시간 응답성 (Real-time Responsiveness) 을 유지하면서, 스트리밍 비디오에 대한 명시적이고 논리적인 추론 (Explicit Reasoning) 을 수행하는 것 사이의 트레이드오프를 해결해야 합니다.

2. 제안 방법 (Methodology)

저자들은 **Video Streaming Thinking (VST)**이라는 새로운 패러다임을 제안합니다. 이는 비디오를 시청하는 동안 동시에 추론을 수행하는 "보고 생각하기 (Watch and Think Simultaneously)" 메커니즘을 구현합니다.

2.1 VST 패러다임의 핵심 원리

• 사전 추론 (Pre-query Reasoning): 사용자의 질문이 도착하기 전, 비디오 클립이 들어오는 간격 (Streaming Intervals) 에 LLM 이 능동적으로 텍스트 형태의 생각 (Thoughts) 을 생성합니다.
• 이중 메모리 시스템:
  • 단기 시각 메모리: 현재 시각 컨텍스트를 유지합니다.
  • 장기 텍스트 의미 메모리: 과거 비디오 클립의 핵심 사건과 동역학을 텍스트 형태로 압축하여 축적합니다.
• 비용 분산 (Amortization): CoT 추론에 필요한 계산 비용을 질문이 들어오기 전의 재생 시간에 분산시켜, 질문 도착 시점의 지연 시간을 최소화합니다.

2.2 학습 파이프라인 (Training Pipeline)

오프라인 VideoLLM 을 스트리밍 환경에 적응시키기 위해 2 단계 후학습 (Post-training) 파이프라인을 도입했습니다.

1. VST-SFT (Supervised Fine-Tuning):
   • 목적: 모델에게 스트리밍 추론 프로토콜을 학습시킵니다.
   • 데이터: 시간적 인과관계 (Temporal Causality) 를 엄격히 준수하는 오프폴리시 (Off-policy) 데모 데이터를 사용합니다.
   • 메커니즘: 스트리밍 어텐션 마스크를 적용하여 모델이 현재 시각 버퍼와 과거 텍스트 컨텍스트만 참조하도록 제한합니다.
2. VST-RL (Reinforcement Learning):
   • 목적: 오프폴리시 모방에서 온폴리시 (On-policy) 자기 개선으로 전환합니다.
   • 방식: 다중 턴 비디오 상호작용 환경에서 검증 가능한 보상 (최종 답변의 정답 여부) 을 기반으로 GRPO(Group Relative Policy Optimization) 를 적용합니다.
   • 효과: 중간 추론 단계가 최종 답변 품질에 기여하도록 유도합니다.

2.3 자동 데이터 합성 파이프라인

스트리밍 추론을 위한 고품질 데이터가 부족하므로, 비디오 지식 그래프 (Video Knowledge Graph) 기반의 자동 생성 파이프라인을 개발했습니다.

• 엔티티 추출: 슬라이딩 윈도우를 통해 비디오에서 엔티티와 관계를 추출하여 지식 그래프를 구성합니다.
• 증거 체인 샘플링: DFS(깊이 우선 탐색) 를 통해 다중 홉 (Multi-hop) 증거 체인을 추출합니다.
• QA 합성: 오프라인 VideoLLM 을 이용해 지식 그래프와 증거 체인을 기반으로 복잡한 스트리밍 QA 쌍과 중간 CoT 를 생성하고, 엄격한 필터링을 거쳐 10 만 개의 고품질 데이터를 생성했습니다.

3. 주요 기여 (Key Contributions)

1. VST 패러다임 제안: 비디오 스트림과 능동적인 CoT 생성을 교차시켜, 실시간 응답성을 유지하면서 테스트 시간 확장 (Test-time Scaling) 을 가능하게 함.
2. 전용 학습 및 데이터 파이프라인: 오프라인 모델을 스트리밍 추론에 특화되도록 적응시키는 VST-SFT 및 VST-RL 학습 레시피와, 지식 그래프 기반의 자동 데이터 합성 시스템을 개발.
3. 성능 입증: 다양한 온라인 및 오프라인 벤치마크에서 SOTA 성능을 달성하면서도 기존 CoT 기반 모델 대비 응답 지연 시간을 획기적으로 단축.

4. 실험 결과 (Results)

• 온라인 벤치마크 (StreamingBench, OVO-Bench):
  • VST-7B는 StreamingBench에서 79.5%, OVO-Bench에서 **59.3%**의 정확도를 기록하여 기존 오픈소스 SOTA 모델 (Streamforest, Streamo 등) 을 압도했습니다.
  • 특히 Proprietary 모델인 GPT-4o 와 Gemini 1.5 Pro 보다 StreamingBench 에서 더 높은 성능을 보였습니다.
  • Backward Tracing (과거 정보 회상) 작업에서 뛰어난 성능을 보여 장기 기억 유지 능력을 입증했습니다.
• 오프라인 벤치마크 (VideoMME, LongVideoBench, VideoHolmes):
  • 오프라인 벤치마크에서도 경쟁력 있는 성능을 유지하며, 특히 장편 비디오 이해와 복잡한 논리 추론 (VideoHolmes) 에서 Video-R1보다 +5.4% 높은 정확도를 기록했습니다.
• 지연 시간 (Latency) 비교:
  • Video-R1(기존 CoT 방식) 대비 15.7 배 빠른 응답 속도를 보입니다 (VideoHolmes 기준: 9.53s → 0.51s).
  • VST-7B 의 QA 지연 시간은 약 0.56 초로, 오프라인 CoT 모델 (5.30s 이상) 에 비해 실시간성이 월등히 뛰어납니다.
• 확장성: 3B, 7B, 32B 모델 크기에 관계없이 일관된 성능 향상을 보이며 파라미터 확장성이 우수함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 실시간 추론의 새로운 표준: VST 는 "질문을 기다리다가 추론하는" 패시브한 방식에서 벗어나, "비디오를 보며 동시에 추론하는" 액티브한 방식으로 VideoLLM 의 아키텍처를 변화시킵니다.
• 효율성과 성능의 동시 달성: 추론 비용을 재생 시간에 분산 (Amortize) 시킴으로써, 복잡한 논리적 추론 능력을 갖추면서도 실시간 상호작용에 필요한 낮은 지연 시간을 동시에 달성했습니다.
• 실용적 적용 가능성: embodied intelligence, 실시간 비디오 분석, 대화형 AI 어시스턴트 등 지연 시간에 민감한 다양한 응용 분야에서 즉시 활용 가능한 강력한 솔루션을 제시합니다.

이 논문은 비디오 이해 분야에서 **지각 (Perception)**과 **추론 (Reasoning)**의 간극을 메우며, 실시간 환경에서의 고급 인지 능력을 실현하는 중요한 이정표가 됩니다.