Streaming Video Instruction Tuning

이 논문은 실시간 스트리밍 비디오 이해를 위한 범용 대화형 어시스턴트 'Streamo'와 이를 학습시키기 위해 구축된 대규모 지시 따르기 데이터셋 'Streamo-Instruct-465K'를 소개하며, 오프라인 비디오 인식 모델과 실시간 멀티모달 어시스턴트 간의 격차를 해소하고 다양한 스트리밍 작업에서 뛰어난 성능을 입증합니다.

핵심

1. 기존 AI vs Streamo: "영화관"과 "라이브 방송"의 차이

• 기존 AI (영화관 관람):
  기존 영상 AI 들은 마치 영화관에서 영화를 다 본 뒤에 "이 영화의 줄거리는 뭐였지?"라고 물어보는 것과 같습니다. 영화 전체를 다 보고 나서야 비로소 답변을 줍니다. 하지만 실시간으로 일어나는 일 (예: 스포츠 중계, 뉴스, 안전 감시) 에는 쓸모가 없습니다.
• Streamo (라이브 방송 진행자):
  Streamo 는 실시간 뉴스 앵커나 스포츠 해설자와 같습니다. 경기가 진행되는 동안, 골이 들어가는 순간 바로 "골입니다!"라고 외치고, 다음 플레이가 시작되면 바로 해설을 이어갑니다. 영상을 다 기다리지 않고, 화면이 바뀌는 그 순간마다 상황을 파악하고 필요한 때에 바로 말해줍니다.

2. Streamo 의 핵심 기술: "침묵, 대기, 답변"의 3 단계 춤

Streamo 가 실시간으로 작동하려면 "언제 입을 열어야 할지"를 알아야 합니다. 이를 위해 AI 는 매 순간 세 가지 상태 중 하나를 선택합니다. 마치 무대 위의 배우가 연기하듯요:

1. 침묵 (Silence): "아직 중요한 일이 일어나지 않았어요. 그냥 조용히 지켜볼게요." (화면이 평범할 때)
2. 대기 (Standby): "오! 지금 뭔가 중요한 일이 시작됐네요. 하지만 아직 끝난 건 아니니까 잠시 기다려볼게요." (사건이 진행 중일 때)
3. 답변 (Response): "자, 사건이 끝났네요! 이제 제가 설명해 드릴게요." (사건이 완료되거나 질문의 답이 나왔을 때)

이렇게 AI 가 스스로 "지금 말해야 할까, 말하지 말아야 할까?"를 결정하는 능력을 학습시켜서, 불필요한 말을 줄이고 정확한 타이밍에 반응하게 만든 것이 핵심입니다.

3. 학습 방법: "46 만 개의 지시사항"으로 훈련시킨 교실

이렇게 똑똑한 AI 를 만들기 위해 연구팀은 Streamo-Instruct-465K라는 거대한 교재를 만들었습니다.

• 비유: 기존에 영상 AI 들은 "이 영상 요약해줘"나 "무엇이 보이니?" 같은 단순한 질문만 받았습니다. 하지만 Streamo 는 46 만 개의 다양한 지시사항을 받으며 훈련했습니다.
  • "지금 일어나는 일을 실시간으로 설명해줘." (실시간 내레이션)
  • "남자가 레몬을 짜는 순간을 찾아서 알려줘." (시간 기반 찾기)
  • "지금 남자가 손에 든 게 뭐야? 바뀌면 바로 알려줘." (시간에 민감한 질문)
• 이 다양한 지시사항을 통해 AI 는 언제, 무엇을, 어떻게 말해야 하는지 완벽하게 배웠습니다.

4. 왜 이것이 중요한가요?

이 기술은 AI 가 단순한 '영상 분석기'를 넘어 **'실시간 비서'**가 되는 첫걸음입니다.

• 실생활 적용: 공장 안전 감시 (위험한 행동이 보이면 즉시 경고), 스포츠 중계 (골이 들어가는 순간 즉시 해설), 의료 모니터링 (환자의 상태 변화가 생기면 즉시 알림) 등 다양한 분야에서 실시간으로 도움을 줄 수 있습니다.
• 기존의 한계 극복: 과거에는 실시간으로 반응하려면 정확도가 떨어지거나, 정확도를 높이려면 속도가 느려서 선택을 해야 했습니다. 하지만 Streamo 는 정확하면서도 빠르며, 다양한 일을 동시에 처리할 수 있습니다.

5. 결론: AI 의 새로운 시대

연구팀은 이 기술이 "오프라인 영상 이해"와 "실시간 AI 비서" 사이의 간극을 메웠다고 말합니다. 마치 **실시간으로 흐르는 강물 (영상)**을 보며 그 흐름에 맞춰 바로바로 반응하는 유능한 가이드가 생긴 것과 같습니다.

이제 AI 는 영상을 '보고' 끝나는 것이 아니라, 영상과 함께 실시간으로 소통하는 시대가 열린 것입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 비디오 대규모 언어 모델 (Video LLM) 은 대부분 오프라인 (Offline) 방식에 기반합니다. 즉, 전체 비디오가 입력된 후 한 번에 출력을 생성하는 방식입니다. 이는 비디오 캡션링, 요약, 질문 답변 (QA) 등 정적인 입력에 강점이 있지만, 실시간 스트리밍 비디오 환경에서는 다음과 같은 한계가 있습니다.

• 지연성 및 비실시간성: 전체 비디오를 기다려야 하므로 실시간 상호작용이 불가능합니다.
• 맥락 손실: 연속적인 데이터 흐름을 처리하며 특정 순간의 이벤트가 발생했을 때 즉시 반응하거나, 언제 응답해야 할지 결정하는 능력이 부족합니다.
• 기존 스트리밍 모델의 한계: 최근 제안된 일부 온라인 모델들은 별도의 '의사결정 모듈'을 사용하거나 단순히 [EOS] 토큰으로 응답 시기를 예측하려 합니다. 그러나 이는 정확도와 효율성 사이의 트레이드오프를 초래하거나, 복잡한 지시 사항과 시간적 의존성을 이해하지 못해 응답 타이밍을 놓치는 문제가 있습니다.

따라서, 연속적인 비디오 스트림을 실시간으로 처리하면서도 다양한 지시 (Instruction) 에 따라 정확한 시점에 응답할 수 있는 범용 인터랙티브 어시스턴트의 필요성이 대두되었습니다.

2. 방법론 (Methodology)

저자들은 Streamo라는 실시간 스트리밍 비디오 LLM 을 제안하며, 오프라인 모델을 온라인 어시스턴트로 변환하기 위한 엔드 - 투 - 엔드 (End-to-End) 학습 프레임워크와 대규모 데이터셋을 구축했습니다.

A. 아키텍처: 3 단계 응답 상태 (Three-State Design)

기존의 단순한 [Silence] 또는 [Response] 방식을 넘어, 모델이 입력 스트림을 실시간으로 모니터링하고 응답 시기를 결정하도록 3 가지 상태 토큰을 도입했습니다.

1. <Silence>: 관련 이벤트가 없거나 현재 입력이 질문과 무관할 때 (계속 관찰).
2. <Standby>: 관련 이벤트가 시작되었으나 아직 완료되지 않았거나, 추가 정보가 필요할 때 (기다림).
3. <Response>: 이벤트가 완료되었거나 충분한 정보가 확보되어 답변을 생성할 때 (응답).

이 구조를 통해 모델은 프레임 단위의 미세한 결정을 내리며, 응답이 필요한 순간을 정확히 포착하고 연속적인 맥락을 유지합니다.

B. 학습 전략: 클래스 불균형 해결 (Focal Loss)

스트리밍 데이터에서 <Silence> 토큰이 압도적으로 많고 <Response> 토큰은 희소하여 발생하는 클래스 불균형 (Class Imbalance) 문제를 해결하기 위해 Focal Loss와 **빈도 기반 가중치 (Frequency-based Alpha Weights)**를 적용한 손실 함수를 설계했습니다. 이를 통해 모델이 희소하지만 중요한 응답 시점 토큰 학습에 집중하도록 유도합니다.

C. 데이터셋: Streamo-Instruct-465K

스트리밍 비디오 이해를 위해 구축된 대규모 지시 따르기 (Instruction-following) 데이터셋입니다.

• 규모: 465,800 개의 샘플, 135,875 개의 비디오.
• 다양한 태스크: 실시간 내레이션 (Real-time Narration), 액션/이벤트 캡션, 이벤트 그라운딩 (Temporal Grounding), 시간 민감형 QA (Time-sensitive QA) 등 6 가지 태스크를 통합.
• 표준화: 이질적인 소스 데이터의 일관성 없는 주석을 표준화된 프로토콜로 재주석하여, 모델이 다양한 시간적 맥락과 태스크 요구사항을 일관되게 학습하도록 함.

D. 벤치마크: Streamo-Bench

기존의 단순한 QA 중심 벤치마크를 넘어, 다양한 지시 (내레이션, 캡션, 그라운딩 등) 를 수행하는 능력을 평가하는 종합 벤치마크를 구축했습니다.

3. 주요 기여 (Key Contributions)

1. 엔드 - 투 - 엔드 학습 프레임워크: 외부 컨트롤러 없이 모델 내부에 응답 상태 예측을 통합하여, 오프라인 비디오 모델을 실시간 스트리밍 어시스턴트로 효율적으로 변환하는 방법을 제시.
2. Streamo-Instruct-465K: 스트리밍 비디오 이해 및 상호작용을 위한 가장 대규모의 멀티태스크 지시 학습 데이터셋 제공.
3. Streamo-Bench: 실시간 스트리밍 환경에서의 지시 이해 및 멀티태스크 수행 능력을 종합적으로 평가하는 새로운 벤치마크 제안.

4. 실험 결과 (Results)

Streamo 는 오프라인 모델 (Qwen2.5-VL, InternVL 등) 을 기반으로 학습되었으며, 다양한 벤치마크에서 SOTA(State-of-the-Art) 모델을 능가하는 성능을 보였습니다.

• 온라인 벤치마크 (OVO-Bench):
  • Streamo-7B 는 이전 SOTA 인 Dispider-7B 보다 평균 성능이 13.83% 향상되었습니다.
  • 특히 'Forward Active Responding'(사건 발생 전/후 예측) 및 'Real-Time Visual Perception' 태스크에서 압도적인 성능을 기록했습니다.
  • 1fps 로 학습된 모델이 2fps 환경에서도 재학습 없이 높은 성능을 유지하여 강력한 일반화 능력을 입증했습니다.
• 오프라인 벤치마크:
  • 오프라인 비디오 이해 능력 (MVBench, VideoMME 등) 을 유지하면서 오프라인 모델보다 평균 3.4% 이상 향상된 성능을 보였습니다. 이는 스트리밍 학습이 오프라인 능력을 저해하지 않음을 의미합니다.
• 스트리밍 벤치마크 (Streamo-Bench):
  • 기존 모델들은 지시 사항 (내레이션 vs 캡션 vs QA) 을 구분하지 못하거나 실시간 업데이트를 실패하는 경우가 많았으나, Streamo 는 다양한 지시 유형에 대해 높은 정확도와 응답 타이밍을 보였습니다.

5. 의의 및 중요성 (Significance)

이 연구는 비디오 LLM 의 패러다임을 '전체 비디오 분석'에서 '실시간 스트리밍 상호작용'으로 전환하는 중요한 이정표입니다.

• 범용 AI 어시스턴트 실현: 실시간으로 비디오를 보며 사용자의 질문에 즉각 답하거나, 특정 이벤트 발생 시 자동으로 알림을 주는 등 실제 생활에 적용 가능한 범용 AI 어시스턴트의 기반을 마련했습니다.
• 효율성과 정확성의 균형: 별도의 복잡한 모듈 없이 단일 모델로 의사결정과 응답 생성을 통합함으로써 계산 비용을 절감하면서도 높은 정확도를 달성했습니다.
• 미래 연구의 토대: 구축된 데이터셋 (Streamo-Instruct-465K) 과 벤치마크 (Streamo-Bench) 는 향후 실시간 멀티모달 AI 연구의 표준으로 자리 잡을 것으로 기대됩니다.

결론적으로, Streamo 는 연속적인 비디오 스트림 속에서 **시간적 추론 (Temporal Reasoning)**과 **적시 응답 (Timely Response)**을 동시에 해결하여, 진정한 의미의 실시간 지능형 비디오 이해 시스템을 실현한 획기적인 작업입니다.