기술 요약: 야생에서의 스트리밍 비디오 활용 (Harnessing Streaming Video in the Wild)

1. 문제 정의

현재의 시각-언어 모델(Vision-Language Models, VLMs)은 모델이 완전한 사전 녹화 클립을 처리하여 단판 응답(one-shot response)을 생성하는 오프라인 비디오 이해 작업(예: 비디오 질의응답, 시간적 근거 탐색)에서 상당한 성공을 거두었습니다. 그러나 비디오 콜 어시스턴트, 실시간 해설, 온라인 감시, 임바디드 로봇과 같은 점점 더 많은 실제 응용 분야는 무제한 비디오 스트림(unbounded video streams) 상에서 작동합니다.

이러한 "야생(in-the-wild)" 시나리오에서는 오프라인 처리의 근본적인 가정이 위배됩니다:

• 인과적 제약(Causal Constraint): 모델은 미래의 콘텐츠에 접근할 수 없이, 이전에 관찰된 프레임만을 기반으로 응답해야 합니다.
• 무제한 길이(Unbounded Length): 스트림은 몇 시간 동안 지속될 수 있으며, 이는 모든 시각적 토큰을 메모리에 유지하는 것을 불가능하게 만듭니다.
• 지연 시간 제약(Latency Constraints): 응답은 들어오는 프레임과 동기화된 상태를 유지하기 위해 실시간(1초 미만 지연)으로 생성되어야 합니다.
• 주도적 상호작용(Proactive Interaction): 시스템은 모든 프레임에 대해 출력을 생성하거나 사용자 쿼리를 기다리는 대신, 언제 말을 하고 언제 침묵할지를 결정해야 합니다.

기존 방법들은 이러한 요구사항 중 하나 또는 두 개만을 고립시켜 해결하는 경elik(예: 메모리 압축 또는 지연 시간 최적화)이 일반적이며, 주도적 상호작용, 장기 기억(long-horizon memory), 실시간 추론을 동시에 지원하는 통합된 프레임워크가 부족합니다. 또한, 기존 벤치마크는 평가를 단일 턴의 오프라인 스타일 쿼리로 축소하는 경우가 많아, 먼 과거의 증거를 회상하거나 턴 간의 일관성을 유지하는 것과 같은 핵심적인 스트리밍 동작을 제대로 평가하지 못합니다.

2. 방법론

저자들은 데이터셋/목표, 추론 프레임워크(Harness), 그리고 평가 벤치마크의 세 가지 구성 요소로 이루어진 통합 스택을 제안합니다.

2.1 스트리밍 네이티브 VLM 학습 (백본)

스트리밍 상호작용에 VLM을 적응시키기 위해, 저자들은 초당 프레임-텍스트 정렬이 포함된 고품질 데이터셋인 Streaming-Train-248K를 도입합니다.

• 데이터 구축: 이 데이터셋은 일상생활, 업무, 야외 시나리오를 아우르는 다양한 소스(예: EpicKitchens, Ego4D, LiveWhisperX)로부터 248K개의 샘 샘플을 수집합니다. 각 1초 단위 세그먼트는 타임스탬프와 함께 명시적인 응답 또는 침묵 토큰과 쌍을 이룹니다.
• 태스크 분류: 태스크는 내레이션(Narration)(두드러진 사건에 대해서만 설명을 방출)과 질의응답(Question Answering)(답변의 불변성/가변성 및 증거 타이밍: 과거, 현재, 미래에 따라 분류)으로 구분됩니다.
• 학습 목표: 침묵 토큰이 응답 토큰보다 훨씬 많은 클래스 불균형 문제를 해결하기 위해 **가중치 손실 함수(weighted loss function)**를 사용합니다. 침묵의 지속은 다운웨이트($w_{repeated\_silence} < 1$)되는 반면, 침묵에서 응답으로의 전환은 업웨이트($w_{response} > 1$)됩니다. 이는 모델이 효과적으로 침묵을 깨는 법을 배우도록 유도합니다.
• 특수 토큰: 모델은 두 가지 제어 토큰인 </response>(응답하거나 내레이션하기 위해)와 </silence>(침묵을 유지하기 위해)를 방출하도록 학습됩니다. 이를 통해 초당 주도적인 의사결정이 가능해집니다.

2.2 StreamingHarness (배포 인프라)

StreamingHarness는 모든 VLM에 스트리밍 기능을 갖추도록 설계된 플러그 앤 플레이 추론 프레임워크입니다. 이는 세 가지 메커니즘을 통해 메모리와 지연 시간 제약을 해결합니다:

1. 3단계 메모리 관리:
   • 단기(Short-term): 가장 최근의 $T_s$초(예: 200초) 동안의 원시 비전 토큰을 유지합니다.
   • 중기(Mid-term): 과거의 단기 청크를 텍스트 요약으로 압축합니다($T_m$초).
   • 장기(Long-term): 중기 요약을 블록으로 공격적으로 통합하며, FIFO 방식으로 제거되는 고정된 수의 블록으로 제한됩니다($T_l$초).
   • 결과: 무제한적인 메모리 증가 없이 최대 12시간의 컨텍스트를 지원합니다.
2. 접두사 인식 KV 캐시(Prefix-Aware KV Cache):
   • vLLM과 같은 효율적인 추론 엔진와의 호환성을 위해 설계되었습니다.
   • 시스템은 각 청크의 시작 시점에 "메모리 텍스트"(압축된 히스토리)에 대한 일회성 프리필(prefill)을 수행합니다.
   • 후속 단계에서는 메모리와 이전 턴의 KV 상태를 재사용하여 새로운 프레임과 응답만을 계산합니다. 이를 통해 긴 컨텍스트에서도 1초 미만의 지연 시간을 실현합니다.
3. 이벤트 기반 응답 트리거:
   • 하네스는 매 초마다 백본을 호출합니다.
   • 모델은 현재의 증거(현재 프레임 + 컨텍스트)가 응답을 정당화하는지 판단합니다. 새로운 정보가 있는 경우 응답을 생성하고, 그렇지 않으면 </silence>를 방출합니다.

2.3 Streaming-Eval (벤치마크)

실제 스트리밍 능력을 측정하기 위해 저자들은 15개 카테고리(예: 스포츠, 요리, 뉴스)의 138개 비디오를 다루는 Streaming-Eval 벤치마크를 도입합니다.

• 평가 축:
  • 스트리밍 상호작용: 주도성(언제 말할 것인가), 정시성(타이밍), 맥락적 일관성(턴 간의 일관성)을 평가합니다.
  • 스트리밍 이해: 과거(backward), 현재(present), 미래(forward, 쿼리 기준 미래) 증거에 대한 추론을 평가합니다.
• 지표:
  • 내레이션: 페이싱, 톤, 그리고 정답 ASR과의 일관성을 비교하여 인간/LLM 심사위원 대비 승률(win-rate)로 평가합니다.
  • 질의응답: 잘못된 답변과 잘못된 타이밍의 응답(침묵이 필요한 시점에 답변을 내보내거나 답변 윈도우를 놓치는 경우)을 공동으로 처벌하는 SW-F1 (Streaming Weighted F1) 지표를 사용합니다. 이 지표는 정답(True Positives)에는 높은 가중치를 부여하고, "항상 응답하는" 행동을 억제하기 위해 오답(False Negatives)에도 가중치를 부여합니다.

3. 주요 기여

1. Streaming-Train-248K: 주도적 상호작용이 가능한 스트리밍 네이티브 VLM을 만들기 위해 초당 정렬된 대규모 데이터셋과 맞춤형 학습 목표를 제공합니다.
2. StreamingHarness: 12시간 메모리 유지, 1초 미만의 지연 시간, 그리고 vLLM과 호환되는 주도적 상호작용(초당 의사결정)을 제공하는 플러그 앤 플레이 시스템입니다.
3. Streaming-Eval: 단일 턴 오프라인 패러다임을 넘어 실제 스트리밍 작업에서 모델을 평가하기 위해 설계된 종합 벤치마크 및 지표 세트(SW-F1)입니다.
4. 최첨단 성능(SOTA): 제안된 스택(8B 스트리밍 네이티브 VLM + StreamingHarness)은 내레이션 및 QA 작업 모두에서 강력한 폐쇄형 모델(예: Claude Opus 4.6, GPT 5.4, Gemini 3.1 Pro)보다 우수한 결과를 달립니다.

4. 실험 결과

• 내레이션: StreamingHarness를 갖춘 8B 스트리밍 네이티브 모델은 4개의 폐쇄형 베이스라인 모델을 상대로 평균 **61.4%**의 승률을 기록했습니다. 이는 오프라인 모델을 변형했을 때 흔히 나타나는 "과잉 내레이션"이나 환각 현상을 피하면서, 자연스러운 라이브 방송 스타일의 해설을 생성하는 데 있어 베이스라인을 크게 앞질렀습니다.
• 질의응답: Streaming-Eval QA 작업에서 제안된 시스템은 과거(먼 거리의 증거 검색) 및 미래(증거가 나타날 때까지 응답 지연) 작업에서 상당한 이득을 얻었습니다. SW-F1 점수는 모든 베이스라인보다 현저히 높았으며, 이는 메모리 시스템과 주도적 학습의 효과를 입증합니다.
• 효율성: 2시간 동안의 스포츠 방송 테스트에서, 전체 StreamingHarness는 **첫 토큰 생성 시간(TTFT)**과 종단 간(End-to-End) 지연 시간을 일관되게 1초 미만(실시간 임계값)으로 유지했습니다. 반면, 슬라이딩 윈도우 방식은 약 4초에서 안정화되었고, 풀 어텐션(full attention) 방식은 몇 분 내에 컨텍스트 한계를 초과했습니다. 프리픽스 인식 KV 캐시는 지연 시간을 약 4초에서 1초 미만으로 줄이는 데 결정적인 역할을 했습니다.
• 절제 연구(Ablation):
  • 침묵 반복 가중치($w_{repeated\_silence}$)를 조정해 본 결과, 0.8의 값이 침묵에 너무 치우치거나 성급하게 응답하는 것을 방지하며 최적의 균형을 제공함을 확인했습니다.
  • 오프라인 모델에 StreamingHarness를 추가했을 때 '과거' 관련 작업 성능이 크게 향상되었으며, 이는 장기적 이해를 위한 범용 강화 도구로서의 프레임워크 가치를 확인시켜 줍니다.

5. 의의

본 논문은 오프라인 비디오 이해에서 배포 가능한 스트리밍 지능으로의 전환을 위해서는 모델 능력, 인프라, 평가를 동시에 다루는 총체적인 접근 방식이 필요하다고 주장합니다. 저자들은 데이터, 하네스, 벤치마크를 오픈 소스로 공개함으로써, 무제한 실시간 환경에서 효과적으로 작동할 수 있는 VLM 구축을 위한 커뮤니티의 발전을 가속화하고자 합니다. 이 연구는 적절한 학습 목표와 추론 아키텍처가 있다면, 훨씬 작은 규모의(8B) 모델도 엄격한 지연 시간 제약을 준수하면서 거대 폐쇄형 시스템을 스트리밍 시나리오에서 능가할 수 있음을 보여줍니다.