💬 NLP

StreamingVLM: Real-Time Understanding for Infinite Video Streams

StreamingVLM은 새로운 KV 캐시 재사용 전략과 중첩된 청크에 대한 지도 미세 조정을 통해 훈련을 스트리밍 추론과 정렬함으로써, 낮은 지연 시간을 유지하면서도 장기 벤치마크에서 최첨단 성능을 달성하며 무한한 비디오 스트림의 실시간적이고 안정적인 이해를 가능하게 하는 통합 비전-언어 모델 프레임워크이다.

원저자: Ruyi Xu, Guangxuan Xiao, Yukang Chen, Liuning He, Yao Lu, Song Han

게시일 2026-06-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ruyi Xu, Guangxuan Xiao, Yukang Chen, Liuning He, Yao Lu, Song Han

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 친구에게 전화로 실시간 스포츠 경기를 설명하고 있다고 상상해 보세요. 골, 파울, 세리머니 등 지금 당장 일어나고 있는 일을 놓치지 않고 정확하게 전달하고 싶으며, 뇌가 지치거나 첫 골을 누가 넣었는지 잊어버리지 않고 몇 시간 동안 이 작업을 계속하고 싶어 합니다.

이것이 바로 StreamingVLM이 컴퓨터를 위해 해결하고자 하는 문제입니다.

문제점: 컴퓨터는 과부하에 걸립니다

현재 비디오를 시청하는 AI 모델(시각-언어 모델, VLM)은 책을 읽으려는 학생과 같습니다.

"전체 집중" 학생: 이 학생은 단 한 문장을 말하고 싶을 때마다 1페이지부터 1,000페이지까지 책 전체를 매번 처음부터 끝까지 다시 읽으려고 합니다. 책이 길어질수록 시간이 너무 오래 걸리고, 결국 책상 공간(메모리)이 부족해져서 시스템이 다운됩니다.
"슬라이딩 윈도우" 학생: 이 학생은 오직 마지막 몇 페이지에만 집중합니다. 만약 10페이지에 있었던 내용을 기억해야 한다면, 그 페이지들을 계속해서 다시 넘겨보며 반복해서 읽어야 합니다. 이는 속도가 느릴 뿐만 아니라 이야기의 흐름을 놓치게 만듭니다.

두 방법 모두 비디오가 "무한한"(끝나지 않는 라이브 방송 같은) 경우 실패하게 됩니다.

해결책: StreamingVLM

저자들은 새로운 AI인 StreamingVLM을 만들었습니다. 이것을 효율적인 메모 정리법을 가진 슈퍼 효율적인 스포츠 해설가라고 생각해보세요.

작동 방식은 다음과 같습니다 (쉬운 비유를 사용합니다):

1. "노트북" 기술 (KV 캐시)

StreamingVLM은 게임 전체를 기억하거나 혹은 마지막 5초만 보는 대신, 스마트한 노트 시스템을 사용합니다:

"앵커" (Attention Sinks): 게임의 시작 부분에서 핵심적인 노트들(예: 팀 이름과 킥오프 시의 점수)을 보관하여, 누가 경기를 하고 있는지에 대한 맥락을 절대 놓치지 않습니다.
"최근 기록" (Text Window): 자신이 방금 말한 마지막 몇 문장의 목록을 길게 유지하여 대화의 흐름을 기억합니다.
"실시간 액션" (Vision Window): 현재 중요한 정보인 최근 몇 초간의 시각적 디테일(선수들의 움직임, 공의 이동 등)만을 유지합니다.

이전의 시각적 디테일(10분 전의 플레이 등)은 새로운 정보를 위한 공간을 만들기 위해 부드럽게 삭제되지만, "앵커"와 "최근 기록"은 안전하게 보관됩니다. 이를 통해 비디오가 아무리 길어져도 컴퓨터의 메모리 사용량을 낮고 일정하게 유지합니다.

2. "학습" 기술

컴퓨터에게 1분짜리 클립만 보여주면서 10시간짜리 경기를 보는 법을 가르칠 수는 없습니다. 저자들은 영리한 트릭으로 이 문제를 해결했습니다:

그들은 서로 겹치는 짧은 스포츠 경기 클립(12초가 중첩되는 24초 단위의 조각들)을 AI에게 보여주었습니다.
AI가 그 짧은 조각 안의 모든 것에 집중하도록 가르쳤습니다.
조각들이 서로 겹치기 때문에, AI는 한 조각의 끝과 다음 조각의 시작을 연결하는 법을 배우게 되며, 결과적으로 학습 과정에서 10시간짜리 영상을 직접 보지 않고도 연속적인 스트림을 처리하는 법을 효과적으로 배우게 됩니다.

3. "번호 매기기" 기술 (Contiguous RoPE)

보통 노트북에서 오래된 페이지를 삭제하면 페이지 번호가 엉망이 됩니다 (1, 2, 3... 하다가 갑자기 100페이지가 나타나는 식). 이는 AI를 혼란스럽게 합니다. StreamingVLM은 특별한 "재번호 매기기" 시스템을 사용합니다. 시각적 데이터를 삭제할 때, 남은 페이지들을 즉시 1, 2, 3, 4... 순서로 다시 라벨링합니다. 이를 통해 몇 시간의 영상이 지난 후에도 AI가 사건이 '언제' 일어났는지에 대해 혼란을 느끼지 않도록 합니다.

결과: 마라톤 선수

팀은 평균 2시간 이상 지속되는 스포츠 경기로 구성된 새로운 벤치마크인 Inf-Streams-Eval을 통해 이 새로운 AI를 테스트했습니다.

속도: 단 하나의 강력한 컴퓨터 칩 위에서 실시간(초당 약 8프레임)으로 경기를 시청하고 설명할 수 있습니다. 지연 현상이 발생하지 않습니다.
메모리: 게임의 시작 부분을 잊거나 시스템이 다운되지 않고 3시간 이상 계속해서 해설을 이어갈 수 있습니다.
품질: 최고 수준의 모델(GPT-4o mini 등)과 비교했을 때, 스포츠 해설 분야의 일대일 대결에서 StreamingVLM은 **66%**의 승률을 기록했습니다. 더 자연스럽게 들리며 경기를 더 잘 기억합니다.
보너스: 스포츠 해설로만 학습되었음에도 불구하고 일반적인 비디오 질문에 대한 답변 능력도 향상되었는데, 이는 이 방식이 비디오 이해를 위한 범용적인 업그레이드임을 증명합니다.

요약하자면

StreamingVLM은 마법 같은 기억력을 가진 지치지 않는 스포츠 해설가와 같습니다. 경기의 시작을 기억하고, 지금 일어나는 액션에 강렬하게 집중하며, 공간 확보를 위해 10분 전의 지루한 부분은 적절히 잊어버립니다. 이를 통해 이전의 컴퓨터들이 과부하 없이 할 수 없었던, 무한한 비디오 스트림을 실시간으로 시청하고 설명할 수 있게 해줍니다.

기술 요약: StreamingVLM

문제 정의

시각-언어 모델(VLM)은 실시간 비서 및 자율 에이전트를 가능하게 하는 데 있어 결정적인 병목 현상에 직면해 있습니다. 즉, 과도한 지연 시간과 메모리 비용을 발생시키지 않고 무한에 가까운 비디오 스트림을 처리할 수 없다는 점입니다. 기존 방식들은 다음과 같은 구체적인 트레이드오프 문제를 겪고 있습니다:

전체 어텐션(Full Attention): 비디오 길이가 길어짐에 따라 이차 복잡도( $O(T^2)$ )와 메모리 초과(OOM)를 유발하며, 훈련된 컨텍스트 윈도우를 넘어서면 성능이 저하됩니다.
슬라이딩 윈도우 (중첩 없음): 제한된 메모리를 유지하지만, 컨텍스트가 빈번하게 초기화되어 장기적인 일관성이 깨집니다.
슬라이딩 윈도우 (중첩 있음): 일관성은 보존하지만, 매 새로운 윈도우마다 어텐션을 재계산해야 하므로 중복 계산이 발생하며, 이는 실시간 추론을 방해하는 높은 지연 시간을 초래합니다.

나아가, 훈련과 추론 사이의 불일치도 존재합니다. 극도로 긴 컨텍스트로 훈련하는 것은 계산적으로 매우 부담스럽지만, 모델은 추론 시점에 무한한 스트림을 바탕으로 추론해야 합니다. 현재의 KV 캐시 제거(eviction) 전략은 종종 훈련 단계와 정렬되지 않아, 짧은 비디오로 훈련된 모델이 긴 스트림을 처리하려고 할 때 불안정성을 초고합니다.

방법론

본 논문은 훈련과 스트리밍 추론을 정렬하여 무한한 시각적 입력에 대해 안정적이고 실시간적인 이해를 가능하게 하는 통합 프레임워크인 StreamingVLM을 소개합니다. 이 접근 방식은 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 추론 스케마: 압축된 KV 캐시 및 연속적 RoPE

StreamingVLM은 필요한 컨텍스트를 보존하면서 압축된 상태를 유지하기 위해 특화된 추론 구조를 채택합니다:

스트리밍 인식형 KV 캐시: 모든 이력을 재계산하거나 버리는 대신, 모델은 특정 상태를 재사용합니다:
- 어텐션 싱크(Attention Sinks): 어텐션 메커니즘을 안정화하기 위해 고정된 초기 토큰 세트(시스템 프롬프트 및 초기 텍xt)를 유지합니다.
- 긴 텍스트 윈도우: 장기적인 서사 기억을 보존하기 위해 최근 텍스트 토큰들의 윈도우를 유지합니다.
- 짧은 비전 윈도우: 진행 중인 동작을 추적하기 위해 최근 비전 토큰(예: 16초 분량)만을 유지합니다. 오래된 비전 토큰은 먼저 제거됩니다.
연속적 RoPE: 토큰이 제거될 때 위치 드리프트(positional drift)를 방지하기 위해, 모델은 연속적 회전 위치 임베딩(Contiguous Rotary Positional Embeddings, RoPE)을 적용합니다. 이전 토큰이 제거되면, 이후 및 새로 들어오는 토큰의 인덱스는 마지막으로 유지된 토큰과 수치적으로 연속되도록 이동됩니다. 이를 통해 비디오 길이가 전체 윈도우 크기를 초과하더라도 위치 값이 훈련 시 보았던 분포 내에 머물 수 있도록 보장합니다. 3D 임베딩을 사용하는 비전 토큰의 경우, 연속적 3D RoPE가 적용됩니다.

2. 훈련 전략: 중첩된 풀 어텐션

긴 컨텍스트에 대한 과도한 훈련 없이 스트리밍 능력을 주입하기 위해, 저자들은 추론 시점의 어텐션 패턴을 모방하는 지도 미세 조정(SFT) 전략을 제안합니다:

중첩된 청크(Overlapped Chunks): 긴 비디오 스트림을 시간적으로 중첩된 연속적인 청크로 나눕니다.
청크 내 풀 어텐션: 각 청크 내에서 풀 어텐션을 적용합니다. 이를 통해 모델은 어텐션 싱크, 긴 텍스트 윈도우, 짧은 비전 윈도우 간의 상호작용과 "최신성 편향(recency bias)"을 학습할 수 있습니다.
인터리브드 비전-텍스트(Interleaved Vision-Text): 모든 비전 토큰을 텍스트 앞에 배치하는 표준 VLM과 달리, 이 전략은 1초 간격으로 비전 토큰과 텍스트 토큰을 교차 배치합니다. 손실(loss)은 내레이션과 정렬된 텍스트 위치에서만 계산됩니다. 만약 특정 초에 내레이션이 없다면 플레이스홀더 토큰을 사용합니다. 이는 모델이 스트림과 동기화하여 생성하는 법, 즉 언제 말하고 언제 침묵할지를 배우게 합니다.

3. 데이터 큐레이션 파이프라인

저자들은 Inf-Streams-Train 및 Inf-Streams-Eval을 구축했습니다:

데이터 수집: 스포츠 해설(농구, 축구, 하키, 야구, 미식축구) 데이터 6,000시간 이상을 수집했습니다.
정제: LLM 기반 파이프라인을 사용하여 비게임 콘텐츠(광고, 독백)를 필터링하고 ASR 오류(예: 선수 이름)를 수정하여 고품질의 비디오-해설 쌍을 생성했습니다.
SFT 대 어닐링(Annealing): 두 가지 데이터셋이 생성되었습니다. SFT 데이터셋은 스트리밍 패턴을 가르치기 위해 중첩된 청킹을 사용합니다. 별도의 "고품질 어닐링" 데이터셋은 즉각적인 해설의 품질을 정교화하기 위해 실제 경기 액션(16~64초 클립)에 집중합니다.

주요 기여

StreamingVLM 프레임워크: 무한한 비디오 스트림을 처리하기 위해 훈련과 추론을 통합하여 안정적이고 낮은 지연 시간의 성능을 제공하는 통합 모델입니다.
새로운 추론 메커니즘: 어텐션 싱크, 비대칭 KV 캐시 유지(긴 텍스트/짧은 비전), 그리고 일관성을 유지하기 위한 연속적 RoPE의 결적인 조합을 제공합니다.
훈련-추론 정렬: 중첩된 청크와 풀 어텐션을 사용하는 간단한 SFT 전략을 통해, 매우 긴 컨텍스트 훈련 데이터 없이도 긴 스트림에 대해 추론할 수 있는 능력을 효과적으로 학습시킵니다.
Inf-Streams 벤치마크: 밀도 높은 초 단위 프레임-텍스트 정렬을 특징으로 하는 평균 2시간 이상의 영상을 포함하는 Inf-Streams-Eval 벤치마크를 도입하여, 단순 검색이나 요약에 의존하던 기존 벤치마크의 간극을 메웠습니다.

실험 결과

Inf-Streams-Eval 및 기타 표준 벤치마크에서 평가한 결과, StreamingVLM은 상당한 개선을 보여주었습니다:

캡셔닝 성능: Inf-Streams-Eval에서 StreamingVLM은 GPT-4o mini를 상대로 66.18%의 승률을 기록하며, LiveCC-7B-Instruct 및 기본 Qwen-2.5-VL-7B-Instruct와 같은 베이스라인을 크게 앞질렀습니다. 이 모델은 2시간 이상 일관된 해설을 유지하는 반면, 풀 어텐션 모델은 2~5분 후에 성능이 저하되고 슬라이딩 윈도우 모델은 일관성을 잃습니다.
효율성: 모델은 단일 NVIDIA H100에서 최대 8 FPS의 안정적인 실시간 성능을 유지합니다. 재계산으로 인해 높은 지연 시간이 발생하는 중첩형 슬라이딩 윈도우 방식이나, OOM에 도달하는 풀 어텐션 방식과 달리, StreamingVLM은 지연 시간을 낮고 일정하게 유지합니다.
일반화 (VQA): 별도의 VQA 미세 조정 없이도, SFT 전략은 일반적인 비디오 이해 능력을 향상시켰습니다. StreamingVLM은 기본 모델 대비 LongVideoBench에서 +4.30, OVOBench Realtime에서 +5.96의 성능 향상을 보였습니다.
절제 연구(Ablation Studies):
- 연속적 RoPE는 필수적입니다. 네이티브 RoPE는 위치 인덱스 오버플로로 인해 무한 스트림에서 성능이 급격히 떨어집니다.
- 제거 전략: 텍스트 윈도우와 어텐션 싱크를 유지하고 오래된 텍스트를 제거하는 것이 성능에 결정적입니다.
- 비전 윈도우: 16초의 비전 윈도우가 동작 추적과 효율성 사이의 최적의 균형을 제공합니다.

의의 및 주장

본 논문은 StreamingVLM이 비디오 청크를 실시간으로 이해하고 무한한 스트림에 대해 안정적으로 추론할 수 있게 함으로써, VLM의 인간에 가까운 지능을 향한 단계라고 주장합니다. 그 의의는 다음과 같습니다:

실제 배포 가능성: 기존에 지연 시간과 메모리 제약으로 인해 어려움을 겪었던 자율 주행, 체화된 에이전트(embodied agents), 실시간 비서 애플리케이션을 위한 안정적이고 실시간적인 해설 및 이해를 가능하게 합니다.
방법론적 전환: "긴 컨텍스트로 훈련하기" 또는 "단순 슬라이딩 윈도우"의 패러다임에서 벗어나, 짧고 중첩된 청크로 훈련하는 것이 어떻게 무한한 추론을 효과적으로 시뮬레이션할 수 있는지 보여주는 통합된 접근 방식을 제시합니다.
벤치마킹: Inf-Streams-Eval의 출시는 정적 검색 작업에서 벗어나, 장기 지속 비디오에 대한 실시간 프레임 수준의 이해를 평가하는 새로운 표준을 설정합니다.

저자들은 자신들의 접근 방식이 지나치게 긴 컨텍스트를 훈련할 필요 없이 무한한 스트림에 대해 최첨단 성능을 달 Ach성함으로써, 이론적인 VLM 능력과 실시간 상호작용의 실제 요구 사항 사이의 간극을 메운다고 강조합니다.