기술 요약: SelectStream

문제 정의

스트리밍 비디오 이해(Streaming video understanding)는 고정된 메모리, 컨텍스트 및 연산 예산 내에서 관찰된 접두사(prefix)만을 사용하여 진행 중인 비디오 스트림의 어느 시점에서나 질의에 답할 수 있는 시각-언어 모델(VLM)을 필요로 합니다. 최근의 연구들은 외부 메모리 뱅크, 검색 모듈 또는 시각적 토큰 압축을 추가하여 이를 해결하려고 시도해 왔으나, 이러한 방법들은 종종 "더 풍부한 메모리"가 자동으로 더 나은 이해를 이끌어낸다는 가정에 의존합니다.

저자들은 무분별한 히스토리 주입이 현재 장면의 지각(current-scene perception)을 희석시킬 수 있다고 주장합니다. 이는 관련 증거가 무관한 콘텐츠와 섞이면서 모델의 추론 능력을 약화시키는 현상입니다. 반대로, 단순한 최근 윈도우(recent-window) 베이스라인은 (오래된 증거를 버림으로써) 결정적인 정보가 즉각적인 컨텍스트 밖에 있을 때 실패합니다. 핵심 과제는 메모리를 사용할지 여부가 아니라, 어떻게 **선택적으로 할당(selectively allocate)**할 것인가 하는 점입니다. 즉, 언제 새로운 증거를 기록할지, 용량이 가득 찼을 때 무엇을 보존할지, 특정 질의를 위해 증거를 어떻게 검색할지, 그리고 스트림 길이에 따라 컨텍스트 윈도우가 늘어나지 않도록 하면서 생성 중에 얼마나 많은 역사적 컨텍스트를 노출할지를 결정하는 것입니다.

방법론: SelectStream

SelectStream은 선택적 잠재 메모리 프레임워크로서, 스트리밍 메모리를 예산 기반의 온라인 잠재 증거 할당(budgeted online latent evidence allocation) 문제로 정식화합니다. 이 모델은 동결된(frozen) VLM 백본 위에서 작동하며, 원시 프레임을 재생하거나 히스토리를 텍스트 요약으로 변환하는 대신 동적 잠재 증거 그래프($G_t = (M_t, E_t)$)를 통해 히스토리를 관리합니다. 시스템은 세 가지 조정된 메커니즘에 의해 제어됩니다.

1. 놀라움 기반 적응형 윈도잉 (SAW: Surprise-driven Adaptive Windowing) – 언제 기록할 것인가

SAW는 비디오 세그먼트를 닫고 이를 메모리에 기록할 시점을 결정합니다. 고정된 간격 대신, 안정적인 구간에는 거친 해상도의 메모리 엔트리를 할당하고, 놀라운 변화가 있는 구간에는 더 세밀한 해상도를 할당합니다.

• 메커니즘: 어텐션 변화(어텐션 맵의 JS 다이버전스)와 특징 변화(투영된 임베딩의 코사인 거리)를 기반으로 놀라움 점수($s_t$)를 계산합니다.
• 트리거: 세그로먼트는 최소 길이($L_{min}$)에 도달하고 다음 세 가지 조건 중 하나를 충족할 때 닫힙니다: 놀라움 스파이크($\bar{s}_t > \theta_{high}$), 누적된 놀라움 에너지($B_s$)가 예산을 초과, 또는 최대 세그먼트 길이($L_{max}$)에 도달했을 때입니다.

2. 잠재 시각 메모리 (LVM: Latent Visual Memory) – 무엇을 보존할 것인가

LVM은 투영된 시각적 임베딩이 잠재 노드로 저장되는 고정 용량의 메모리 그래프를 관리합니다.

• 쓰기: 세그먼트가 닫히면, 해당 임베딩은 활성 노드들과 비교됩니다. 만약 의미적으로 유사하고 놀라움 수치가 낮다면, 게이트 업데이트(gated update) 메커니즘을 통해 기존 노드를 업데이트합니다(유용한 히스토리가 직접 교체되는 것을 방지함). 그렇지 않으면 새로운 노드를 생성합니다.
• 통합(Consolidation): 메모리 예산($N$)을 초과하면, 시스템은 **우선순위 보존 통합(priority-preserving consolidation)**을 수행합니다. 이는 의미적 중복성(유사도)과 우선순위 요소(놀라움, 접근 빈도, 최신성) 사이의 균형을 맞추며, 페널티가 가장 작은 노드 쌍을 병합합니다. 이를 통해 놀랍거나 자주 액세스되는 증거가 보존되도록 합니다.

3. 질의 조건부 그래프 어텐션 추론 (GAR: Query-conditioned Graph Attention Reasoning) – 어떻게 읽을 것인가

질의가 도착하면, 모델은 전체 히스토리에 대해 추론하는 대신 압축된 서브그래프를 검색합니다.

• 라우팅: 질의는 인코딩되어 활성 노드들의 점수를 매기는 데 사용됩니다. 상위-$k$ 시드(seed)로부터 시간적 및 의미적 엣지를 통해 서브그래프가 라우팅되며, 이는 서브그래프 예산($B$)에 의해 제한됩니다.
• 추론: 그래프 어텐션 네트워크(GAR)는 이웃으로부터의 시간적 및 의미적 컨텍스트를 집계하여 노드 상태를 정교화합니다.
• 주입: 정교화된 상위-$M$개의 노드는 캘리브레이션되어 동결된 VLM의 디코더에 **잠재 증거 토큰(latent evidence tokens)**으로 주입됩니다. 이를 통해 VLM은 스트림 기간에 비례하여 컨텍스트 길이를 늘리지 않고도 역사적 증거에 접근할 수 있습니다.

주요 기여

1. 정식화: 본 논문은 선택적 기억(selective remembering)을 스트리밍 비디오에서의 예산 기반 온라인 잠재 증거 할당 문제로 정식화하여, 현재 장면의 지각 유지와 장기 히스토리 접근 사이의 트레이드오프를 명시적으로 다룹니다.
2. 아키텍처 (SelectStream): 투영된 VLM 임베딩을 고정 용량의 그래프에 기록하는 동적 잠재 메모리 아키텍처입니다. 이는 적응형 쓰기를 위한 놀라움 기반 윈도잉, 보존을 위한 우선순위 인식 통합, 그리고 검색을 위한 질의 조건부 그래프 추론을 활용합니다.
3. 인터페이스: 원시 프레임 재생이나 텍스트 요약을 피하고 캘리브레이션된 잠재 증거 토큰을 동결된 VLM에 주입하는 설계를 통해, 스트림 길이에 관계없이 유계된(bounded) 추론 비용을 유지합니다.

실험 결과

SelectStream은 Qwen2.5-VL-7B 및 Qwen3-VL-8B 백본을 사용하여 스트리밍 및 오프라인 비디오 벤치마크에서 평가되었습니다.

• 스트리밍 벤치마크:
  • StreamingBench: **82.67%**의 정확도(Qwen3-VL-8B)를 달성하여, 강력한 최근 윈도우 베이스라인(예: Qwen3-VL-8B + 4f, 80.59%) 및 이전의 스트리밍 메모리 방법들을 능가했습니다.
  • OVO-Bench: **67.03%**의 전체 정확도를 달성했습니다. 특히, 역방향 추적(Backward Tracing, BT) 점수가 유의미하게 향상되었습니다(Qwen3-VL-8B 기준 54.00%에서 62.20%로). 이는 높은 실시간 시각 지각(Real-Time Visual Perception, 82.76%)을 유지하면서도 이전의 시각적 컨텍스트를 활용하는 탁월한 능력을 입증합니다.
• 오프라인 벤치마크:
  • VideoMME, MLVU, MVBench에서 SelectStream은 평균 **74.4%**의 정확도(Qwen3-VL-8B)를 기록하였으며, 이는 이 방법이 일반적인 비디오 이해 능력을 보존하면서 스트리밍 효율성을 위해 오프라인 성능을 희생하지 않음을 보여줍니다.
• 효율성:
  • 처리된 프레임 수가 증가하더라도 모델은 거의 일정한 질의 지연 시간(TTFT)과 피크 GPU 메모리를 유지합니다. 이는 활성 메모리 상태가 $N$에 의해 제한되고 검색이 $B$와 $M$에 의해 제한되기 때문입니다.

의의 및 주장

본 논문은 SelectStream이 무분별한 메모리 주입에 내재된 "증거 희석(evidence dilution)" 문제를 해결한다고 주장합니다. 현재의 관찰을 동결된 VLM에 직접 보이게 유지하면서, 역사적 정보를 압축된 질의 조건부 증거 예산을 통해서만 노출함으로써, 모델은 장기 메모리와 현재 장면 지각 사이의 우수한 트레이드오프를 달성합니다.

저자들은 SelectStream을 고정된 자원 제약 하에서의 스트리밍 비디오 이해을 위한 확장 가능한 방향으로 제시합니다. 결과는 선택적 잠재 메모리가 단순히 최신 프레임을 유지하는 것 이상의 이점을 제공하며, 컨텍스트 윈도우의 연산 오버헤드 없이 견고한 히스토리 의존적 추론을 가능하게 함을 시사합니다. 이 프레임워크는 온라인 메모리 관리를 질의 시 생성(query-time generation)과 분리하여 설계된, 동결된 비디오-언어 백본을 위한 범용 메모리 레이어 역할을 합니다.