기술 요약: 스트리밍 비디오 이해를 위한 의미 인식 적응형 시각 메모리

문제 정의

본 논문은 **온라인 스트리밍 비디오 질문 응답 (StreamingVQA)**을 다룹니다. 이는 모델이 연속적이고 무제한인 비디오 스트림을 처리하며, 자연어 쿼리가 도착하는 대로 실시간으로 답변해야 하는 작업입니다. 전체 비디오가 이용 가능한 오프라인 설정과 달리, 스트리밍은 세 가지 중요한 제약을 부과합니다:

1. 미래 접근 불가: 모델은 현재 시간戳 $T$까지의 프레임에만 접근할 수 있습니다.
2. 쿼리 무관 인코딩: 메모리 구축은 특정 쿼리에 대한 지식 없이 수행되어야 합니다. 쿼리는 예측 불가능하게 도착하기 때문입니다.
3. 유한 메모리: 총 메모리 사용량은 비디오 길이와 관계없이 일정하게 유지되어야 합니다.

기존 방법들은 이러한 제약에 어려움을 겪습니다. 대부분의 방법은 토큰 압축을 위해 시각적 유사성 휴리스틱에 의존하는데, 이는 의미적 중요성을 포착하지 못하거나, 압축이 완료된 후 KV 캐시 수준에서 검색 메커니즘을 추가합니다. 이러한 분리는 유지 및 검색을 조율하기 어렵게 만들어, 시각적으로는 중복되지만 의미적으로 중요한 정보의 손실로 이어지는 경우가 많습니다.

방법론: SAVEMem

저자들은 학습이 필요 없는 이단계 프레임워크인 SAVEMem을 제안합니다. 이는 쿼리 무관 메모리 생성과 쿼리 인식 검색을 분리합니다. 시스템은 고정된 메모리 예산 $B$ 하에서 작동하며, 모델 미세 조정이 필요 없이 의미적 사전 지식을 주입하기 위해 고정된 "가상 질문 은행 (pseudo-question bank)"을 활용합니다.

1 단계: 의미 메모리 생성 (쿼리 무관)

이 단계에서 모델은 프레임이 도착함에 따라 3 계층 스트리밍 메모리($M_{short}$, $M_{mid}$, $M_{long}$)를 온라인으로 구축합니다.

• 의미적 사전 지식: 시각적 유사성에만 의존하는 대신, SAVEMem 은 MaxSim 후기 상호작용 메커니즘을 사용하여 각 시각 토큰 $v$를 고정된 가상 질문 은행 $Q$(객체, 동작, 장면 등 포함) 에 대해 점수화합니다: $s(v) = \max_{q \in Q} \cos(v, q)$. 이는 쿼리 무관 의미적 중요도 추정을 제공합니다.
• 선택적 망각을 통한 3 계층 계층 구조:
  • 단기 ($M_{short}$): 현재 컨텍스트를 고정하기 위해 가장 최근 프레임을 완전한 충실도로 유지하는 FIFO 버퍼입니다.
  • 중기 ($M_{mid}$): $M_{short}$가 가득 차면, 가장 오래된 프레임은 **시간적 의미 가지치기 (Temporal Semantic Pruning)**를 거칩니다. 토큰이 시간적 이웃에 의해 잘 표현되는 경우 제거되지만, 높은 의미 점수 ($s(v)$) 를 가지거나 장면 경계에 있는 경우는 예외입니다.
  • 장기 ($M_{long}$): $M_{mid}$가 오버플로우되면, 프레임은 **공간적 의미 선택 (Spatial Semantic Selection)**을 통해 이곳으로 이동합니다. 이는 공간적 커버리지를 하드 제약으로 간주하고, 의미 점수에 따라 토큰을 순위 매겨 분산되지만 의미적으로 정렬된 하위 집합을 유지합니다.
  • 전체 예산 강제: 선택적 망각 단계는 총 토큰 수가 $B$를 초과하지 않도록 보장합니다. 초과될 경우, $M_{long}$에서 가장 낮은 점수를 받은 토큰이 퇴출됩니다.

2 단계: 적응형 메모리 검색 (쿼리 인식)

시간 $T$에 사용자 쿼리 $q$를 수신하면, 시스템은 고정된 메모리에서 관련 프레임을 검색합니다.

• 앵커 조건부 최근성 게이트: 시스템은 쿼리가 즉각적인 과거를 대상으로 하는지 먼저 확인합니다. $q$와 단기 앵커 ($M_{short}$) 간의 친밀도를 계산합니다. 이 친밀도가 (이동 평균에 비해) 높으면, 시스템은 이전 계층을 우회하고 $M_{short}$를 직접 반환합니다. 이 게이트는 비디오의 특정 친밀도 분포에 따라 쿼리별로 적응적으로 조정됩니다.
• 쿼리 인식 후기 상호작용: 쿼리가 역사적 컨텍스트를 필요로 하는 경우, 시스템은 $M_{mid} \cup M_{long}$의 토큰과 쿼리 간의 ColBERT 스타일 후기 상호작용 점수를 계산합니다. 프레임의 점수는 해당 프레임의 토큰과 쿼리 토큰 간의 최대 코사인 유사도 평균입니다.
• 적응형 검색: 프레임은 이 점수에 따라 순위가 매겨집니다. 검색되는 프레임 수 ($K$) 는 점수 분산에 따라 적응합니다: 밀집된 점수 (분산된 증거) 는 더 많은 프레임을 검색하게 하고, 잘 분리된 점수는 공격적인 필터링을 유발합니다. 최종 세트는 항상 $M_{short}$와 최상위 순위 역사적 프레임을 포함합니다.

주요 기여

1. 이단계 프레임워크: 의미 인식 압축과 쿼리 인식 검색을 분리하는 학습이 필요 없는 아키텍처로, 두 단계를 공유 점수 메커니즘 (MaxSim) 을 통해 조율하여 공동 학습 없이도 가능하게 합니다.
2. 의미 인식 압축: 시각적 유사성뿐만 아니라 의미적 중요도에 기반한 장기 유지를 안내하기 위해 가상 질문 은행을 도입하여, 시각적으로 중복되더라도 정보성 토큰이 보존되도록 보장합니다.
3. 적응형 검색 범위: 쿼리가 현재를 대상으로 하는지 먼 과거를 대상으로 하는지에 따라 검색 범위 (단기 대 장기) 를 동적으로 조정하는 앵커 조건부 최근성 게이트입니다.
4. 효율성: 이 방법은 서브-선형 토큰 증가와 비디오 길이에 따른 거의 평탄한 피크 GPU 메모리 사용량을 달성하여, 장비 비디오 처리를 예산 제한 문제로 변환합니다.

실험 결과

SAVEMem 은 Qwen2.5-VL 백본 (3B 및 7B 파라미터) 을 사용하여 OVO-Bench, StreamingBench, ODV-Bench에서 학습 없이 평가되었습니다.

• OVO-Bench:
  • Qwen2.5-VL-7B 백본에서 SAVEMem 은 전체 점수를 52.27 에서 62.69로 향상시켜, 최근 학습이 필요 없는 방법들 (예: FluxMem, HERMES) 과 경쟁력 있는 학습 기반 접근법들 (예: ViSpeak) 보다 우수한 성능을 보였습니다.
  • 실시간 시각 지각 (+10.41 점) 과 후방 추적 (+10.41 점) 에서 유의미한 향상이 관찰되었습니다.
  • 이 방법은 정밀한 시각적 세부 사항 (OCR, STU, ACR) 이 필요한 작업과 환각 감지 작업에서 특히 강력한 성능을 보였습니다.
• StreamingBench 및 ODV-Bench:
  • 두 백본 모두에서 일관된 향상이 관찰되었습니다. 7B 모델에서 ODV-Bench 정적 점수는 8.7 점 (48.3 에서 57.0) 향상되었습니다.
• 효율성:
  • 128 프레임에서 SAVEMem 은 백본 대비 피크 GPU 메모리 사용량을 48% 감소시켰습니다 (18.5 GB 대 35.8 GB), 서브-선형 토큰 증가를 유지하면서.

중요성과 주장

본 논문은 쿼리 무관 의미 압축과 쿼리 인식 적응형 검색을 분리하는 것이 학습 없이 스트리밍 비디오 이해를 확장하기 위한 실용적인 방향이라고 주장합니다. 압축 단계에 의미 신호를 주입하고 쿼리별로 검색 범위를 적응함으로써, SAVEMem 은 스트리밍에 내재된 "지각 - 메모리 트레이드오프"를 해결합니다. 저자들은 이 접근 방식이 의미적으로 중요한 정보를 유지하면서 고정된 메모리 예산을 강제함으로써, 상용 GPU 에서 무제한 스트림을 처리할 수 있게 한다고 강조합니다.

저자들은 한계를 인정하며, 이 방법은 포괄적인 시간적 스캐닝이 필요한 작업 (예: 계수) 에 대해 선택적 검색과 전체 커버리지 간의 트레이드오프에 본질적으로 민감하다고 지적합니다. 또한, 가상 질문 은행이 현재는 일반적이며 도메인 적응이 되지 않았으며, 학습이 필요 없는 설계는 두 단계의 공동 최적화를 배제한다고 언급합니다.