기술 요약: 효율적인 스트리밍 비디오 이해를 위한 CausalMem

문제 정의

현재의 멀티모달 거대 언어 모델(MLLM)은 스트리밍 비디오 이해에서 심각한 어려움에 직면해 있습니다. 주요 난점은 두 가지 요인에서 기인합니다:

1. 무한한 토큰 증가: 스트리밍 시나리오는 잠재적으로 무한한 길이의 비디오를 포함하며, 이는 기존 MLLM의 컨텍스트 제한과 메모리 예산을 초과하는 선형적인 시각적 토큰 축적을 초래합니다 (예: 1 FPS로 2시간 분량의 비디오는 70만 개 이상의 토큰을 생성할 수 있음).
2. 예측 불가능성: 오프라인 처리와 달리, 스트리밍 비디오는 미래의 프레임이나 사용자 질의에 대한 사전 접근 권한이 없습니다. 이로 인해 전역적 중복성 기반 압축 방식이나 텍스트 가이드 추정 전략은 비인과적(non-causal) 정보를 필요로 하기 때문에 적용이 불가능합니다.

KV 캐시 압축 또는 토큰 프루닝(pruning)과 같은 기존 솔루션들은 종종 전역적인 비디오 접근이나 특정 질의 가이드에 의존하며, 엄격한 인과성 하에서 작동하는 동적이고 고정된 예산의 메모리 메커니즘을 제공하지 못합니다.

방법론: CausalMem

본 논문은 동적이지만 고정된 예산의 시각적 메모리 뱅크를 구축하기 위해 설계된 새로운 학습 불필요(training-free) 방식인 CausalMem을 제안합니다. 이 방법은 엄격한 인과성 하에서 작동하며, 즉 미래의 콘텐츠를 알지 못한 채 프레임을 순차적으로 처리합니다. 핵심 메커니즘은 두 가지 주요 구성 요소로 이루어집니다:

1. 온라인 시맨틱 베이시스 (Online Semantic Basis)

미래 지식 없이 유입되는 시각적 토큰의 중복성을 추정하기 위해, CausalMem은 관찰된 비디오 스트림의 주요 의미론을 동적으로 모델링하는 **온라인 시맨틱 베이시스($B$)**를 유지합니다.

• 초기화: 베이시스는 첫 번째 프레임의 시각적 토큰으로부터 컴팩트한 특이값 분해(SVD)를 사용하여 지배적인 시맨틱 벡터를 추출함으로써 초기화됩니다.
• 동적 업데이트: 새로운 프레임이 도착함에 따라, 시각적 토큰은 현재의 베이시스 위로 투영됩니다. 잔차(residual)(원래의 토큰과 재구성된 토큰 사이의 차이)는 새로운 정보를 나타냅니다.
  • 잔차가 큰 토큰(낮은 중복성)이 후보로 선택됩니다.
  • 이 후보들은 QR 분해를 거쳐 새로운 직교 베이시스 벡터를 추출합니다.
  • 베이시스는 가장 활발한(active) 상위 $q$개의 벡터를 유지함으로써 업데이트됩니다. 이때 활성도는 순간적인 활성화 점수의 지수 이동 평균을 통해 추적됩니다. 이를 통해 베이시스는 진화하는 의미론에 적응하면서도 컴팩트함을 유지할 수 있습니다.

2. 동적 시각적 메모리 뱅크 (Dynamic Visual Memory Bank)

CausalMem은 사전 정의된 토큰 예산($b$)을 가진 고정 크기의 메모리 뱅크($M$)를 유지합니다.

• 삽입: 현재 프레임의 새로운 시각적 토큰이 메모리 뱅크에 일시적으로 추가됩니다.
• 압축 및 선택: 뱅크가 예산을 초과하면, 다음 두 가지 요인을 기준으로 토큰의 유지 점수가 매겨집니다:
  1. 중복성 점수: 온라인 시맨틱 베이시스에 대한 토큰의 잔차 노름(residual norm)을 기반으로 계산됩니다. 잔차가 높은(더 많은 정보를 가진) 토큰이 선호됩니다.
  2. 시간적 최신성: 토큰의 타임스탬프를 기반으로 한 점수로, 메모리가 진화하는 스트림에 부드럽게 적응하도록 보장합니다.
• 업데이트: 상위 점수를 받은 토큰들이 유지되어 업데이트된 메모리 뱅크를 형성하며, 나머지 토큰은 폐기됩니다. 이를 통해 뱅크는 항상 고정된 예산 내에서 가장 정보력이 높고 시간적으로 관련 있는 토큰들을 포함하게 됩니다.

주요 기여

1. 새로운 관점: 본 연구는 엄격한 인과성 하에서의 동적, 고정 예산 메모리 뱅크라는 관점을 통해 효율적인 스트리밍 비디오 이해에 접근하며, 기존의 오프라인 또는 질의 의존적 방식의 한계를 해결합니다.
2. 학습 불필요 메커니즘: CausalMem은 기반이 되는 MLLM의 재학습을 요구하지 않는 플러그 앤 플레이 방식입니다. 이는 온라인 시맨틱 베이시스를 활용하여 중복성을 추정하고 메모리 뱅크를 동적으로 업데이트합니다.
3. 효율성 및 보존: 이 방법은 주요 의미론을 보존하면서도 높은 시각적 토큰 압축률(예: 1시간 분량의 비디오에 대해 >20배)을 달나며, 고정된 저장 공간(예: 12k 토큰에 대해 ~82 MB) 내에서 작동합니다.

실험 결과

저자들은 LLaVA-OneVision과 Qwen2.5-VL이라는 두 가지 대표적인 MLLM에 대해 스트리밍 및 오프라인 벤치마크 모두에서 CausalMem을 검증했습니다.

• 스트리밍 벤치마크: OVO-Bench와 StreamingBench에서 CausalMem은 베이스라인 대비 각각 평균 +3.2% 및 **+3.0%**의 정확도 향상을 달성하며, StreamingTOM, LiveVLM, ReKV와 같은 기존 스트리밍 방식들을 능가했습니다.
• 오프라인 벤치마크: 엄격한 인과성(스트리밍 조건 시뮬레이션) 하에서 오프라인 작업에 적용되었을 때도, CausalMem은 Video-MME, MLVU, LongVideoBench, LVBench에서 특화된 오프라인 압축 방식들보다 우수한 성능을 보였습니다.
• 효율성: 이 방법은 토큰 수가 선형적으로 증가하는 베이스라인들에 비해 GPU 메모리 오버헤드와 추론 시간을 크게 줄입니다. 프레임 수가 증가함에 따라 더 잘 확장되며 안정적인 추론 시간을 유지합니다.
• SOTA와의 비교: Qwen2.5-VL에 적용했을 때, 특정 스트리밍 벤치마크에서 Gemini 1.5 Pro 및 GPT-4o와 같은 고급 독점 모델과 대등하거나 이를 상회하는 성능을 달성했습니다.

의의 및 주장

본 논문은 CausalMem이 기존 MLLM의 효율적인 스트리밍 비디오 이해를 위한 "다루기 힘든 문제(intractable problem)"를 성공적으로 해결했다고 주장합니다. 그 의의는 다음과 같습니다:

• 제한된 계산량: 이 방식은 제한된 계산 및 저장 오버헤드로 임의의 긴 비디오 스트림을 처리할 수 있게 하며, 이는 실제 스트리밍 애플리케이션의 핵심 요구사항입니다.
• 의미론적 보존: 온라인 시맨틱 베이시스를 활용함으로써, 이 방법은 제한된 메모리 공간 내에서 정보 이득을 극대화하며, 불필요한 정보를 걸러내면서도 핵심적인 정보를 유지하는 인간의 뇌 능력을 효과적으로 모사합니다.
• 범용성: 학습이 필요 없는 방식으로서, 광범한 미세 조정이나 구조적 변경 없이 다양한 MLLM에 쉽게 통합되어 스트리밍 능력을 향상시킬 수 있습니다.

저자들은 CocalMem이 컴팩트하면서도 정보력이 풍부한 시각적 메모리를 유지하기 위한 강력한 솔루션을 제공하며, 이를 통해 MLLM이 스트리밍 비디오 콘텐츠의 동적인 특성을 효과적으로 다룰 수 있게 한다고 결론짓습니다.