1. 문제 정의 (Problem)

최근 멀티모달 대규모 언어 모델 (MLLM) 은 오프라인 비디오 이해 분야에서 괄목할 만한 성과를 거두었습니다. 그러나 실시간 스트리밍 비디오 입력으로의 확장은 여전히 큰 도전 과제입니다. 기존 모델들은 다음과 같은 세 가지 요구 사항을 동시에 충족하는 데 어려움을 겪고 있습니다.

• 안정적인 이해 성능: 긴 비디오 스트림에 대한 일관된 이해 능력 유지.
• 실시간 응답: 사용자 질의에 대한 지연 시간 (Latency) 최소화.
• 저 GPU 메모리 오버헤드: 제한된 하드웨어 자원 내에서의 효율적인 실행.

기존의 스트리밍 방법론들은 대부분 외부 메모리 (External Memory) 를 사용하거나, KV 캐시 (Key-Value Cache) 를 단순하게 처리하여, 질의 시 추가적인 검색 (Retrieval) 이나 외부 연산이 필요해 지연 시간이 발생하거나, 메모리 관리가 비효율적인 문제가 있었습니다.

2. 방법론 (Methodology)

저자들은 HERMES라는 새로운 학습 불필요 (Training-free) 아키텍처를 제안했습니다. 이 방법은 기존 MLLM 에 플러그 앤 플레이 (Plug-and-play) 방식으로 통합 가능하며, 다음과 같은 핵심 원리를 기반으로 합니다.

가. 계층적 KV 캐시 메모리 프레임워크 (Hierarchical KV Cache as Memory)

저자들은 MLLM 의 각 레이어가 비디오 정보를 다른 수준 (Granularity) 으로 처리한다는 기계적 분석 (Mechanistic Analysis) 을 통해 KV 캐시를 계층적 메모리로 개념화했습니다.

• 얕은 레이어 (Shallow Layers) - 감각 기억 (Sensory Memory): 최근 프레임에 대한 강한 '최근성 편향 (Recency Bias)'을 보입니다. 새로운 시각 입력을 빠르게 인지하는 역할을 합니다.
• 깊은 레이어 (Deep Layers) - 장기 기억 (Long-term Memory): 프레임 단위의 리듬적 '앵커 토큰 (Anchor Tokens)'에 집중합니다. 각 프레임을 요약하는 중요한 의미적 표현을 장기적으로 저장합니다.
• 중간 레이어 (Middle Layers) - 작업 기억 (Working Memory): 최근성 정보와 프레임 단위의 의미적 표현 사이의 균형을 맞추며, 감각 흔적과 의미적 요약 사이의 가교 역할을 합니다.

나. HERMES 의 3 가지 핵심 구성 요소

1. 계층적 KV 캐시 관리 (Hierarchical KV Cache Management):
   • 각 레이어의 특성에 따라 토큰의 중요도 (Importance Score) 를 다르게 계산합니다.
   • 얕은 레이어: 에빙하우스의 망각 곡선을 기반으로 시간적 거리에 따른 지수적 감소를 적용.
   • 깊은 레이어: 사용자 질의 (또는 가상 프롬프트) 에 대한 어텐션 가중치를 직접 활용하여 중요도 산정.
   • 중간 레이어: 최근성 점수와 어텐션 가중치를 레이어에 따라 가중치를 두어 보간 (Interpolation) 합니다.
2. 레이어 간 메모리 평활화 (Cross-Layer Memory Smoothing):
   • 서로 다른 레이어에서 동일한 인덱스의 토큰이 독립적으로 제거되어 시각적 기억이 불일치하는 문제를 해결합니다.
   • 깊은 레이어의 중요도 신호를 얕은 레이어로 전파하여 토큰 제거 시 일관성을 유지하도록 스무딩 (Smoothing) 을 적용합니다.
3. 위치 재인덱싱 (Position Re-Indexing):
   • 스트리밍 입력의 누적으로 인해 토큰 위치 인덱스가 모델의 최대 범위를 초과하는 것을 방지합니다.
   • Lazy Re-Indexing (스트리밍용): 모델 한계에 가까워질 때만 수행하여 계산 오버헤드를 줄이고 최근 토큰의 원래 위치를 보존합니다.
   • Eager Re-Indexing (오프라인용): 압축 단계마다 수행하여 RoPE 인덱스를 엄격하게 연속적으로 유지합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 개념 정립: 어텐션 시각화 분석을 바탕으로 KV 캐시를 다중 세분화 (Granularity) 를 가진 계층적 비디오 메모리 프레임워크로 최초로 개념화했습니다.
2. 학습 불필요의 고효율 방법론: HERMES 를 제안하여, 기존 모델의 토큰 수를 최대 68% 까지 줄임에도 불구하고 경쟁력 있는 정확도를 달성했습니다. 특히 스트리밍 벤치마크에서 최대 11.4% 의 성능 향상을 보였습니다.
3. 실시간성 및 효율성 극대화: 기존 학습 불필요 SOTA 방법 대비 지연 시간 (TTFT) 을 10 배 단축했습니다. 사용자 질의 시 추가적인 외부 검색이나 연산이 필요 없어, 일정한 GPU 메모리 사용량으로 실시간 응답을 보장합니다.

4. 실험 결과 (Results)

• 스트리밍 벤치마크 (StreamingBench, OVO-Bench, RVS):
  • LLaVA-OV-7B 및 Qwen2.5-VL 기반의 HERMES 는 오프라인 모델 및 기존 온라인 모델 (TimeChat-Online, StreamForest 등) 을 능가하는 성능을 기록했습니다.
  • 특히 Qwen2.5-VL-7B + HERMES(4K 토큰) 는 StreamingBench 에서 79.44% 정확도를 달성하여 기존 모델 대비 6% 이상 향상되었습니다.
• 오프라인 벤치마크 (VideoMME, Egoschema, MVBench):
  • 제한된 메모리 예산 (4K~6K 토큰) 하에서도 오프라인 모델과 유사하거나 더 나은 성능을 유지했습니다.
• 효율성 분석:
  • 입력 프레임 수가 증가해도 GPU 메모리 사용량이 일정하게 유지되며, TTFT(First Token 생성 시간) 가 30ms 미만으로 유지되어 실시간 상호작용에 적합함을 입증했습니다.

5. 의의 및 결론 (Significance)

HERMES 는 실시간 스트리밍 비디오 이해를 위한 학습 불필요 (Training-free) 솔루션의 새로운 패러다임을 제시합니다.

• 실용성: 별도의 모델 재학습이나 외부 메모리 장치 없이 기존 MLLM 에 바로 적용 가능하여 배포 비용과 복잡성을 크게 낮춥니다.
• 지속 가능성: 예측 불가능한 미래 프레임과 질의에 대응하면서도 일정한 메모리 사용량으로 OOM(Out Of Memory) 오류를 방지합니다.
• 해석 가능성: KV 캐시 내부의 어텐션 패턴을 계층적 메모리 구조로 해석함으로써, 모델이 비디오 정보를 어떻게 저장하고 활용하는지에 대한 기계적 이해를 증진시켰습니다.

결론적으로 HERMES 는 제한된 컴퓨팅 자원을 가진 환경에서도 안정적이고 정확한 실시간 비디오 이해를 가능하게 하여, 실제 세계의 스트리밍 애플리케이션 (예: 실시간 모니터링, 대화형 비디오 에이전트 등) 에 매우 적합한 기술입니다.