기술 요약: CoRDS

문제 정의

대규모 비전 - 언어 모델 (VLM) 을 활용한 스트리밍 비디오 이해 (SVU) 는 실시간으로 무제한 비디오 스트림을 처리하면서도 제한된 메모리 풋프린트를 유지해야 한다는 치명적인 병목 현상에 직면해 있습니다. 전체 컨텍스트가 프레임 샘플링 또는 쿼리 의존적 압축을 위해 사용 가능한 오프라인 비디오 이해와 달리, SVU 는 미래 프레임이 알려지지 않은 인과적이고 쿼리 무관한 처리를 요구합니다.

기존 솔루션은 주로 국소적, 토큰 단위 휴리스틱 (예: 최근성, 시간적 중복성, 또는 노름 기반 중요도) 을 사용한 키 - 값 (KV) 캐시 압축에 의존합니다. 본 논문은 이러한 방법들이 전역적 대표성을 명시적으로 최적화하지 못한다는 근본적인 한계를 겪고 있다고 주장합니다. 결과적으로 개별적으로는 약하지만 collectively 중요한 단서들 (예: 정적 시각적 세부 사항 또는 시간적으로 분산된 구조) 은 압축 시점에 국소적 중요도가 부족하다는 이유로 종종 폐기됩니다.

방법론: CoRDS

저자들은 CoRDS(Coreset-based Representative and Diverse Selection) 를 제안합니다. 이는 학습이 필요 없고 쿼리 무관한 프레임워크로, KV 캐시 압축을 대표적인 코어셋 선택 문제로 재정의합니다. 토큰을 독립적으로 점수 매기는 대신, CoRDS 는 누적된 시각적 캐시를 기하학적으로 포괄하는 소수의 하위 집합을 선택합니다.

이 방법은 세 가지 핵심 원칙에 따라 작동합니다:

1. 결합된 KV 표현 및 양기준 커버리지

저자들은 효과적인 선택이 검색 구조를 결정하는 **키 (Keys)**와 어텐션에 의해 판독되는 정보를 결정하는 **값 (Values)**을 모두 고려해야 한다고 가정합니다.

• 표현: 토큰들은 결합된 특징 공간 $\phi^{(KV)}_i = [k_i; v_i]$으로 표현됩니다.
• 목적: 후보 토큰 $i$에서 선택된 집합 $S$까지의 거리를 측정하는 양기준 거리 척도 $d_\alpha(i, S)$가 정의되어 키 공간 및 값 공간 근사 오차를 균형 있게 조정합니다:
  $$d_\alpha(i, S) = \min_{j \in S} \left[ \alpha \|k_i - k_j\|^2 + (1-\alpha) \|v_i - v_j\|^2 \right]$$
  여기서 $\alpha \in [0, 1]$은 트레이드오프를 제어합니다. 실험적 결과는 값을 우세하게 하는 것 ($\alpha < 0.5$) 이 더 나은 성능을 낸다고 시사합니다.
• 최적화: 하위 집합은 이전에 선택된 중심으로부터의 제곱 거리에 비례하여 시드되는 D2 스타일 최원심 (farthest-first) 규칙을 사용하여 탐욕적으로 선택됩니다. 이는 $k$-means 목적 함수에 대해 $O(\log k)$ 근사 보장을 제공합니다.

2. 비중복성을 위한 직교 다양성

순수한 커버리지 기반 선택은 특징 공간에서 유사한 방향에 위치한 여러 토큰이 포함된 중복된 코어셋을 초래할 수 있습니다. 이를 해결하기 위해 CoRDS 는 직교 반중복성 항을 도입합니다.

• 메커니즘: 후보 토큰에 대해 현재 선택된 키 (및 값) 의 범위에 직교하는 잔차 벡터를 계산합니다.
• 점수 매기기: 이 잔차의 제곱 노름에 기반한 신규성 점수가 커버리지 점수에 소프트 보너스로 추가됩니다. 이는 단조 서브모듈러 최대화에 대해 $(1 - e^{-1})$ 근사를 보장하는 로그 - 행렬식 하위 집합 선택에 영감을 받았습니다.
• 최종 점수: 선택 점수는 양기준 거리와 직교 신규성을 결합합니다:
  $$\text{score}(i | S_t) = e^{d_\alpha(i, S_t)} + \lambda \cdot \widehat{\text{Orth}}(i | S_t)$$

3. 레이어 선택적 압축 및 캐스케이드 재사용

계산 오버헤드를 최소화하기 위해:

• 레이어 선택: 코어셋 선택기는 시각적 중복성이 가장 높은 디코더 레이어 하단 25% 에만 적용됩니다. 작업 조건부 특징을 인코딩하는 후기 레이어는 압축되지 않은 상태로 유지됩니다.
• 크로스 - 레이어 캐스케이드: 소수의 "앵커" 레이어가 전체 선택을 수행합니다. "팔로워" 레이어는 선택을 다시 계산하지 않고 앵커 레이어에서 선택된 토큰 인덱스를 재사용하여, 레이어별 표현을 유지하면서 지연 시간을 크게 줄입니다.

주요 기여

1. 스트리밍 압축에 대한 코어셋 관점: 국소적 토큰 가지치기에서 쿼리 무관하고 커버리지 지향적인 공식으로의 전환으로, 누적된 비디오 컨텍스트를 나타내는 컴팩트한 메모리를 선택합니다.
2. 결합된 KV 대표적 커버리지: 검색 구조 (키) 와 출력 내용 (값) 을 명시적으로 균형 잡는 결합된 키 - 값 표현 및 양기준 목적 함수의 도입으로, 한 공간에서만 선택하는 것이 최적이지 않음을 입증합니다.
3. 직교 다양성: 특징 공간에 새로운 방향을 기여하는 후보를 선호하여 중복 정보에 대한 토큰 예산 낭비를 방지하는 로그 - 행렬식 하위 집합 선택에 기반한 반중복성 메커니즘.

실험 결과

이 방법은 네 가지 오픈 소스 VLM(Qwen2-VL, Qwen2.5-VL, LLaVA-NeXT-Video) 에서 다섯 가지 벤치마크(EgoSchema, MLVU, VideoMME, OVO-Bench, StreamingBench) 를 통해 평가되었습니다.

• 성능: 고정된 캐시 예산 (3K 및 6K 토큰) 하에서 CoRDS 는 InfiniPot-V 및 StreamMem 과 같은 휴리스틱 베이스라인보다 일관되게 우수한 성과를 거두었습니다.
  • MLVU에서 CoRDS 는 6K 예산에서 최상위 베이스라인 대비 **+4.2%**만큼 성능을 향상시켰습니다.
  • 공격적인 압축 비율 (1/16) 에서 CoRDS 는 종종 전체 KV(압축되지 않음) 베이스라인의 성능과 일치하거나 초과하여, 얼마나 많은 토큰을 유지하는지보다 어떤 토큰을 유지하는지가 더 중요함을 시사합니다.
• 스트리밍 효율성: 스트리밍 벤치마크 (OVO-Bench, StreamingBench) 에서 CoRDS 는 후방, 실시간, 전방 트랙 전반에 걸쳐 개선을 보였으며, 특히 장기간에 걸쳐 분산된 증거가 필요한 작업 (예: 전망 추론, 계수) 에서 두드러졌습니다.
• 커버리지 분석: 커버리지 누적 분포 함수 (CDF) 분석은 CoRDS 가 베이스라인에 비해 전체 캐시에서 더 대표적인 하위 집합을 유지하며, 원본 토큰 집합과의 코사인 거리가 더 낮음을 확인시켜 줍니다.
• 효율성: 크로스 - 레이어 캐스케이드 전략은 평탄한 메모리 풋프린트를 유지하며, 최대 1000 초 길이의 비디오에서도 베이스라인과 동등하거나 더 나은 프리필 처리량을 달성합니다.

중요성 및 주장

본 논문은 대표적인 코어셋 선택이 메모리 제약이 있는 스트리밍 비디오 이해를 위해 토큰 단위 가지치기보다 더 효과적인 원리라고 주장합니다. 결합된 키 - 값 공간에서 누적된 역사의 기하학적 커버리지를 명시적으로 최적화함으로써 CoRDS 는 장문맥 추론에 내재된 " haystack 속의 바늘" 문제를 완화합니다.

저자들은 그들의 접근 방식이 학습이 필요 없으며 쿼리 무관하므로 재학습 없이 기존 트랜스포머 기반 VLM 에 즉시 적용 가능하다고 강조합니다. 결과는 스트리밍 설정에서의 성능 향상이 단순히 캐시 크기 증가에서 비롯된 것이 아니라, 덜 중복되고 더 정보적인 시각적 토큰 하위 집합을 유지함으로써 발생함을 강조합니다. 논문은 이 기하학적 기반이 지속적 지각 에이전트를 위한 휴리스틱 기반 압축에 대한 원칙적인 대안을 제공한다고 결론지었습니다.