기술 요약: ProtoKV

문제 정의

스트리밍 비디오 이해(Streaming Video Understanding, SVU)는 엄격한 GPU 메모리 및 지연 시간 제약 조건 하에서 연속적인 비디오 스트림을 처리하고 비동기 쿼리에 실시간으로 응답할 수 있는 시스템을 필요로 합니다. 이러한 환경에서의 핵심적인 과제는 **지연된 쿼리(delayed query)**입니다. 결정적인 시각적 단서는 스트림의 초기에 짧게 나타날 수 있지만, 쿼리는 이후 많은 프레임이 처리된 후 한참 뒤에 도착할 수 있습니다.

제한된 메모리 환경에서 표준적인 접근 방식들은 다음과 같은 딜레마에 직면합니다:

1. 슬라이딩 윈도우(Sliding Window, SWA): 최근 토큰만을 유지하여 일정한 메모리를 보장하지만, 윈도우를 벗어난 증거는 돌이킬 수 없이 소실됩니다.
2. 토큰 유지/압축(Token Retention/Compression): 과거 토큰의 일부를 유지하려고 시도합니다. 그러나 증거와 쿼리 사이의 지연($\Delta$)이 길어질수록, 이 방법들은 "사후 증거 업데이트 압력(post-evidence update pressure)" 문제를 겪습니다. 결정적인 단서들은 미래의 어떤 토큰이 관련될지 알 수 없는 상태에서 수행되는 쿼리 불가지론적(query-agnostic) 유지 결정으로 인해 밀려나거나 희석되기 쉽습니다. 일단 특정 토큰 인스턴스가 삭제되면, 그와 관련된 미세한 단서 또한 소실됩니다.

본 논문은 먼 과거의 이력을 개별 토큰 인스턴스의 집합으로 표현하는 것은 긴 지연 시간 상황에서 취약하다고 주장합니다. 대신, 시스템은 특정 토큰 인스턴스를 유지하는 것이 아니라 과거 사건의 증거를 보존하는 메커니즘을 가져야 하며, 이를 통해 지연이 증가하더라도 점진적인 성능 저하를 허용해야 합니다.

방법론: ProtoKV

ProtoKV는 스트리밍 비디오 LLM을 위해 설계된 상수 풋프린트(constant-footprint) 메모리 메커니즘입니다. 이는 먼 과거의 이력 표현 방식을 토큰 유지에서 요약 상태(summary-state) 접근 방식으로 전환하며, 이를 위해 2단계 온라인 상태를 사용합니다.

1. 2단계 아키텍처

• 근접 윈도우 (Exact): 가장 최근 $W$ 프레임에 대한 정확한 키-값(Key-Value, KV) 쌍을 저장하는 링 버퍼($B_{near}$)입니다. 이는 근사화 없이 미세하고 시간적으로 국소적인 증거를 보존합니다.
• 원거리 메모리 (Summary State): 밀려난 과거 이력을 집계하는 고정 용량의 프로토타입 뱅크($B_{far}$, 크기 $K_{max}$)입니다. 여기에는 토큰 인스턴스 대신 **객체 중심 프로토타입(object-centric prototypes)**이 저장됩니다.

2. 온라인 업데이트 메커니즘

비디오 스트림이 진행됨에 따라, 근접 윈도우에서 밀려난 토큰들은 **연속성 인식 할당(continuity-aware assignment)**을 통해 원거리 메모리로 흡수됩니다.

• 할당(Assignment): 밀려난 토큰들은 다음을 결합한 온라인 비용 함수를 최소화함으로써 프로토타입 $k$에 할당됩니다:
  • 키 공간 유사성 (유사한 키를 가진 토큰들을 클러스터링).
  • 공간적 연속성 (공간 좌표를 사용하여 트랙 일관성을 강제함).
  • 신선도 제어 (최근에 업데이트되지 않은 프로토타입으로의 할당을 억제).
• 프로토타입 업데이트(Prototype Update): 할당된 후, 프로토타입은 지속적인 요약 상태로서 업데이트됩니다:
  • 중심점(Centers): 키와 값의 중심($c_k, p_k$)은 지수 이동 평균(EMA)을 통해 업데이트됩니다.
  • 질량(Mass): 카운터($n_k$)가 흡수된 토큰의 수를 추적합니다.
  • 잔차 통계(Residual Statistics): 단순 평균화를 통한 독특한 단서의 손실을 방지하기 위해, ProtoKV는 잔차($r_K = K - c_k, r_V = V - p_k$)에 대한 곱 양자화(Product Quantization, PQ) 기반 히스토그램을 유지합니다. 이는 개별 토큰 코드를 저장하지 않고도 프로토타입 내부의 다양성을 포착합니다.
  • 유지보수(Maintenance): 뱅크는 유휴 프로토타입에 대한 질량 감소, 중복 프로토타입 병합, 빈 슬롯 재활용을 포함한 경량 유지보수 과정을 거칩니다.

3. 쿼리 시 인터페이스: 의사-토큰 합성(Pseudo-Token Synthesis)

쿼리 시점에 ProtoKV는 아키텍처 변경 없이 표준 어텐션 메커ole니즘에 원거리 메모리를 노출합니다.

• 의사-토큰(Pseudo-Tokens): 각 프로토타입은 $S$개의 의사-KV 토큰으로 합성됩니다. 이는 프로토타입의 중심점과 저장된 PQ 히스토그램에서 디코딩된 대표적인 잔차 패턴을 결합하여 구축됩니다.
• 질량 인식 편향(Mass-Aware Bias): 프로토타입에 의해 요약된 토큰의 다중성을 고려하기 위해, 로그 질량 편향($b_k = \log n_k$)이 어텐션 로짓(logits)에 추가됩니다. 이는 더 많은 증거를 나타내는 프로토타입이 비례적으로 더 강력한 영향력을 행사하도록 보장합니다.
• 고정 컨텍스트(Fixed Context): 최종 컨텍스트는 정확한 근접 윈도우 토큰과 제한된 수의 의사-토큰($L_{context} = W + K_{max} \cdot S$)으로 구성되어, 스트림 길이에 관계없이 일정한 쿼리 타임 지연 시간과 메모리 사용량을 보장합니다.

주요 기여

1. 원거리 메모리 메커니즘: 토큰 인스턴스 유지를 넘어, 먼 과거의 이력을 요약하기 위해 잔차 통계로 보강된 고정 용량의 시공간적 일관성을 가진 프로토타입 뱅크를 도입했습니다.
2. 의사-토큰 합성: 질량 인식 가중치를 가진 제한된 의사-KV 토큰을 합성하는 훈련 불필요(training-free) 방식을 제안하여, 일정한 쿼리 타임 풋프린트 하에서 표준 어텐션이 먼 과거의 증거에 접근할 수 있도록 했습니다.
3. 지연 쿼리 프로토콜: 변화하는 정답(ground truth)을 유지하면서 증가하는 쿼리 지연에 대한 SVU의 견고성을 평가하기 위한 회고적 쿼리 필터링 프로토콜을 제시했습니다.

실험 결과

ProtoKV는 LLaVA-OV-7B 및 Qwen2.5-VL-7B 백본을 사용하여 네 가지 스트리밍 비디오 벤치마크(RVS-Ego, RVS-Movie, OVO-Bench, StreamingBench)에서 평가되었습니다.

• 성능: 동일한 메모리 예산 하에서, ProtoKV는 슬라이딩 윈도우 베이스라인 및 토큰 유지 방식(예: InfiniPot-V)보다 우수한 성능을 보입니다. 긴 지연 구간에서 토큰 유지 베이스라인보다 최대 12.5 퍼센트 포인트 높은 정확도를 달 기록했습니다.
• 지연에 대한 견고성: 모든 방법이 쿼리 지연($\Delta$)이 증가함에 따라 성능이 저하되지만, ProtoKV는 훨씬 더 완만한 성능 저하 곡선을 보입니다. 성능 격차는 $\Delta$가 커질수록 더 벌어지며, 이는 요약 상태 접근 방식이 지속적인 사후 증거 업데이트 압력 하에서도 결정적인 단서를 더 잘 보존함을 입증합니다.
• 효율성: ProtoKV는 경쟁력 있는 쿼리 타임 첫 토큰 생성 시간(TTFT)을 유지하며, 리트리벌(retrieval) 오버헤드가 발생하는 오프로딩/리트리벌 기반 베이스라인(예: ReKV)보다 낮은 엔드 투 엔드 지연 시간을 보입니다.
• 오프라인 성능: 오프라인 비디오 이해 벤치마크(VideoMME, MLVU)에 적용했을 때도 ProtoKV는 최첨단 압축 방식들과 경쟁력 있는 성능을 유지하여, 스트리밍 시나리오 이외의 활용 가능성을 보여주었습니다.

의의 및 주장

본 논문은 ProtoKV가 스트리밍 비디오 이해의 근본적인 한계인 긴 지연 시간 상황에서의 토큰 유지 전략의 취약성을 해결한다고 주장합니다. 특정 토큰 인스턴스를 유지하는 것에서 먼 과거 이력의 요약 상태를 유지하는 것으로 전환함으로써, ProtoKV는 희소하고 결정적인 단서들이 여러 번의 업데이트에도 불구하고 희석되거나 덮어씌워지지 않고 생존할 수 있게 합니다.

저자들은 이 설계가 단순히 현재의 시각적 콘텐츠가 아니라 과거 사건의 발생 여부에 답을 구해야 하는 지연된 쿼리에 최적화되어 있음을 강조합니다. 결과에 따르면, 고정된 온디바이스 풋프린트 하에서 항상 작동하는 쿼리 불가지론적 유지 관리가 필요한 대화형 시스템의 경우, 먼 과거의 이력을 압축된 객체 중심 요약 상태로 표현하는 것이 슬라이딩 윈도우나 토큰 선택보다 더 효과적인 운영 지점임을 시사합니다. 본 연구는 지속적인 업데이트 압력 하의 안정적인 스트리밍 시스템을 위한 요약 상태 메모리의 가치를 강조합니다.