기술 요약: OTT-Vid

문제 정의

비디오 대규모 언어 모델 (Video-LLMs) 이 더 길고 복잡한 비디오를 처리하도록 확장됨에 따라, 이들은 중요한 추론 병목 현상에 직면합니다: 프레임 전반에 걸친 시각적 토큰의 누적으로 인해 시퀀스 길이와 계산 비용이 급격히 증가합니다. 훈련이 불필요한 토큰 압축은 실용적인 해결책을 제공하지만, 기존 시계열 압축 방법은 두 가지 주요 한계를 겪습니다:

1. 과도한 유사성 의존: 현재 방법들은 주로 프레임 간 토큰 유사성이나 분할 휴리스틱에 의존합니다. 이들은 정보 가치가 없는 배경의 반복과 의미적으로 중요한 콘텐츠 (예: 정지된 객체) 의 지속성을 구분하지 못합니다. 결과적으로 높은 유사성은 종종 필수적인 시계열 증거의 공격적인 압축으로 이어져, 시간적 정합 (temporal grounding) 과 같은 지속 시간, 연속성, 이벤트 경계 감지가 필요한 작업의 성능을 저하시킵니다.
2. 정적 예산 할당: 기존 접근법은 압축을 할당 문제로 명시적으로 다루지 않습니다. 다양한 프레임 쌍의 가변적인 압축 가능성에 적응하지 못하는 균일한 압축 임계값이나 경직된 경계를 적용합니다. 이로 인해 매우 중복된 영역은 과소 압축되고, 중요한 시계열 증거를 포함하는 프레임은 과압축됩니다.

방법론: OTT-Vid

저자들은 OTT-Vid를 제안합니다. 이는 적응형 예산 할당을 갖춘 최적 수송 (Optimal Transport, OT) 문제로 시계열 토큰 압축을 공식화하는 훈련이 불필요한 프레임워크입니다. 이 방법은 두 개의 결합된 단계로 작동합니다:

1. 공간 가지치기 및 질량 할당

시계열 압축 전에 각 프레임은 프레임 내 중복성을 제거하기 위해 독립적인 공간 가지치기를 거칩니다.

• 선택: 중요도 가중치 부여 커버리지 목표가 대표성 토큰을 탐욕적으로 선택합니다. 이는 토큰이 중복된 클러스터로 붕괴되는 것을 방지하기 위해 의미적 중요도 (saliency) 와 대표성 (coverage) 을 균형 있게 맞춥니다.
• 질량 할당: "leave-one-out"전략이 유지된 각 토큰의 대체 불가능한 기여도를 정량화합니다. 토큰을 제거하면 원래 프레임의 표현이 크게 저하된다면, 해당 토큰은 중요하다고 간주됩니다.
• 역질량: 핵심적으로, 수송 질량 $m_t$는 토큰 중요도에 반비례하여 할당됩니다. 의미적으로 중요한 토큰은 더 작은 질량 (압축 저항) 을 받고, 정보가 적은 토큰은 더 큰 질량 (전송 용이) 을 받습니다. 이는 보존 우선순위를 OT 주변 제약 조건에 직접 인코딩합니다.

2. 시계열 압축을 위한 최적 수송

인접한 프레임 ($t$와 $t+1$) 간의 시계열 압축은 엔트로피 정규화된 OT 문제로 해결됩니다.

• 비용 함수: 수송 비용은 의미적 비유사성 (코사인 거리) 과 공간적 거리를 결합합니다. 혼합 계수 $\alpha_t$는 장면 운동에 따라 동적으로 적응합니다: 정적 장면에서는 공간적 국소성이 더 높은 가중치를 받아 시각적으로 유사하지만 공간적으로 먼 객체의 매칭을 방지하고, 동적 장면에서는 의미적 비유사성이 지배적이어서 더 큰 변위에서도 매칭을 허용합니다.
• 수송 계획: OT 문제를 풀면 토큰 대응 관계를 순위 매기는 결합 행렬 $P_t$가 도출됩니다. 높은 결합 값은 압축 (병합 또는 가지치기) 의 후보를 나타냅니다.
• 수송 난이도: 수송 계획의 총 비용 ($W_t$) 은 프레임 쌍의 "압축 가능성"에 대한 척도로 작용합니다. 낮은 $W_t$는 높은 중복성 (압축 용이) 을 의미하고, 높은 $W_t$는 고유한 시계열 증거의 존재를 의미합니다.

3. 적응형 예산 할당

이 프레임워크는 모든 인접 프레임 쌍에 대해 $W_t$를 기반으로 글로벌 압축 예산을 비균일하게 분배합니다.

• 역할당: 음의 소프트맥스를 사용하여, 수송 난이도가 낮은 쌍 (높은 중복성) 은 더 큰 압축 예산을 받고, 난이도가 높은 쌍 (낮은 중복성) 은 더 작은 예산을 받습니다.
• 실행: 압축은 병렬로 실행됩니다. 선택된 소스 토큰은 비용이 임계값 $\tau_c$ 미만이면 목적지와 병합되거나 가지치기됩니다. 연속된 프레임에 걸친 병합 체인은 전역 일관성을 보장하기 위해 union-find 알고리즘을 통해 해결됩니다.

주요 기여

1. 중요도 인식 시계열 압축: 이전 유사성 기반 방법과 달리 OTT-Vid 는 프레임 내 토큰 중요도를 시계열 압축 과정에 통합합니다. 중요한 토큰에 역질량을 할당함으로써, 유사성 기반 방법들이 일반적으로 폐기하는 지속 시간과 연속성에 대한 증거를 보존합니다.
2. 수송 기반 예산 할당: 이 논문은 수송 난이도 ($W_t$) 를 통해 각 프레임 쌍의 압축 가능성을 추정하는 원칙적인 방법을 제시합니다. 이는 비디오 콘텐츠의 특정 중복성 특성에 적응하는 동적이고 비균일한 예산 할당을 가능하게 합니다.
3. 통합 프레임워크: OTT-Vid 는 단일 최적 수송 공식화 내에서 토큰 수준의 압축 결정 (수송 계획을 통해) 과 쌍 수준의 예산 할당 (수송 난이도를 통해) 을 통합합니다.

실험 결과

저자들은 OTT-Vid 를 여섯 가지 벤치마크에서 평가했습니다: 네 가지 비디오 질문 답변 (VQA) 데이터셋 (MVBench, VideoMME, LongVideoBench, MLVU) 과 두 가지 비디오 시간적 정합 (VTG) 데이터셋 (Charades-STA, TimeLens 주석이 있는 ActivityNet-Captions).

• 성능 유지: Qwen2.5-VL-7B 백본에서 OTT-Vid 는 원래 토큰의 **10%**만 유지하면서도 압축되지 않은 VQA 성능의 **95.8%**와 VTG 성능의 **73.9%**를 유지합니다.
• 비교: 이는 최신 훈련 불필요한 베이스라인 (HoliTom, FastVID, FlashVID, UniComp) 을 일관되게 능가합니다. 성능 격차는 VTG 작업에서 가장 두드러지는데, 여기서 유사성 기반 방법들은 시계열 증거 손실로 인해 심각한 저하 (~50-60% 유지율로 하락) 를 겪습니다.
• 일반화: 이 방법은 다양한 Video-LLM 백본 (LLaVA-OneVision, LLaVA-Video) 과 다양한 토큰 유지 비율에서 견고성을 입증합니다.
• 효율성: OTT-Vid 는 피크 메모리 사용량이 다른 효율적인 방법들과 비교 가능하면서 Time-to-First-Token (TTFT) 에서 2.0 배의 속도 향상을 달성하여, 압축 오버헤드가 추론 이득을 상쇄하지 않음을 확인시켜 줍니다.

중요성 및 주장

이 논문은 OTT-Vid 의 주요 중요성이 시각적 유사성에서 의미적 지속성을 분리할 수 있는 능력에 있다고 주장합니다. 중요도 인식 질량을 갖춘 수송 문제로 시계열 압축을 취급함으로써, 이 방법은 이전 유사성 기반 휴리스틱이 실패했던 복잡한 시계열 추론 작업에 필요한 "증거"를 성공적으로 보존합니다.

저자들은 그들의 접근 방식이 훈련이 불필요하여 기존 사전 훈련된 Video-LLM 과 재훈련 없이 호환성을 보장한다고 강조합니다. 그들은 현재 방법이 초기 공간 가지치기 집합에서 병렬로 수송 계획을 계산하여 (이전 압축으로 인한 표현 변화 무시) 하지만, 이 설계 선택은 낮은 오버헤드와 단일 패스 효율성을 우선시한다고 지적합니다. 향후 작업은 수송 계획을 정교화하기 위해 순차적 실행을 탐구할 수 있지만, 이는 계산 비용을 증가시킬 것입니다.

요약하자면, OTT-Vid 는 토큰 중요도와 프레임 간 중복성 사이의 균형을 맞추는 이론적으로 근거된 적응형 메커니즘을 제공함으로써 장비디오 추론의 중요한 병목 현상을 해결하며, 공격적인 압축 하에서 시계열 충실도를 보존하는 데 기존 방법들을 크게 능가합니다.