기술 요약: EarlyTom

문제 정의

비디오 대규모 언어 모델 (Video-LLMs) 은 비디오 이해 분야에서 강력한 능력을 입증했으나, 방대한 양의 시각 토큰을 처리하는 계산 비효율성으로 인해 실제 배포에 상당한 장벽에 직면해 있습니다. 최근 토큰 압축 방법들은 최소한의 정확도 손실로 낮은 토큰 유지 비율을 달성하지만, 주로 프리필링 (prefilling) 과정의 후기 단계 (비전 인코더 이후) 나 LLM 내부에서 작동합니다.

지연 시간 프로파일링은 중요한 병목 현상을 드러냅니다: 비전 인코딩 단계가 첫 번째 토큰 도달 시간 (TTFT) 의 상당 부분을 차지합니다. 베이스라인 모델에서 비전 인코딩은 TTFT 의 36.3% 를 차지합니다. LLM 프리필 지연 시간에 최적화된 최신 방법들 (예: HoliTom, VisionZip) 의 경우, 이러한 방법들이 비전 인코더를 최적화하지 않기 때문에 각각 55.8% 와 68.4% 로 그 비율이 상승합니다. 또한, 기존 압축 전략들은 종종 토큰 처리 중 상당한 계산 오버헤드를 도입하여 지연 시간을 더욱 증가시킵니다. 더 나아가, 표준 Top-K 토큰 선택 방법은 "어텐션 싱크 (attention sinks)"에 취약한데, 이는 콘텐츠와 관계없이 일관되게 불균형하게 높은 어텐션 점수를 끌어당기는 특정 토큰들을 의미하며, 이로 인해 편향된 압축과 동적 프레임에서의 의미 정보 손실이 발생할 수 있습니다.

방법론: EarlyTom

저자들은 비전 인코더 내부에서 초기에 압축을 수행하고 분리된 공간 선택 전략을 활용하도록 설계된 학습이 불필요한 토큰 압축 프레임워크인 EarlyTom을 제안합니다. 이 프레임워크는 두 가지 핵심 단계로 구성됩니다:

1. 내부 비전 인코더 프레임 병합 (시간적 압축)

이 단계는 인코딩 과정 중에 중복된 시각 정보를 압축하여 프로젝터나 LLM 에 도달하기 전 토큰 수를 줄입니다.

• 스트리밍 프레임 분할: 입력 비디오는 프레임 유사도에 기반하여 적응적으로 분할됩니다. 연속된 프레임 간의 코사인 유사도가 계산되고 지수 이동 평균 (EMA) 을 사용하여 부드럽게 처리됩니다. 부드럽게 처리된 유사도가 임계값 ($\tau_{seg}$) 이하로 떨어질 때 세그먼트 경계가 정의됩니다.
• 중간 프레임 병합: 각 세그먼트 내에서, 첫 번째와 마지막 프레임을 제외한 중간 프레임들은 이웃과 매우 유사하고 후속 쌍보다 서로 더 유사할 경우 병합됩니다.
• 가중치 프레임 병합: 병합된 프레임은 유사도 점수에 의해 결정된 가중치를 가진 프레임 특징의 가중치 융합을 통해 생성됩니다. 이는 병합된 표현이 시간적 중복성을 줄이면서 의미적으로 중요한 콘텐츠 주변에 집중되도록 보장합니다.

2. 분리된 공간 토큰 선택

어텐션 싱크로 인한 편향을 해결하고 토큰 수를 더욱 줄이기 위해, 이 방법은 프레임 병합 후 시스템 수준에서 공동 설계된 선택 전략을 사용합니다.

• 동적 vs 정적 분해: 병합된 프레임은 동적 (높은 판별력을 가진 세그먼트의 머리 및 꼬리 프레임) 과 정적 (중간 프레임) 집합으로 나뉩니다.
• 전역 Top-K 선택 (동적): 동적 프레임의 경우, 시간 차원 전반에 걸쳐 운동에 민감한 토큰을 보존하기 위해 토큰별 어텐션 점수를 기반으로 전역 Top-K 선택이 수행됩니다.
• 로컬 윈도우 Top-K 선택 (정적): 정적 프레임의 경우, 어텐션 싱크 편향이 선택을 지배하는 것을 방지하기 위해 프레임을 로컬 윈도우로 나눕니다. 각 윈도우 내에서 최대 어텐션 점수를 가진 토큰이 선택됩니다. 이는 원래 공간 분포를 보존하고 구조적 인자의 부정적인 영향을 완화합니다.
• 시스템 공동 설계: 효율성을 높이기 위해 계산 부하가 가벼운 정적 토큰 선택은 CPU 로 오프로딩되고, GPU 는 더 무거운 동적 토큰 선택을 처리하여 이종 컴퓨팅 자원을 활용합니다.

주요 기여

1. 내부 비전 인코더 프레임 병합: 인코딩 단계 중 중복된 시각 정보를 압축하는 메커니즘으로, 미미한 오버헤드로 시각 토큰을 효과적으로 줄이고 TTFT 를 크게 낮춥니다.
2. 분리된 토큰 선택: 프레임을 동적 및 정적 집합으로 분리하여 어텐션 싱크의 편향을 도입하지 않고 토큰을 줄이기 위해 다른 샘플링 방식 (전역 Top-K 대 로컬 윈도우 Top-K) 을 적용하는 전략입니다.
3. 최첨단 성능: LLaVA-OneVision-0.5B 및 7B 모델에 대한 광범위한 실험을 통해 EarlyTom 이 전체 토큰 베이스라인과 비교 가능한 정확도를 유지하면서 우수한 가속을 달성함을 입증했습니다.

실험 결과

단일 NVIDIA A100 GPU 에서 LLaVA-OneVision-7B 와 네 가지 벤치마크 (MVBench, EgoSchema, LongVideoBench, VideoMME) 를 사용하여 평가했습니다:

• 효율성: EarlyTom 은 10% 유지 비율에서 TTFT 를 최대 2.65 배 (889ms 에서 336ms 로) 줄이고, 전체 토큰 베이스라인 대비 FLOPs 를 최대 61% 감소시킵니다. 다양한 유지 비율 (10%–25%) 에서 처리량과 지연 시간 측면에서 다른 학습이 불필요한 방법들 (예: VisionZip, HoliTom, FastVID) 보다 일관되게 우수한 성능을 발휘합니다.
• 정확도: 이 방법은 경쟁력 있는 다운스트림 품질을 유지합니다. 10% 유지 비율에서 EarlyTom 은 평균 벤치마크 점수 56.2 (전체 토큰 베이스라인의 96.2%) 를 달성하여, 공격적인 가지치기 하에서 상당한 정확도 저하를 겪는 다른 방법들보다 우위를 점합니다.
• 일반화 능력: 이 접근 방식은 LLaVA-Video-7B 및 Qwen2.5-VL-7B 아키텍처에서 검증되어 정확도를 유지하면서 FLOPs 감소 및 TTFT 속도 향상에 일관된 개선을 보여줍니다.
• 애블레이션: 프레임 병합 또는 분리된 선택 전략 중 하나를 제거하면 성능이 저하되어 효율성과 충실도 균형을 위해 두 구성 요소 모두 필요함을 확인합니다.

의의

이 논문은 EarlyTom 이 후기 단계 (인코더 이후) 에서 초기 단계 (비전 인코더 내부) 로 압축 패러다임을 전환함으로써 Video-LLM 배포의 근본적인 병목 현상을 해결한다고 주장합니다. 추론 파이프라인에서 가장 시간이 많이 소요되는 구성 요소 (비전 인코딩) 를 직접 최적화하고 편향을 인식하는 공간 선택 전략을 도입함으로써, EarlyTom 은 모델 성능을 희생하지 않고 훨씬 빠른 추론 (낮은 TTFT) 과 더 높은 처리량을 가능하게 합니다. 이 연구는 컴퓨팅 자원이 제한된 실시간, 지연 시간에 민감한 생산 환경에서 Video-LLM 의 실제 배포를 위한 기반을 마련합니다.