1. 연구 배경 및 문제 정의 (Problem)

비디오 - 언어 모델 (Video VLM) 의 급속한 발전은 막대한 계산 비용을 수반합니다. 비디오를 처리하려면 수백 개의 패치 토큰으로 분해된 많은 수의 프레임을 인코딩해야 하며, 이는 비전 트랜스포머 (ViT) 와 대형 언어 모델 (LLM) 모두에게 계산 부하를 가중시킵니다. 특히 어텐션 메커니즘의 $O(N^2)$ 복잡도로 인해 토큰 시퀀스가 길어질수록 메모리 사용량이 급증하고 훈련/추론 속도가 저하됩니다.

기존의 토큰 가지치기 (Token Pruning) 방법론은 다음과 같은 한계가 있었습니다:

• ViT 전/중단 (Pre-/In-ViT): 단일 모달 (단일 이미지) 작업에 최적화되어 있어, 비디오의 시간적 중복성 (temporal redundancy) 을 고려하지 않거나 VLM 의 다운스트림 작업에 적응하지 못함.
• ViT 후단 (Post-ViT): ViT 출력 후 LLM 입력 전에만 토큰을 제거함. 이 경우 ViT 자체가 모든 프레임을 처리해야 하므로 계산 병목 현상이 해결되지 않음. 또한 복잡한 텍스트 조건부 선택 메커니즘이 필요한 경우가 많음.

2. 제안 방법: STTS (Spatio-Temporal Token Scoring)

이 논문은 ViT 와 LLM 전체 아키텍처에 걸쳐 시각 토큰을 효율적으로 제거하는 경량 모듈인 STTS를 제안합니다. 텍스트 조건부 (text-conditioned) 나 토큰 병합 (merging) 없이, 엔드 - 투 - 엔드 (End-to-End) 학습이 가능한 것이 핵심입니다.

핵심 구성 요소 및 작동 원리

1. 이중 축 점수 매기기 (Dual-Axis Scoring Mechanism):
   • 공간적 중요도 (Spatial Saliency): LLM 의 다운스트림 작업 손실 (task loss) 을 통해 역전파되는 그래디언트를 학습하여, 각 프레임 내에서 중요한 토큰을 식별합니다.
   • 시간적 중복성 (Temporal Redundancy): 인접 프레임 간의 코사인 유사도 (Cosine Similarity) 를 기반으로 한 보조 손실 (Auxiliary Loss) 을 도입하여, 시간적으로 중복되는 배경 정보를 식별하고 제거합니다.
2. 아키텍처:
   • ViT 의 특정 레이어 (실험에서는 3 번째 레이어, $l=3$) 이후에 STTS 모듈을 삽입합니다.
   • 스코어러 (Scorer): 토큰 풀러 (Token Pooler) 와 3 계층 MLP 로 구성되며, 현재 프레임과 이전 프레임의 특징을 결합하여 토큰의 중요도 점수를 생성합니다.
   • 편향 주입 (Bias Injection): 생성된 점수의 로그 값을 다음 ViT 레이어의 어텐션 행렬에 편향 (Bias) 으로 주입하여, 공간적 중요도에 따라 토큰을 선택적으로 억제합니다.
3. 토큰 가지치기 및 패킹 (Pruning & Packing):
   • 점수가 낮은 토큰 (하위 $k\%$) 을 하드하게 제거합니다.
   • 패킹 알고리즘: 프레임별로 제거된 토큰 수가 불규칙하여 발생하는 희소 텐서 (sparse tensor) 문제를 해결하기 위해, 남은 토큰들을 밀집 텐서 (dense tensor) 로 재배치 (packing) 합니다. 이를 통해 실제 하드웨어 가속 (GPU 메모리 효율성 및 연산 속도) 을 달성합니다.

3. 주요 기여 (Key Contributions)

1. 통합 토큰 가지치기 모듈: ViT 와 LLM 전체에 걸쳐 토큰을 제거하는 경량 모듈로, 복잡한 아키텍처 변경이나 텍스트 기반 선택 없이 엔드 - 투 - 엔드 학습이 가능합니다.
2. 이중 축 점수 매기기 메커니즘: 다운스트림 그래디언트를 통한 공간적 중요도 학습과 보조 손실을 통한 시간적 중복성 정규화를 동시에 수행합니다.
3. 획기적인 효율성 향상: 시각 토큰의 50% 를 안전하게 제거하면서도 훈련 및 추론 효율을 **62%**까지 향상시켰습니다.
4. 확장성 (Scalability): 더 많은 프레임을 샘플링할수록 효율성 이득이 커지며, 테스트 시간 스케일링 (Test-Time Scaling) 을 적용하여 긴 비디오 QA 작업에서 추가적인 성능 향상 (0.5~1%) 을 달성했습니다.

4. 실험 결과 (Results)

• 성능: 13 개의 단/장기 비디오 QA 벤치마크에서 평균 성능은 0.7% 미만의 감소만 보였습니다. 특히 30% 가지치기 구간에서는 오히려 베이스라인보다 성능이 향상되기도 했습니다 (노이즈 제거 효과).
• 효율성:
  • 훈련/추론 속도: 50% 가지치기 시 128 프레임 환경에서 약 1.62 배의 속도 향상, 256 프레임 환경에서는 2.25 배 이상의 속도 향상을 기록했습니다. 프레임 수가 늘어날수록 이득이 커지는 것을 확인했습니다.
  • 메모리: 긴 비디오 처리 시 VRAM 한계에 도달하는 문제를 완화하여 더 긴 컨텍스트 처리가 가능해졌습니다.
• 비교 실험:
  • 학습된 스코어러 vs 휴리스틱: 단순한 코사인 유사도 기반 휴리스틱 방법보다 STTS 가 장기 비디오에서 더 우수한 성능을 보였습니다. (휴리스틱은 중요한 전경 객체를 잘못 제거하는 경향이 있음)
  • 보조 손실의 중요성: 보조 손실 (Temporal Auxiliary Loss) 없이 학습한 모델은 성능이 크게 저하되어, 시간적 중복성을 명시적으로 학습하는 것이 필수적임을 증명했습니다.
• 테스트 시간 스케일링 (TTS): 가지치기된 모델에 더 많은 프레임을 입력하여 (예: 64 프레임 → 128 프레임) 베이스라인과 동일한 토큰 예산을 사용했을 때, 베이스라인 대비 0.5~1% 의 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

STTS 는 비디오 VLM 의 효율성 병목 현상을 해결하는 간단하면서도 강력한 솔루션을 제공합니다.

• 구조적 간결성: 복잡한 토큰 병합이나 텍스트 조건부 모듈 없이, ViT 내부에서 직접 토큰을 선택하고 제거함으로써 전체 파이프라인의 계산 부하를 줄입니다.
• 실용성: 긴 비디오 이해 (Long Video Understanding) 에 필수적인 시간적 맥락을 유지하면서도, 불필요한 배경 정보를 제거하여 메모리 및 연산 비용을 획기적으로 절감합니다.
• 미래 지향성: 이 방법은 제한된 컴퓨팅 자원 환경에서도 고품질의 비디오 - 언어 모델을 배포할 수 있는 기반을 마련하며, 차세대 확장 가능한 비디오 이해 시스템의 표준으로 자리 잡을 잠재력을 가집니다.

요약하자면, STTS 는 공간적 중요도와 시간적 중복성을 동시에 학습하여 비디오 VLM 의 계산 효율성을 극대화하면서도 성능 저하를 최소화하는 통합형 토큰 가지치기 프레임워크입니다.