Stateful Token Reduction for Long-Video Hybrid VLMs

이 논문은 하이브리드 아키텍처 (어텐션과 Mamba 블록이 혼합된 구조) 를 가진 장시간 비디오 VLM 에서 레이어별 토큰 중요도 변화에 대응하기 위해, 점진적 토큰 축소 스케줄과 언어 인식 점수 메커니즘을 제안하여 압축률 25% 에서도 기존 성능을 유지하면서 전처리 속도를 3.8~4.2 배 향상시키는 방법을 제시합니다.

핵심

긴 영상을 빠르게 이해하는 AI: "상태를 기억하는 토큰 정리법"

이 논문은 긴 영상을 보고 질문에 답하는 AI(비전 - 언어 모델)가 너무 많은 정보를 처리하느라 느려지는 문제를 해결한 연구입니다. NVIDIA 연구팀이 제안한 방법은 마치 "현명한 도서관 사서"가 방대한 책장 속에서 필요한 책만 골라내는 것과 비슷합니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "영상은 너무 길고, AI 는 머리가 아파요"

긴 영상을 AI 가 볼 때, 영상은 수천 개의 작은 조각 (토큰) 으로 나뉩니다.

• 비유: 2 시간짜리 영화를 10,000 개의 프레임으로 자른 뒤, AI 에게 "이 영화에서 주인공이 언제 웃었나요?"라고 물어본다고 상상해 보세요.
• AI 는 모든 프레임을 하나하나 꼼꼼히 읽으려다 보니, 시간이 너무 오래 걸리고 (지연), 메모리도 부족해집니다.
• 기존 방법들은 "중요하지 않은 프레임은 버려라"라고 했으나, 너무 일찍 버리면 나중에 중요한 정보를 놓쳐서 정답을 못 맞추는 문제가 있었습니다.

2. 새로운 발견: "AI 의 뇌 구조가 달라졌어요"

최근 AI 는 두 가지 종류의 뇌 세포를 섞어 사용합니다.

1. 전통적인 Transformer: 모든 정보를 한 번에 보고 판단합니다. (기억력이 짧음)
2. **하이브리드 **(Mamba 포함) 정보를 흐르면서 기억합니다. (기억력이 길고 상태를 유지함)

연구팀은 이 두 구조의 차이를 분석했고, 놀라운 사실을 발견했습니다.

• 전통적 AI: "중요한 것"이 처음과 나중이 똑같지 않습니다. 초반에 중요해 보였던 게 나중엔 중요하지 않을 수도 있고, 그 반대도 있습니다. 그래서 처음에 무작정 버리면 큰일이 납니다.
• **하이브리드 AI **(이 연구의 대상) Mamba 라는 부품 덕분에, 정보를 '압축'해서 기억합니다. 즉, 일부 프레임을 버려도 AI 가 그 정보를 '숨겨둔 상태'로 가지고 있을 수 있습니다.

3. 해결책: "점진적인 정리법"과 "스마트 사서"

이 연구는 두 가지 핵심 전략을 제안합니다.

A. "점진적인 정리법" (Low-to-High Reduction)

• 비유: 여행 가방을 싸는 상황입니다.
  • 기존 방법: 출발하기 전에 (영상의 시작 부분) 짐을 80% 버리고 가버립니다. 나중에 "아, 그거 필요했네!"라고 해도 이미 버린 겁니다.
  • 이 연구의 방법: 처음엔 짐을 많이 챙겨서 (중요한지 아직 확실하지 않으니), **여행이 진행될수록 **(AI 가 영상을 더 깊이 이해할수록)
  • 초반엔 정보를 충분히 쌓아두고, 나중에서야 불필요한 것을 덜어내는 방식입니다.

B. "스마트 사서" (언어 기반 점수 매기기)

• AI 가 영상을 볼 때, 사용자의 질문 (예: "개는 언제 나타났나요?") 에 맞춰 중요도를 매깁니다.
• 전통적 부분: 질문과 영상이 겹치는 부분을 찾아냅니다.
• **Mamba 부분 **(새로운 기술) Mamba 는 질문과 영상이 겹치는지 직접 보지 않아도, 내부적인 흐름을 분석해서 "이 부분이 질문과 관련 있을 것 같다"는 추측 점수를 매길 수 있습니다.
  • 마치 사서가 책 제목만 보고 "이 책은 질문과 관련 있을 거야"라고 추측하는 것과 같습니다.

4. 결과: "빠르면서도 똑똑해짐"

이 방법을 적용한 결과:

• 속도: 영상을 처리하는 속도가 약 4 배 빨라졌습니다. (기존에 4 초 걸리던 게 1 초로 줄어듦)
• 정확도: 정보를 75% 버리고 25% 만 남겼는데도, 정답률은 거의 떨어지지 않았습니다.
• 추가 학습: 아주 적은 양의 추가 학습만 시켜주면, 오히려 원래보다 더 잘 맞추기도 했습니다.

5. 요약: 왜 이 연구가 중요한가요?

이 논문은 "**AI 의 뇌 구조 **(하이브리드)"를 이해하고, 그에 맞춰 "정보를 정리하는 타이밍"을 바꾼 것입니다.

• 기존: "일찍 버려라" → 실수 많음.
• 이 연구: "처음엔 잘 챙겨두고, 나중에서야 정리해라" → 빠르고 정확함.

이 기술 덕분에 앞으로 수시간짜리 영상도 실시간으로 분석하거나, 스마트폰 같은 작은 기기에서도 긴 영상을 빠르게 이해하는 AI 를 만들 수 있는 길이 열렸습니다.

---

한 줄 요약:

"긴 영상을 볼 때, AI 가 정보를 너무 일찍 버리지 않고, 처음엔 많이 챙겨두다가 나중에서야 불필요한 것을 정리하게 해서 속도는 4 배 빨라지고 정확도는 그대로 유지하게 만든 혁신적인 방법입니다."

기술 요약

논문 개요

이 논문은 긴 비디오를 처리하는 비전 - 언어 모델 (VLM) 의 추론 비용 문제를 해결하기 위해, **하이브리드 아키텍처 (Mamba-Transformer)**를 위한 상태 기반 (Stateful) 토큰 축소 (Token Reduction) 기법을 제안합니다. 기존 방법론이 주로 순수 Transformer 기반 모델에 맞춰져 있어, 상태 공간 모델 (Mamba) 이 포함된 하이브리드 구조에서는 비효율적이거나 정확도 저하를 초래한다는 점을 지적하고, 이를 극복하는 새로운 전략을 제시합니다.

1. 문제 정의 (Problem)

• 긴 비디오의 계산 비용: 긴 비디오는 수만 개의 비전 토큰을 생성하여, 특히 'prefilling' 단계에서 추론 비용과 지연 시간 (Latency) 을 급격히 증가시킵니다.
• 기존 방법의 한계:
  • 기존 토큰 축소 (Pruning/Merging) 기법은 대부분 Dense Transformer 아키텍처에 최적화되어 있습니다.
  • 하이브리드 아키텍처 (Attention 블록과 선형 시간 상태 공간 블록인 Mamba 가 교차된 구조) 에서는 토큰의 중요도가 레이어에 따라 급격히 변할 수 있어, 초기 레이어에서 공격적으로 토큰을 제거하면 중요한 정보가 영구적으로 손실될 수 있습니다.
  • Mamba 블록은 순환 상태 (Recurrent State) 를 통해 정보를 누적하지만, 이를 고려한 토큰 평가 및 축소 스케줄링 방법이 부재했습니다.

2. 핵심 분석 및 통찰 (Key Analysis & Insights)

저자들은 하이브리드 모델과 Transformer 모델의 토큰 축소 행동을 두 가지 속성으로 분석했습니다.

1. 레이어별 희소성 (Sparsity): 각 레이어에서 쿼리 관련 정보를 담고 있는 토큰의 비율. (두 모델 모두 특정 토큰 집합에 중요도가 집중되어 있음을 확인).
2. 중요도 안정성 (Importance Stability): 레이어를 거치며 토큰의 중요도 순위가 유지되는 정도.
   • 발견: 초기 레이어에서는 토큰 중요도 순위가 불안정하며, 레이어 간 상관관계가 낮습니다.
   • 차이점:
     • Transformer: 토큰을 제거하면 정보가 영구적으로 소실됨 (Dropping). 따라서 초기 레이어의 불안정한 중요도 기반 제거는 치명적입니다.
     • Hybrid (Mamba 포함): Mamba 블록의 **순환 상태 (Recurrent State)**가 이전 토큰의 정보를 압축하여 누적합니다. 따라서 토큰을 제거하더라도 상태 (State) 를 통해 정보가 일부 유지됩니다 (Compression). 이는 하이브리드 모델이 공격적인 축소에도 더 잘 견딜 수 있는 이유입니다.

3. 제안 방법 (Methodology)

저자들은 하이브리드 아키텍처의 특성을 활용한 점진적 축소 (Progressive Reduction) 전략을 제안합니다.

A. 쿼리 조건부 토큰 중요도 평가 (Query-Conditioned Token Scoring)

• Attention 레이어: 기존 텍스트 - 비전 어텐션 (Text-to-Vision Attention) 가중치를 기반으로 중요도 점수를 계산합니다.
• Mamba 레이어: 선택적 스캔 (Selective Scan) 업데이트를 풀어서 **암시적 어텐션 프록시 (Implicit-Attention Proxy)**를 유도합니다.
  • Mamba 의 상태 전이 행렬과 입력/출력 프로젝션을 결합하여, 텍스트 쿼리에 대한 비전 토큰의 정렬 점수 (Alignment Score) 를 계산합니다.
  • 이를 통해 어텐션이 아닌 블록에서도 쿼리 기반 토큰 선택이 가능해집니다.

B. 저-고 점진적 축소 스케줄 (Low-to-High Progressive Reduction Schedule)

• 전략: 초기 레이어에서는 토큰을 많이 유지하고, 깊은 레이어로 갈수록 점진적으로 토큰 수를 줄입니다.
• 이유: 초기 레이어에서는 중요도 평가가 불안정하고 Mamba 상태가 충분히 누적되지 않았으므로, 공격적인 제거를 피합니다. 깊은 레이어로 갈수록 상태 공간이 정보를 압축하여 축적하므로, 이때부터는 더 공격적으로 토큰을 제거해도 성능 저하가 적습니다.
• 구현: 시그모이드 (Sigmoid) 또는 단계적 감쇠 (Step Decay) 함수를 사용하여 레이어 깊이에 따른 토큰 유지 비율을 조절합니다.

4. 실험 결과 (Results)

NVIDIA 의 **Nemotron-Nano-V2 VL 12B (Hybrid)**와 **Qwen3-VL 8B (Transformer)**를 비교 실험했습니다.

• 성능 (Accuracy):
  • 하이브리드 모델: 25% 토큰 유지 (75% 축소) 조건에서도 **테스트 시간 (Test-time)**에는 베이스라인과 유사한 정확도를 유지하며, 훈련 시간 (Train-time) 미세 조정을 거치면 오히려 베이스라인보다 성능이 향상되었습니다 (VideoMME, LongVideoBench, LVBench 등 모든 벤치마크에서 평균 1.3~1.5 점 향상).
  • Transformer 모델: 공격적인 축소 (25% 유지) 시 정확도가 크게 저하되었으며, 특히 초기 레이어 축소 시 성능이 급격히 떨어졌습니다.
• 속도 (Speedup):
  • 하이브리드 모델에서 모든 레이어에 적용 시, Prefilling 속도 (TTFT) 가 3.8 배 ~4.2 배 향상되었습니다.
  • 긴 비디오 (256 프레임 이상) 에서 메모리 부족 (OOM) 없이 확장성이 입증되었습니다.
• 지연 시간 (Latency):
  • 256 프레임 입력 시 LLM 단계 지연 시간이 2.7 초에서 1.1 초로 단축되었으며, 전체 지연 시간의 82% 를 차지하던 LLM 부하가 57% 로 감소했습니다.

5. 주요 기여 (Key Contributions)

1. 하이브리드 아키텍처 분석: Mamba-Transformer 하이브리드 모델에서 토큰 중요도의 레이어 간 불안정성과 상태 공간의 '압축' 효과를 규명했습니다.
2. 유니버설 스코어링 메커니즘: 어텐션 블록과 Mamba 블록 모두에서 쿼리 기반 토큰 중요도를 계산할 수 있는 통합 메커니즘 (Mamba 에 대한 암시적 어텐션 프록시) 을 제안했습니다.
3. 점진적 축소 스케줄: 초기 레이어의 정보 손실을 방지하고 상태 누적의 이점을 활용하기 위해, 레이어 깊이에 따라 토큰 제거 비율을 조절하는 새로운 스케줄링 전략을 제시했습니다.
4. 실제 적용 효과: 긴 비디오 벤치마크에서 공격적인 토큰 축소 (25% 유지) 하에도 높은 정확도를 유지하면서 4 배 이상의 속도 향상을 달성했습니다.

6. 의의 및 결론 (Significance)

이 연구는 긴 비디오 이해 (Long-Video Understanding) 분야에서 계산 효율성을 극대화하는 새로운 패러다임을 제시합니다. 기존 Transformer 중심의 토큰 축소 접근법이 하이브리드 모델에서는 실패할 수 있음을 지적하고, 상태 공간 모델 (Mamba) 의 메모리 특성을 역이용하여 정보를 손실 없이 압축하는 방법을 증명했습니다. 이는 향후 긴 컨텍스트를 다루는 멀티모달 모델의 실용적 배포와 저비용 추론에 중요한 기여를 할 것으로 기대됩니다.