ApET: Approximation-Error Guided Token Compression for Efficient VLMs

이 논문은 주의를 사용하지 않고 근사 오차를 기반으로 시각 토큰을 압축하여 VLM 의 효율성을 극대화하면서도 성능을 유지하거나 향상시키는 'ApET' 프레임워크를 제안합니다.

핵심

🎨 그림을 보는 AI 의 '눈'을 가볍게 만드는 혁신: ApET

최근 AI 는 그림을 보고 설명하거나, 영상을 보고 이야기를 나누는 등 매우 똑똑해졌습니다. 하지만 이 똑똑한 AI 들은 **너무 많은 '눈' (데이터 조각)**을 가지고 있어서, 무거운 짐을 지고 달리는 것처럼 계산이 느리고 비쌉니다.

이 논문은 **"불필요한 눈은 버리고, 진짜 중요한 눈만 남기자"**는 아이디어를 제시합니다. 기존 방법들의 문제점을 해결하고, AI 를 더 빠르고 똑똑하게 만드는 **'ApET'**이라는 새로운 기술을 소개합니다.

---

1. 🚧 기존 방법의 문제: "누가 가장 주목받았나?" (Attention)

기존에 그림을 줄이는 방법들은 **"누가 가장 주목받았나?"**를 기준으로 중요하지 않은 눈을 버렸습니다.

• 비유: 교실 수업에서 선생님이 "누가 가장 집중하고 있는 학생인가?"를 보고, 집중하지 않는 학생들을 쫓아내는 것과 비슷합니다.
• 문제점:
  1. 위치 편향 (Positional Bias): 선생님이 마지막에 앉은 학생들 (문장 뒤쪽) 을 더 잘 보는 경향이 있어서, 앞쪽의 중요한 학생이 잘못해서 쫓겨날 수 있습니다.
  2. 무거운 짐: "누가 집중했는지" 확인하려면 AI 가 모든 학생을 일일이 살펴봐야 하므로, 오히려 더 느려집니다. (빠른 기술인 'FlashAttention'과도 잘 안 맞습니다.)

2. 💡 ApET 의 아이디어: "이걸 설명할 수 있을까?" (Approximation Error)

저자들은 생각을 바꿨습니다. **"이 학생 (데이터 조각) 을 다른 학생들만으로 설명할 수 있을까?"**를 기준으로 삼은 것입니다.

• 핵심 비유: "레고 블록 재구성"
  • imagine 하세요. 복잡한 레고 성을 만들었습니다.
  • 이제 이 성을 가장 중요한 블록 10 개만 가지고 다시 만들어 보라고 합니다.
  • ApET 의 방식:
    1. 핵심 블록 (Basis Tokens) 선택: 가장 중요한 레고 블록 10 개를 먼저 뽑습니다.
    2. 재구성 시도: 나머지 블록들을 이 10 개만 가지고 흉내 내려고 합니다.
    3. 오차 확인 (Approximation Error):
       • "와, 이 블록은 10 개만으로는 전혀 흉내 내기 어렵네!" → 이건 진짜 중요한 정보야! (버리지 않음)
       • "어? 이 블록은 10 개만으로도 쉽게 흉내 낼 수 있네?" → 이건 중복된 정보야. (버림)

이 방법은 **"누가 주목받았나?"**를 보지 않고, **"정보 자체의 가치"**를 직접 계산하므로, 위치 편향 없이 정확한 정보를 남깁니다.

3. 🚀 ApET 의 놀라운 성과

이 방법을 적용하자 AI 의 성능이 어떻게 변했을까요?

• 이미지 이해: 원래 성능의 95% 이상을 유지하면서, 필요한 데이터 양을 89%나 줄였습니다. (차량 10 대를 1 대만 남긴 것과 같은 효율!)
• 영상 이해: 오히려 성능이 100% 이상으로 좋아졌습니다!
  • 이유: 영상에는 "소음"이나 "중복된 장면"이 너무 많습니다. ApET 는 이 불필요한 소음을 걸러내서 (Denoising), AI 가 진짜 중요한 순간에만 집중하게 해줍니다. 마치 시끄러운 파티에서 중요한 대화만 골라 듣는 것과 같습니다.
• 속도: 기존 방법들은 AI 의 내부 구조를 건드리느라 느렸지만, ApET 는 FlashAttention이라는 최신 가속 기술과 완벽하게 호환되어, AI 가 훨씬 빠르게 대답하게 합니다.

4. 📝 한 줄 요약

"ApET 는 AI 가 그림을 볼 때, '누가 주목받았는지'가 아니라 '어떤 정보가 진짜 독특한지'를 계산해서, 불필요한 데이터를 과감히 잘라내면서도 오히려 더 똑똑하고 빠르게 만들었습니다."

이 기술은 앞으로 스마트폰이나 로봇 같은 자원이 제한된 기기에서도 고화질 AI 를 쉽게 쓸 수 있게 해주는 열쇠가 될 것입니다.

기술 요약

논문 개요: ApET (Approximation-Error Guided Token Compression)

이 논문은 비전 - 언어 모델 (VLM) 의 효율성을 극대화하기 위해 제안된 새로운 토큰 압축 프레임워크인 ApET를 소개합니다. 기존 방법론들이 가진 한계를 극복하고, 정보 이론적 관점에서 시각적 토큰의 중요도를 평가하여 불필요한 연산을 제거하는 것을 목표로 합니다.

1. 문제 제기 (Problem)

• 계산 비용의 과다: 고해상도 이미지나 긴 비디오 시퀀스를 처리하는 VLM 은 방대한 수의 시각적 토큰 (Visual Tokens) 을 생성합니다. 이로 인해 자기 주의 (Self-Attention) 메커니즘의 이차적 복잡도로 인해 계산 비용이 급증하고 추론 효율성이 떨어집니다.
• 기존 방법론의 한계:
  • 주의 메커니즘 의존성: 기존 토큰 압축 기술 (SparseVLM, VisionZip 등) 은 주로 [CLS] 토큰의 주의 맵 (Attention Map) 이나 텍스트 - 비전 교차 주의 (Cross-Attention) 가중치를 기반으로 불필요한 토큰을 식별하고 제거합니다.
  • 위치 편향 (Positional Bias): 주의 메커니즘은 시퀀스 후반부에 위치한 토큰 (텍스트 토큰에 가까운 토큰) 에 대해 과도한 가중치를 부여하는 경향이 있어, 실제 정보량이 적더라도 중요한 토큰이 잘못 제거되거나 그 반대의 문제가 발생할 수 있습니다.
  • FlashAttention 비호환성: 최신 효율적 주의 구현체인 FlashAttention은 메모리 접근 패턴을 최적화하여 속도를 높이지만, 주의 가중치 (Attention Weights) 를 명시적으로 제공하지 않습니다. 따라서 기존 방법론들은 FlashAttention 과 호환되지 않아, 실제 배포 시 가속화 효과를 얻기 어렵습니다.

2. 방법론 (Methodology)

저자들은 주의 가중치에 의존하지 않고, 정보 이론 (Information-Theoretic) 관점에서 토큰의 중요도를 평가하는 ApET를 제안합니다.

• 핵심 아이디어: 시각적 토큰 집합 $V$에서 부분 집합 $S$를 선택할 때, $S$가 $V$의 정보를 얼마나 잘 보존하는지 (상호 정보량 $I(V; S)$) 를 최대화하는 것이 목표입니다. 정보 이론에 따르면, 조건부 엔트로피 $H(V|S)$를 최소화하는 것이 필요하며, 이는 **재구성 오차 (Reconstruction Error)**를 최소화하는 것과 연결됩니다.
• 구체적 프로세스:
  1. 토큰 선택 (Token Selection): 전체 시각적 토큰 집합에서 소수의 '기저 토큰 (Basis Tokens)' 집합 $B$를 샘플링합니다. (저자는 FPS, DPC, Random 등 다양한 샘플링 전략을 비교하여 FPS 를 기본으로 채택했습니다.)
  2. 선형 근사 및 오차 계산 (Linear Approximation & Error Computation): 나머지 토큰들을 기저 토큰들의 선형 결합으로 재구성합니다. 이때 발생하는 **재구성 오차 (Approximation Error)**를 계산합니다.
     • 오차가 작음 = 토큰이 기저 토큰으로 잘 설명됨 = 정보량이 적음 (제거 대상).
     • 오차가 큼 = 토큰이 고유한 정보를 담고 있음 = 중요도 높음 (유지 대상).
  3. 토큰 병합 (Token Merging): 중요도가 낮은 토큰을 제거하되, 정보 손실을 막기 위해 제거된 토큰을 가장 유사한 유지된 토큰과 평균 병합 (Average Merging) 합니다.
• FlashAttention 호환성: 이 과정은 토큰 표현 자체에 대한 선형 연산만 수행하므로, FlashAttention 이 제공하는 내부 가중치에 의존하지 않아 완벽하게 호환됩니다.

3. 주요 기여 (Key Contributions)

1. 정보 이론적 관점의 도입: VLM 의 시각적 토큰 평가에 대해 처음으로 정보 이론적 접근 (재구성 오차 기반) 을 적용하여, 외부 신호 (주의 가중치) 없이 토큰 중요도를 평가하는 새로운 패러다임을 제시했습니다.
2. ApET 프레임워크 개발: 위치 편향을 제거하고 FlashAttention 과 호환되는 효율적인 토큰 압축 방법론을 제안했습니다.
3. 광범위한 실험 검증: 이미지 및 비디오 이해 태스크에서 기존 최첨단 방법론들을 능가하는 성능을 입증하고, 모델 아키텍처 (LLaVA, Qwen2.5-VL 등) 에 따른 일반화 능력을 확인했습니다.

4. 실험 결과 (Results)

• 이미지 이해 (Image Understanding):
  • LLaVA-1.5: 시각적 토큰을 88.9% (576 개 $\rightarrow$ 64 개) 까지 압축했을 때, 기존 방법론 중 가장 성능이 좋았던 VisionZip 대비 평균 정확도가 **2.5%p 더 높은 95.2%**를 달성했습니다.
  • Qwen2.5-VL: 가변 해상도 입력에서도 일관된 성능을 보였으며, 90% 압축 시에도 92.1% 의 평균 정확도를 기록했습니다.
• 비디오 이해 (Video Understanding):
  • Video-LLaVA: 2048 개의 토큰을 256 개 (약 87.5% 압축) 로 줄였을 때, 오히려 원본 모델보다 100.4% 의 성능을 기록했습니다. 이는 비디오 시퀀스 내의 노이즈나 불필요한 토큰이 제거되면서 모델의 성능이 오히려 향상되었음을 시사합니다.
• 효율성 (Efficiency):
  • FlashAttention 통합: ApET 는 FlashAttention 과 결합하여 LLaVA-1.5 에서 총 추론 시간을 1.46 배, 프리필링 (Prefilling) 시간을 1.38 배 단축했습니다.
  • Qwen2.5-VL 성능: 기존 방법론들이 Qwen2.5-VL 에서 주의 가중치 재계산으로 인해 효율이 떨어지는 반면, ApET 는 추가 오버헤드 없이 1.30 배의 속도 향상을 달성했습니다.

5. 의의 및 결론 (Significance)

• 실용적 배포 가능성: ApET 는 FlashAttention 과 같은 최적화된 커널과 호환되므로, 실제 VLM 배포 시 추론 속도를 획기적으로 개선할 수 있습니다.
• 편향 제거: 주의 메커니즘의 위치 편향을 제거함으로써, 시퀀스 내 모든 위치의 토큰을 공정하게 평가하여 더 강건한 (Robust) 토큰 선택을 가능하게 합니다.
• 모델 무관성 (Model Agnostic): 특정 모델의 내부 구조나 중간 결과에 의존하지 않으므로, 다양한 VLM 아키텍처에 쉽게 적용 가능합니다.

결론적으로, ApET 는 VLM 의 계산 효율성과 성능을 동시에 달성하기 위한 획기적인 솔루션으로, 고해상도 이미지 및 장시간 비디오 처리가 필요한 실제 응용 분야에서 큰 잠재력을 가지고 있습니다.