기술 요약: CAPA – 효율적인 대규모 시각-언어 모델을 위한 기여도 인식 프루닝 및 FFN 근사화

1. 문제 정의

대규모 시각-언어 모델(LVLM)은 고해상도 이미지를 처리할 때 수천 개의 시각적 토큰을 처리하는 데 발생하는 높은 비용으로 인해 상당한 계산 병목 현상에 직면해 있습니다. 시각적 토큰 프루닝(visual token pruning)이 주요 가속 전략으로 등장했지만, 기존 방법들은 토큰의 중요도를 식별하기 위해 원시 어텐션 점수(raw attention scores)나 그로부터 파생된 휴리스틱 지표에 과도하게 의존합니다. 저자들은 어텐션 점수가 연관된 값 벡터(value vector)의 크기를 무시하기 때문에 실제 토큰 중요성을 나타내는 불완전한 대리 지표라고 주장합니다.

또한, 현재의 접근 방식들은 시각 토큰과 텍스트 토큰을 동일하게 취급하는 경아가 있습니다. 그러나 최근의 증거들은 LVLM 백본이 이러한 모달리티를 서로 다르게 처리한다는 것을 보여줍니다. 구체적으로, FFN(Feed-Forward Networks)에서의 시각적 토큰에 대한 중복성(redundancy)은 여전히 미개척 영역으로 남아 있습니다. LLM 도메인의 선행 연구에서는 FFN 근사화(예: 희소 근사, MoE)를 탐구해 왔으나, 이러한 기술들이 LVLM 내 시각 토킨의 특정 중복 패턴으로 확장되지는 않았습니다.

2. 경험적 분석 및 주요 관찰

저자들은 LVLM(LLaVA-1.5, Qwen2.5-VL, InternVL3)에 대해 경험적 분석을 수행하여 시각적 토큰의 동작을 해체하였으며, 이를 통해 두 가지 결정적인 관찰을 도출했습니다.

1. 시각적 어텐션 싱크(Attention Sinks)의 이질성:

   • 전통적인 "어텐션 싱크"(불균형적으로 높은 어텐션 질량을 가진 토큰)는 기능적으로 균일하지 않습니다.
   • 새로운 지표인 **어텐션 기여도(Attention Contribution)**를 사용하여, 저자들은 두 가지 유형의 싱크를 구분했습니다.
     • 유형 I (확률 덤프, Probability Dumps): 어텐션 가중치는 높지만 값 벡터의 크기는 낮은 토큰입니다. 이들은 과도한 확률 질량을 받아내는 수동적인 수용체 역할을 하며 잔차 연결(residual stream)에 거의 기여하지 않습니다. 따라서 프루닝하기에 안전합니다.
     • 유형 II (구조적 앵커, Structural Anchors): 높은 어텐션 가중치와 거대한 값 벡터 크기를 모두 가진 토큰입니다. 이들은 모델 성능을 유지하는 데 필수적이며, 제거될 경우 표현 붕괴(representational collapse)를 초래합니다.
   • 결론: 어텐션 점수만을 신뢰하는 것은 이 두 유형을 구분하지 못하여, 필수적인 토큰을 실수로 프루닝하게 만듭니다.

2. 모달리티 의존적 FFN 중복성:

   • 저자들은 입력 은닉 상태 $x$와 잔차 출력 $x + \text{FFN}(x)$ 사이의 코사인 유사도를 계산하여 FFN 변환의 선형성을 측정했습니다.
   • 연구 결과: 이미지 토큰은 대부분의 중간 레이어에서 근사 항등 사상(near-identity mapping, 유사도 > 0.96)을 보였으며, 이는 FFN 변환이 시각적 데이터에 대해 효과적으로 선형적이고 중복적임을 나타냅니다. 반면, 텍스트 토큰은 초기 및 중간 레이어에서 상당한 비선형성을 보였습니다.
   • 결론: 중간 레이어에서 시각 토큰을 위한 값비싼 $O(d^2)$ FFN 연산은 표현의 무결성을 해치지 않으면서 경량 선형 근사로 대체될 수 있습니다.

3. 방법론: CAPA 프레임워크

이러한 발견을 바탕으로, 저자들은 CAPA(Contribution-Aware Pruning and FFN Approximation)라는 이중 전략 프레임워크를 제안합니다.

A. 기여도 인식 프루닝 (Contribution-Aware Pruning)

원시 어텐션 점수를 사용하는 대신, CAPA는 각 시각 토큰 $i$에 대한 **어텐션 기여도 점수($C_i$)**를 계산합니다. 이 점수는 출력 행렬에 의해 투영된 값 벡터의 크기에 따라 어텐션 확률에 가중치를 부여합니다.

• 공식: $C_i = \left\| \sum_{h=1}^{H} A_{i,h} (x_i W_{V,h}) W_{O,h} \right\|_2$
• 메커니즘: 생성 과정 동안, 시스템은 가장 높은 기여도 점수를 가진 상위-$k$ 시각 토큰을 동적으로 선택하여 키-값 캐시(key-value cache)에 유지하고, 기여도가 미미한 토큰은 프루닝합니다. 이를 통해 "구조적 앵커"는 보존하고 "확률 덤프"는 제거함으로써 보장합니다.

B. 중복성 식별 및 FFN 근사화 (Redundancy Identification & FFN Approximation)

높은 중복성을 가진 것으로 식별된 레이어(입력-출력 코사인 유사도가 임계값 $\eta$를 초과하는 레이어)에 대해, CAPA는 표준 밀집(dense) FFN을 경량 **하다마르 곱(Hadamard product)**으로 대체합니다.

• 근사화: 잔차 블록 $y^{(l)} = x^{(l)} + \text{FFN}(x^{(l)})$은 $y^{(l)} \approx x^{(l)} \odot \alpha$로 근사되며, 여기서 $\alpha$는 학습된 요소별 스케일링 벡터입니다.
• 복잡도 감소: 이는 레이어의 계산 복잡도를 $O(d^2)$에서 $O(d)$로 줄입니다.
• 최적화: 최적의 스케일링 벡터 $\alpha$는 반복적인 경사 하강법을 피하기 위해 캘리브레이션 세트(calibration set)에 대한 최소제곱법(OLS) 솔루션을 사용하여 분석적으로 도출됩니다.

4. 실험 결과

이 프레임워크는 세 가지 LVLM 백본(LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B)에 대해 여섯 가지 벤치마크(VQAv2, MMBench, MMVet, TextVQA, SEED-Bench, MMMU)에서 평가되었습니다.

• 베이스라인 대비 성능: CAPA는 모든 벤치마크에서 기존의 프루닝 베이스라인(FastV, Feather, Uniform pruning)보다 일관되게 우수한 성능을 보였습니다. 특히 프루닝에 가장 민감한 "전이 레이어(transition layers)"에서 CAPA는 바닐라(Vanilla) 모델에 근접한 성능을 유지한 반면, 베이스라인들은 상당한 성능 저하를 겪었습니다.
• 강건성: CAPA는 높은 희소성(sparsity) 수준에서도 탁월한 강건성을 입증했습니다. 베이스라인들이 50% 이상의 프루닝에서 급격한 성능 하락을 경험한 반면, CAPA는 75% 프루닝에서도 바닐라 모델에 가까운 정확도를 유지했습니다.
• 효율성 이득:
  • 토큰 프루닝: 시퀀스 길이에 따른 이차(quadratic) 비용을 감소시켰습니다.
  • FFN 근사화: 중복되는 레이어에서 지배적인 $O(d^2)$ 비용을 제거했습니다.
  • 총체적 영향: 결합된 접근 방식은 성능을 유지하면서 총 FLOPs를 78% 감소시켰습니다.
• 어블레이션 연구 (Ablation Studies):
  • 로짓 발산 (Logit Divergence): 어텐션 기여도에 기반한 프루닝은 특히 긴 형태의 생성(long-form generation)에서 어텐션 점수 기반 프루닝보다 더 낮은 헬링거 거리(Hellinger distance, 바닐라 모델의 출력 분포에 더 가까움)를 보였습니다.
  • FFN 교체: 단순히 FFN 레이어를 건너뛰는 것은 성능 저하를 일으켰으나, 하다마르 곱으로 교체하는 것은 손실된 성능의 대부분을 성공적으로 회복시켜 선형성 가설을 검증했습니다.

5. 의의 및 주장

본 논문은 CAPA가 시각적 토큰이 어텐션 메커니즘과 FFN 처리 모두에서 다르게 행동한다는 점을 인식함으로써 LVLM 최적화의 중요한 간극을 해결한다고 주장합니다.

• 프루닝 패러다임의 전환: 저자들은 어텐션 점수만으로는 토큰 선택에 불충분하다고 주장합니다. 어텐션 기여도를 도입함으로써, 어떤 시각적 토큰이 기능적으로 필요한지를 식별하기 위한 더 충실한 신호를 제공합니다.
• 모달리티 특화 최적화: 본 연구는 LVLM의 효율성 향상을 위해서는 시각 및 텍스트 모달리티에 대한 별도의 전략이 필요함을 강조합니다. 특히, 시각적 FFN의 선형적 중복성 식별은 텍스트 처리에 적용할 수 없는 구조적 단순화를 가능하게 합니다.
• 효율성-성능 트레이드오프: CAPA는 유리한 트레이드오프를 달성하여, 모델의 강건성이나 작업 성능을 저해하지 않으면서도 상당한 추론 가속(78% FLOP 감소)을 제공하며, 기존의 토큰 프루닝 전용 베이스라인들을 능가합니다.

6. 한계점

저자들은 CAPA가 고정된 사전 학습된 백본에서 작동하는 사후(post-hoc) 전략임을 인정합니다. 따라서 학습된 토큰 선택과 모델 계산을 공동으로 학습하여 얻을 수 있는 이점을 완전히 활용할 수는 없습니다. 향-후 연구 방향으로 다음을 제안합니다:

• 적응형 토큰 유지를 위한 학습된 컨트롤러 설계.
• 시각적 토큰에 맞춤화된 효율적인 FFN 모듈을 갖춘 시각-언어 백본 개발.
• 다양한 분포 변화(distribution shifts)에 걸친 이러한 전략의 평가 및 학습된 정책의 해석 가능성 조사.