Sparsity Forcing: Reinforcing Token Sparsity of MLLMs

이 논문은 효율성과 정확도를 공동 보상으로 활용하는 강화학습 기반의 'Sparsity Forcing' 프레임워크를 제안하여, 멀티모달 대규모 언어 모델의 토큰 양을 정확도 저하 없이 최대 75% 까지 줄이고 추론 속도와 메모리 효율을 획기적으로 개선합니다.

핵심

🎒 "스파서티 포싱 (Sparsity Forcing)": AI 의 '가방 정리'를 도와주는 새로운 방법

이 논문은 멀티모달 대형 언어 모델 (MLLM, 이미지와 비디오를 보고 대답하는 AI) 이 너무 무거워서 느리고 비싸다는 문제를 해결하는 방법을 소개합니다. 핵심 아이디어는 **"AI 가 불필요한 정보를 버리고, 정말 중요한 것만 챙겨서 대답하게 만드는 것"**입니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "AI 는 왜 이렇게 무겁고 느릴까요?"

상상해 보세요. AI 가 고해상도 사진을 보거나 긴 동영상을 분석할 때, 마치 수만 개의 조각난 퍼즐 조각을 한 번에 모두 손에 쥐고 있는 것과 같습니다.

• 기존 AI 는 이 퍼즐 조각들 중 90% 가 실제로는 쓸모없는 '빈 조각'인데도, 모두 다 챙겨서 계산합니다.
• 그래서 AI 는 가방 (메모리) 이 너무 무거워져서 움직이느라 지치고, 답을 내는 속도가 매우 느려집니다.

기존 방법들은 AI 가 "아, 이 조각은 쓸모없네"라고 스스로 알아서 버리게 하려고 했지만, AI 는 너무 조심스러워서 여전히 50% 이상의 조각을 들고 다닙니다. 더 많이 버리면 (예: 90% 버리기) 정답을 못 맞추는 경우가 생깁니다.

2. 해결책: "스파서티 포싱 (Sparsity Forcing)"이란 무엇인가요?

이 논문은 **"강제적인 정리 (Forcing)"**를 통해 AI 를 훈련시키는 새로운 방법을 제안합니다.

🎒 비유: "여행 가방 정리 대회"

이 방법은 AI 를 여행 가방을 정리하는 학생으로 상상해 보세요.

1. 상황: 학생 (AI) 이 여행 (질문) 에 나갑니다. 가방에는 100 개의 물건 (토큰/정보) 이 들어있습니다.

2. 기존 방식: 학생은 "아마 이거 필요할 거야"라고 생각하며 50 개만 버립니다. 하지만 가방은 여전히 무겁습니다.

3. 새로운 방식 (스파서티 포싱):

   • 선생님은 학생에게 **"10 번의 시뮬레이션"**을 시킵니다.
   • 1 번 시뮬레이션: 90% 만 버리고 가세요. (정답이 나옴)
   • 2 번 시뮬레이션: 50% 만 버리고 가세요. (정답이 나옴)
   • 3 번 시뮬레이션: 95% 를 버리고 가세요. (정답이 안 나옴)
   • 4 번 시뮬레이션: 80% 를 버리고 가세요. (정답이 나옴)

4. 학습 과정 (보상 시스템):

   • 선생님은 학생에게 **"가방이 가장 가볍으면서도 정답을 맞춘 시나리오"**를 칭찬합니다 (보상).
   • 반면, "가방이 무거운데 정답을 맞췄거나", "가방은 가볍지만 정답을 틀린 시나리오"는 꾸짖습니다 (패널티).
   • 이 과정을 반복하면 학생은 **"어떤 물건은 정말 필요 없고, 어떤 건 꼭 챙겨야 한다"**는 것을 스스로 깨닫게 됩니다.

이것이 바로 **강화 학습 (RL)**을 이용한 '스파서티 포싱'입니다. AI 가 스스로 가장 효율적인 '가방 정리법'을 찾아내도록 훈련시키는 것입니다.

3. 이 방법의 놀라운 성과

이 방법을 적용한 결과, AI 의 변화는 다음과 같습니다.

• 📉 가방 무게 75% 감소: AI 가 들고 다니는 정보 (토큰) 를 기존 20% 수준에서 75% 까지 줄여도 정답률은 거의 떨어지지 않습니다.
  • 비유: 100 개의 물건 중 75 개를 버려도, 여행에 필요한 핵심 물건만 딱 챙겨서 오히려 더 가볍고 빠르게 이동합니다.
• ⚡ 속도 3.3 배 빨라짐: 불필요한 계산이 사라져서 답변 속도가 3 배 이상 빨라졌습니다.
• 💾 메모리 3 배 절약: 긴 동영상을 분석할 때 필요한 메모리 공간이 3 배나 줄어듭니다.

4. 왜 이 방법이 특별한가요?

• 기존 방법 (SFT): 교사가 정답을 알려주며 "이건 버려, 이건 챙겨"라고 일일이 가르치는 방식입니다. 하지만 실제 상황 (시험) 과는 달라서 효과가 제한적입니다.
• 이 방법 (RL): AI 가 스스로 여러 번 시도해보고, "어떤 조합이 가장 효율적인가?"를 스스로 경험하며 배웁니다. 마치 시험을 치기 전에 모의고사를 여러 번 치고 실력을 키우는 것과 같습니다.

5. 결론: "더 가볍게, 더 똑똑하게"

이 논문은 AI 가 불필요한 정보에 시간을 낭비하지 않고, 핵심 정보에만 집중하도록 훈련시키는 방법을 제시합니다.

마치 명품 가방을 정리할 때, 쓸모없는 잡동사니는 과감히 버리고 가장 중요한 명품 아이템들만 깔끔하게 정리하는 것과 같습니다. 그 결과 AI 는 더 가볍게, 더 빠르게, 그리고 똑똑하게 작동하게 됩니다.

이 기술이 상용화되면, 우리가 스마트폰이나 태블릿에서 고화질 영상을 실시간으로 분석하거나 복잡한 질문을 할 때, 배터리도 덜 소모되고 훨씬 빠르게 응답받을 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

배경:
멀티모달 대규모 언어 모델 (MLLM) 은 이미지 캡셔닝, 시각적 질문 응답 (VQA) 등 다양한 분야에서 뛰어난 성능을 보이지만, 고해상도 이미지나 긴 비디오를 처리할 때 시각 인코더가 생성하는 **과도한 시각 토큰 (visual tokens)**으로 인해 계산 비용과 메모리 사용량이 급증합니다.

기존 방법의 한계:

• 수동적 희소성 (Passive Sparsity): 기존 희소 어텐션 (Sparse Attention) 방법들 (예: FastV, ZipVL 등) 은 모델이 이미 가지고 있는 내재적 희소성을 활용하여 불필요한 토큰을 제거합니다. 그러나 이 방식은 예산 (토큰 수) 을 약 50% 수준으로 줄이는 데 그치며, 더 낮은 예산 (예: 10~20%) 으로 낮추면 정확도가 급격히 떨어지는 한계가 있습니다.
• 강제적 희소성 (Enforced Sparsity) 의 문제:
  • 학습 가능한 희소 어텐션: MOBA, NSA 와 같은 방법들은 고정된 희소 패턴을 사전에 정의하거나 처음부터 학습 (Training from scratch) 을 요구합니다. 이는 입력, 레이어, 학습 단계의 동적 변화를 무시하며, 기존 잘 학습된 MLLM 에 적용하기 어렵습니다.
  • 정규화 기반 접근: 어텐션 맵의 날카로움 (Sharpness) 을 유도하는 정규화 항을 사용하는 방법들은 '프록시 목적함수 (Proxy Objective)'를 최적화할 뿐, 실제 토큰 예산을 직접 제어하거나 엔드 - 투 - 엔드 (End-to-End) 토큰 절감으로 이어지지 않는 경우가 많습니다.
  • SFT 의 불일치: 기존 방법들은 주로 SFT (Supervised Fine-Tuning) 환경에서 정답 토큰에 기반하여 희소성을 강제하므로, 추론 시 생성된 출력과 불일치가 발생하여 실제 효율성 향상이 제한됩니다.

---

2. 제안 방법: Sparsity Forcing (Methodology)

이 논문은 강화 학습 (Reinforcement Learning, RL) 기반의 포스트 트레이닝 (Post-training) 프레임워크인 Sparsity Forcing을 제안합니다. 이 방법은 토큰 절감과 정확도를 동시에 최적화하는 GRPO (Group Relative Policy Optimization) 알고리즘을 활용합니다.

핵심 구성 요소:

1. 정책 모델 (Policy Model) 과 참조 모델 (Reference Model):

   • 정책 모델 ($\pi_\theta$): 희소 어텐션 (예: ZipVL) 이 적용된 MLLM. 토큰을 동적으로 선택합니다.
   • 참조 모델 ($\pi_{ref}$): 고정된 파라미터를 가진 표준 MLLM (일반 어텐션 사용). 학습의 안정성과 작업 충실도 (Task Fidelity) 를 유지하기 위해 사용됩니다.

2. 다중 예산 롤아웃 (Multi-budget Rollouts):

   • 각 질문 (Query) 에 대해 $N$개의 독립적인 롤아웃을 수행합니다.
   • 각 롤아웃은 적응형 토큰 예산 (top-p 샘플링 임계값 $p$) 을 무작위로 설정하여 생성됩니다.
   • 이를 통해 "어떤 최소한의 토큰 비율이 정답을 유지하는 데 필요한가?"를 동적으로 탐색합니다.

3. 공동 보상 함수 (Joint Reward Function):

   • 성능 보상 ($r_{per}$): 정답 여부 (Binary: 1 또는 0).
   • 효율성 보상 ($r_{eff}$): 토큰 감소 비율 ($1 - \tau$, $\tau$는 유지된 토큰 비율).
   • 그룹 내 비교 (Group-wise Contrast): 그룹 내에서 정답을 맞춘 롤아웃들 중 더 효율적인 (더 적은 토큰 사용) 것을 긍정적 이득 (Positive Advantage) 으로, 정답을 못 맞추거나 비효율적인 것을 부정적 이득으로 처리합니다.
   • 중요한 전략: 그룹 내에 정답이 하나도 없는 경우 효율성 보상을 무시하여, 모델이 무조건 토큰을 줄이는 극단적 정책으로 수렴하는 것을 방지합니다.

4. 최적화 (GRPO):

   • 그룹 내 각 샘플의 이득 (Advantage) 을 정규화하여 정책 업데이트에 활용합니다.
   • KL 발산 항을 통해 참조 모델과의 편차를 제어하여 성능 저하를 최소화합니다.

---

3. 주요 기여 (Key Contributions)

1. 명시적 토큰 희소성 강화 프레임워크: MLLM 의 추론 효율성을 극대화하기 위해 RL 기반의 포스트 트레이닝 방법인 'Sparsity Forcing'을 제안했습니다.
2. 엔드 - 투 - 엔드 효율성 - 성능 최적화: 토큰 절감을 프록시 목적이 아닌, **명시적인 공동 보상 (Joint Reward)**으로 정의하여 배포 (Deployment) 와 정렬된 희소성을 달성했습니다. 아키텍처 변경이나 처음부터의 학습 없이 기존 모델에 적용 가능합니다.
3. 실제적인 효율성 증대: 13 개의 이미지 및 비디오 벤치마크에서 Qwen2-VL/Qwen2.5-VL 모델의 토큰 감소 비율을 20% 에서 75% 까지 향상시켰으며, 정확도 하락은 최소화했습니다.

---

4. 실험 결과 (Results)

벤치마크:

• 7 개 이미지 태스크 (MME, MMBench, MMStar, ChartQA 등)
• 6 개 비디오 태스크 (VideoMME, MLVU, VideoMMMU 등)
• HallusionBench (할루시네이션 강건성 평가)

성능 비교:

• 토큰 효율성: 기존 방법 (ZipVL 등) 이 약 80% 의 토큰을 유지하는 반면, Sparsity Forcing 은 **약 25% 수준 (약 75% 감소)**으로 토큰을 줄여도 유사한 정확도를 유지했습니다.
  • 예: Qwen2.5-VL-7B 에서 평균 점수는 73.8 (Full) 에서 73.6 (Sparsity Forcing) 으로 거의 변화 없으며, 토큰 비율은 100% → 24.7% 로 감소.
• 비교 대상 대비 우위:
  • MOBA/Sharpness Loss: 25% 토큰 비율에서 성능이 크게 저하됨 (평균 점수 66~67 대 Sparsity Forcing 의 72.8).
  • Minference: 유사한 정확도를 내지만 Sparsity Forcing 이 더 적은 토큰 (29.6% vs 46.1%) 으로 달성.
  • FastV/VisionZip: 50% 토큰 사용 시에도 Sparsity Forcing 보다 낮은 성능을 보임.

시스템 효율성:

• 메모리 사용량: 긴 컨텍스트 (200k 토큰) 에서 FlashAttention-2 대비 약 3 배 감소.
• 추론 속도: 최대 3.3 배 가속화.
• 강건성: 낮은 토큰 예산 하에서도 할루시네이션 (HallusionBench) 이 크게 증가하지 않아 핵심 증거를 잘 보존함을 확인.

---

5. 의의 및 결론 (Significance)

이 논문은 MLLM 의 추론 효율성을 획기적으로 개선할 수 있는 새로운 패러다임을 제시합니다.

• 동적 적응성: 고정된 패턴이 아닌, 입력과 레이어에 따라 동적으로 토큰을 선택하는 RL 기반 접근법은 극단적인 토큰 감소 상황에서도 정확도를 유지할 수 있게 합니다.
• 배포 친화적: 학습 과정과 추론 과정이 동일한 토큰 가지치기 (Pruning) 정책과 KV 캐시 관리를 공유하므로, 실제 환경에서의 예측 가능한 효율성 향상을 보장합니다.
• 확장성: 다양한 모델 크기 (3B, 7B) 와 긴 컨텍스트 (Video) 에서 일관된 효과를 입증하여, 고해상도 멀티모달 애플리케이션의 실용성을 높입니다.

결론적으로, Sparsity Forcing은 MLLM 이 가진 계산 자원의 낭비를 줄이면서도 성능을 유지하는 '효율성 - 정확도 트레이드오프'를 최적화하는 강력한 도구로, 향후 긴 컨텍스트 멀티모달 모델의 실용적 배포에 중요한 기여를 할 것으로 기대됩니다.