HiDrop: Hierarchical Vision Token Reduction in MLLMs via Late Injection, Concave Pyramid Pruning, and Early Exit

이 논문은 MLLM 의 계층적 특성을 반영하여 시각 토큰을 90% 까지 압축하면서도 성능을 유지하고 학습 속도를 1.72 배 가속화하는 새로운 효율성 프레임워크 'HiDrop'을 제안합니다.

핵심

📖 배경: AI 가 겪는 '이미지 과부하' 문제

지금의 AI(예: LLaVA) 는 이미지를 볼 때, 이미지를 아주 작은 조각 (패치) 으로 잘게 쪼개서 '토큰 (정보 조각)'이라는 형태로 처리합니다.

• 문제점: 텍스트는 한 문장이 10 개의 토큰이면 되지만, 고화질 이미지는 수백 개의 토큰이 필요합니다.
• 비유: AI 가 책을 읽을 때는 한 장 한 장 천천히 읽지만, 이미지를 볼 때는 100 장의 사진을 한 번에 다 펼쳐놓고 모든 페이지를 꼼꼼히 읽으려다 보니 머리가 터질 듯하고 시간이 너무 오래 걸립니다.

기존 방법들은 "중요하지 않은 페이지를 조금씩 잘라내자"라고 했지만, 잘못된 타이밍에 자르거나 너무 경직된 규칙을 써서 오히려 AI 가 멍청해지거나 효율이 떨어지는 문제가 있었습니다.

---

🚀 HiDrop 의 세 가지 혁신 전략

HiDrop 은 AI 의 뇌가 어떻게 이미지를 처리하는지 관찰한 뒤, 세 가지 똑똑한 전략을 도입했습니다.

1. 늦은 주입 (Late Injection): "일단 기다렸다가 투입하자"

• 기존의 오해: AI 의 첫 번째 층 (얕은 층) 에서부터 이미지를 바로 처리해야 한다고 생각했습니다.
• HiDrop 의 발견: 사실 AI 의 첫 번째 층은 이미지를 처리하기보다, 단순히 정보를 전달하는 '통로' 역할만 합니다. 여기서 이미지를 처리하는 건 시간 낭비입니다.
• 비유: 택배 센터를 생각해보세요. 택배 (이미지) 가 도착하자마자 바로 분류하는 게 아니라, 가장 먼저 도착하는 '문서 (텍스트)'만 먼저 처리하고, 그 다음에야 택배가 들어올 준비가 된 **적절한 시점 (중간 층)**에 택배를 투입합니다.
• 효과: 불필요한 초기 작업을 생략해서 에너지를 아낍니다.

2. 오목한 피라미드 가지치기 (Concave Pyramid Pruning): "초반에 과감하게, 후반에 조심스럽게"

• 기존의 오해: 모든 층에서 똑같은 비율로 (예: 10% 씩) 이미지를 잘라냈습니다.
• HiDrop 의 발견:
  • 중간 층: 이미지와 텍스트가 만나는 '융합'이 일어나는 곳입니다. 여기서 중요하지 않은 정보 (冗余) 가 가장 많이 발견됩니다.
  • 전략: 융합이 시작되는 초반에는 과감하게 쓸모없는 조각을 대거 버리고, 나중에는 조심스럽게 중요한 것만 남깁니다.
• 비유: 수프를 끓일 때 생각해보세요. 처음에 재료 (이미지 조각) 를 다 넣으면 너무 많지만, 끓이다 보면 불필요한 건 가라앉고 핵심 맛만 남습니다. HiDrop 은 이 '핵심 맛'만 남기 위해 처음에 아주 과감하게 건더기를 제거하고, 나중에 아주 조금씩만 다듬는 방식입니다.

3. 조기 퇴장 (Early Exit): "이미지 작업은 여기서 끝내자"

• HiDrop 의 발견: 중간 층에서 이미지와 텍스트가 충분히 섞여 '이해'가 완성되면, 나머지 깊은 층에서는 더 이상 이미지가 필요 없습니다. AI 는 이제 텍스트만 보고 추론을 하면 됩니다.
• 비유: 요리사가 레시피 (텍스트) 를 보고 요리법을 설명할 때, 이미 재료를 다 섞고 요리가 끝난 상태라면 더 이상 식자재 (이미지) 를 테이블 위에 올려둘 필요가 없습니다. 식자재를 치우고 요리사만 남으면 됩니다.
• 효과: AI 가 깊게 생각할 때 이미지는 이미 사라져 있어, 계산량이 급격히 줄어듭니다.

---

🛠️ 기술적 뒷받침 (실제 작동 원리)

이론만 좋으면 안 되죠? 실제 구현을 위해 HiDrop 은 세 가지 기술을 썼습니다.

1. 영구적인 위치 표시 (Persistent Position Encoding):
   • 이미지를 잘라내면 순서가 꼬일 수 있습니다. HiDrop 은 각 조각에 고유한 번호 (ID) 를 미리 부여해 둡니다. 잘라내도 번호는 그대로 유지되어, AI 가 "아, 이 조각은 원래 5 번째였구나"라고 기억할 수 있게 합니다.
2. 유연한 선택 (Differentiable Top-K):
   • "어떤 조각을 버릴까?"를 결정할 때, AI 가 스스로 학습하며 가장 좋은 선택을 하도록 부드러운 학습 방식을 썼습니다. (딱딱한 규칙 대신 AI 가 스스로 판단하게 함)
3. 병렬 처리:
   • 이미지 처리와 텍스트 처리를 동시에 진행할 수 있게 해서, 기다리는 시간을 없앴습니다.

---

🏆 결과: 얼마나 좋아졌나요?

• 압축률: 시각 정보 (이미지 조각) 를 약 90% 이상 줄였습니다. (예: 576 개에서 64 개로)
• 성능: 이렇게 많이 줄였는데도, 원래 AI 의 정확도는 거의 떨어지지 않았습니다. (98% 이상 유지)
• 속도: 학습 속도는 약 1.7 배 빨라졌고, 추론 (답변 생성) 속도도 훨씬 빨라졌습니다.

💡 요약

HiDrop 은 **"AI 가 이미지를 볼 때, 처음부터 끝까지 모든 조각을 다 보지 않아도 된다"**는 사실을 발견했습니다.

1. 처음엔 이미지가 필요 없으니 보류하고,
2. 중간엔 쓸모없는 건 대거 버리고,
3. 나중엔 이미지가 필요 없으니 아예 치워버립니다.

이처럼 AI 의 뇌 구조에 맞춰 작업을 재배치함으로써, 더 빠르고 효율적인 AI 를 만드는 길을 열었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 멀티모달 대규모 언어 모델 (MLLM) 은 비전 토큰 (시각 정보) 과 텍스트 토큰을 통합하여 처리합니다. 그러나 비전 인코더는 고해상도 이미지 처리 시 텍스트에 비해 훨씬 많은 토큰을 생성하며, Transformer 의 자기 주의 (Self-Attention) 메커니즘은 토큰 수에 대해 이차적 (Quadratic) 으로 계산 비용이 증가합니다. 이는 MLLM 의 학습 및 추론 속도를 저해하는 주요 병목 현상입니다.
• 기존 방법의 한계: 기존 점진적 비전 토큰 가지치기 (Progressive Vision Token Pruning) 방법들은 두 가지 근본적인 오해를 바탕으로 설계되었습니다.
  1. 얕은 층 (Shallow Layers) 의 오해: 기존 연구는 초기 층이 다중모달 융합에 필수적이라고 가정하여 이를 보존했습니다. 그러나 HiDrop 은 초기 층이 실제로는 시각 토큰을 거의 변형하지 않는 '수동적인 전달자 (Propagators)' 역할을 하며, 의미 있는 융합은 깊은 층에서 시작됨을 발견했습니다.
  2. 경직된 가지치기 일정 (Rigid Schedules): 기존 방법들은 층에 관계없이 고정된 비율로 토큰을 제거하는 경직된 피라미드 구조를 사용합니다. 이는 실제 정보 흐름이 층마다 비균일하다는 점 (중간 층에서 융합이 활발하고 깊은 층에서는 시각 정보가 불필요해짐) 을 반영하지 못해 효율성과 정확도 간의 최적 균형을 달성하지 못합니다.

2. 제안 방법: HiDrop (Methodology)

HiDrop 은 MLLM 의 계층적 처리 동역학 (Hierarchical Processing Dynamics) 에 맞춰 토큰 가지치기를 재설계한 프레임워크입니다.

A. 핵심 전략: 3 단계 계층 구조

1. Late Injection (늦은 주입):
   • 원리: 시각 토큰이 실제로 의미 있는 융합 (Fusion) 을 시작하는 시점까지 얕은 층을 완전히 우회합니다.
   • 구현: 시각 토큰을 모델의 첫 번째 층이 아닌, 융합이 활발해지는 특정 층 (예: 9 층) 에서만 텍스트 토큰과 합쳐서 주입합니다. 이는 초기 층의 계산 낭비를 제거합니다.
2. Concave Pyramid Pruning (오목한 피라미드 가지치기):
   • 원리: 중간 층 (Middle Layers) 에서는 시각 정보의 융합이 가장 활발하고 중복성 (Redundancy) 이 높은 구간입니다. HiDrop 은 이 구간에서 초기에는 급격히, 후기에는 완만하게 토큰을 제거하는 오목한 (Concave) 감소 곡선을 적용합니다.
   • ILVAS (Inter-Layer Visual Attention Similarity): 어떤 층에서 가지치기를 수행할지 결정하기 위해, 인접 층 간의 시각적 어텐션 분포 유사성을 측정하여 토큰 중요도가 안정적으로 평가되는 '필터링 층 (Filtering Layers)'을 자동으로 식별합니다.
   • Differentiable Top-K: 하드 Top-K 선택 대신 미분 가능한 Top-K 연산자를 사용하여, 학습 과정에서 토큰 선택을 최적화하고 정보 손실을 최소화합니다.
3. Early Exit (조기 종료):
   • 원리: 중간 층에서 융합이 완료된 후, 깊은 층 (Deep Layers) 은 언어 기반 추론이 주를 이루며 시각 토큰의 직접적인 입력이 불필요해집니다.
   • 구현: 특정 층 (예: 25 층) 이후에는 남은 모든 시각 토큰을 제거하고 텍스트 스트림만으로 추론을 계속합니다.

B. 구현 최적화 (Implementation Challenges)

• 지속적 위치 인코딩 (Persistent Position Encoding): 동적인 토큰 주입/제거로 인한 위치 인코딩 불일치를 방지하기 위해, 시각 토큰에 고정된 위치 ID 를 부여하고 가지치기 중에도 이를 유지합니다.
• FlashAttention 호환성: 토큰 선택을 주 어텐션 계산과 분리된 경량 보조 패스로 처리하여, FlashAttention 과 같은 효율적인 커널을 유지하고 숨겨진 오버헤드를 제거합니다.
• 병렬 분리 (Parallel Decoupling): 주입 전까지 텍스트만 처리하는 동안 시각 인코더와 프로젝션을 병렬로 실행하여 학습/추론 지연 시간을 단축합니다.

3. 주요 기여 (Key Contributions)

1. MLLM 처리 동역학에 대한 새로운 통찰: 얕은 층이 수동적 전달자이며, 깊은 층은 언어 중심 추론을 수행함을 실증적으로 증명하여 기존 가지치기 방법의 근본적 오류를 지적했습니다.
2. HiDrop 프레임워크 제안: Late Injection, Concave Pyramid Pruning, Early Exit 을 결합하여 MLLM 의 계층적 특성에 맞춘 최적의 토큰 축소 전략을 제시했습니다.
3. 최적화 기술: ILVAS 기반 필터링 층 선정, 미분 가능한 Top-K 선택, 그리고 FlashAttention 호환성을 갖춘 효율적인 구현을 통해 이론적 효율을 실제 가속도로 전환했습니다.

4. 실험 결과 (Results)

• 성능: LLaVA-1.5-7B 모델을 기준으로 시각 토큰을 약 90% (576 개 → 64 개) 줄였음에도 불구하고, 11 개 주요 벤치마크 (MMEP, MMB, GQA 등) 에서 기존 모델과 동등하거나 매우 근접한 성능 (Baseline 대비 98.3%~96.5% 유지) 을 달성했습니다.
• 효율성:
  • 학습 가속: 학습 시간을 1.72 배 단축 (159.3 시간 → 94.4 시간) 했습니다.
  • 추론 가속: FLOPs 를 88.9% 감소시켰으며, 프리필 (Prefill) 지연 시간을 63.6ms 에서 32.6ms 로 줄였습니다.
• 비교: 기존 최첨단 방법 (PDrop 등) 보다 훨씬 공격적인 가지치기 비율 (약 4.8 배 더 많은 토큰 제거) 을 달성하면서도 정확도 하락은 미미했습니다.

5. 의의 및 결론 (Significance)

HiDrop 은 MLLM 의 효율성을 높이기 위한 단순한 기술적 트릭을 넘어, 멀티모달 모델이 정보를 어떻게 계층적으로 처리하고 통합하는지에 대한 본질적인 이해를 바탕으로 설계되었습니다. 이 연구는 불필요한 계산 단계를 제거하고 모델의 실제 동작 원리에 부합하는 동적 토큰 관리 방식을 제시함으로써, 향후 더 빠르고 확장 가능한 멀티모달 아키텍처 개발의 새로운 기준 (State-of-the-art) 을 제시합니다.

---

요약: HiDrop 은 MLLM 의 초기 층을 우회하고 (Late Injection), 중간 층에서는 적응적으로 토큰을 줄이며 (Concave Pyramid Pruning), 깊은 층에서는 시각 정보를 완전히 제거 (Early Exit) 하여, 90% 의 토큰 압축률을 달성하면서도 성능 저하 없이 학습 속도를 1.72 배 향상시킨 혁신적인 방법론입니다.