Rethinking Visual Token Reduction in LVLMs Under Cross-Modal Misalignment

이 논문은 텍스트 신호에 의존하는 기존 시각 토큰 축소 방식의 한계를 지적하고, 시각적 주의 메커니즘만을 활용하여 학습 없이도 계산 효율성을 크게 높이면서도 성능을 유지하는 'VisionDrop' 프레임워크를 제안합니다.

핵심

🎒 비유: "여행 가방을 어떻게 챙길까?"

생각해 보세요. AI 가 이미지를 분석할 때는 마치 거대한 여행 가방을 들고 여행을 떠나는 것과 같습니다.

• 기존 방식 (LVLM): AI 는 이미지를 아주 작은 조각 (패치) 수백 개로 잘게 쪼개서 가방에 넣습니다. 마치 "이 사진 속의 나뭇잎 하나하나, 구름 한 조각까지 다 챙겨야겠다!"라고 생각하며 가방을 가득 채우는 거죠.
• 문제점: 가방이 너무 무거워집니다. AI 가 이 무거운 가방을 들고 질문을 답할 때 (예: "이 사진에서 개가 뭐 하고 있니?"), 계산이 너무 느려지고 에너지도 많이 소모됩니다.

🚫 기존 방법의 실수: "질문지로만 가방 정리하기"

이전 연구자들은 가방을 가볍게 하기 위해 **"질문 (텍스트)"**을 보고 중요하지 않은 물건을 버리는 방식을 썼습니다.

• 상황: "개는 뭐 하고 있니?"라고 물었을 때, AI 는 "개"라는 단어에 맞춰 가방을 정리합니다.
• 문제 (이 논문의 핵심): 하지만 질문과 이미지는 항상 완벽하게 맞지 않습니다.
  • 질문이 "개"에 집중되어 있어도, 실제로는 배경의 나무나 하늘이 중요한 정보가 될 수 있습니다.
  • AI 가 질문을 읽는 과정에서 이미지의 정보가 흐트러져서, 질문과 이미지가 서로 "오해"를 하기도 합니다 (이를 크로스-모달 불일치라고 합니다).
  • 그래서 질문만 보고 가방을 정리하면, 정작 중요한 나무나 하늘 같은 정보는 버리고, 불필요한 잔디만 남기는 어이없는 일이 벌어집니다.

✨ 이 논문의 해결책: "VisionDrop (비전 드롭)"

이 논문은 **"질문 (텍스트) 에 의존하지 말고, 이미지 자체의 눈 (시각적 신호) 을 믿어라"**라고 말합니다.

1. 이미지끼리 대화하게 하기 (Visual-Only Attention)

• 비유: 질문지를 버리고, 가방 속 물건들끼리 서로 "너는 중요해, 너는 덜 중요해"라고 이야기하게 만드는 것입니다.
• AI 가 이미지 조각들끼리 서로 주시하며 (Attention), "이 나뭇잎은 다른 나뭇잎들과 많이 연결되어 있으니 중요해!"라고 스스로 판단하게 합니다. 질문의 영향을 받지 않기 때문에, 질문이 비어있거나 엉뚱하더라도 이미지의 핵심은 정확히 잡아냅니다.

2. 단계별로 정리하기 (Progressive Pruning)

• 비유: 여행 가방을 한 번에 다 비우는 게 아니라, **출발 전 (이미지 인코더)**과 **도착지 (LLM)**에서 여러 번에 걸쳐서 조금씩 정리하는 것입니다.
• 처음엔 중요한 것만 골라내고, 그다음엔 덜 중요한 것끼리 뭉쳐서 (Merging) 공간을 절약합니다. 이렇게 하면 아주 적은 공간 (가방) 으로도 핵심 내용만 완벽하게 전달할 수 있습니다.

🏆 결과: 얼마나 빨라졌나요?

이 방법 (VisionDrop) 을 적용한 결과는 놀랍습니다.

• 가방 크기: 원래 100% 였던 가방을 **5.6%**만 남길 정도로 줄였습니다. (거의 20 분의 1!)
• 성능: 가방이 이렇게 가벼워졌는데도, 원래 성능의 95% 이상을 유지했습니다.
• 속도: AI 가 답을 내는 속도가 2.7 배 빨라졌고, 계산량 (FLOPs) 은 6 배나 줄었습니다.

💡 요약

이 논문은 **"AI 가 이미지를 볼 때, 질문 (텍스트) 에 휘둘리지 말고 이미지 자체의 흐름을 믿고 정리하라"**는 교훈을 줍니다.

기존에는 "질문지가 중요하니까 질문과 관련된 것만 챙겨라"라고 했지만, 이 연구는 **"질문지가 엉뚱할 수도 있으니, 이미지 안의 물건들이 서로 중요하다고 말하는 것을 믿어라"**라고 제안합니다. 그 결과, AI 는 훨씬 가볍고 빠르게, 하지만 똑똑하게 이미지를 이해할 수 있게 되었습니다.

이 기술은 고해상도 의료 영상이나 위성 사진처럼 텍스트 설명이 부족하거나 복잡한 이미지를 다룰 때 특히 유용할 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

대형 시각 - 언어 모델 (LVLMs) 은 고해상도 이미지를 이해하기 위해 패치 수준의 시각 토큰 (visual tokens) 을 밀집된 시퀀스로 인코딩합니다. 그러나 텍스트 토큰에 비해 시각 토큰의 수가 압도적으로 많아 계산 비용이 급증하고 모델의 확장성이 제한됩니다.

기존의 시각 토큰 축소 (Token Reduction) 방법들은 주로 텍스트 기반 (Text-guided) 접근법을 사용했습니다. 즉, LLM 내부에서 텍스트 토큰이 시각 토큰의 중요도를 평가하여 불필요한 토큰을 제거하는 방식입니다. 하지만 본 논문은 이러한 접근법의 근본적인 한계를 지적하며 다음과 같은 3 가지 교차 모달 (Cross-Modal) 불일치 (Misalignment) 문제를 제기합니다.

1. 인과적 불일치 (Causal Misalignment): LLM 의 자기회귀 (autoregressive) 특성상 마지막 텍스트 토큰이 입력 시퀀스의 후반부 토큰에 편향되어 집중하는 경향이 있어, 시각 토큰의 중요도 평가에 왜곡을 일으킵니다.
2. 의미적 불일치 (Semantic Misalignment): LLM 레이어를 거치며 시각과 텍스트 토큰이 서로 얽히게 되어 (entanglement), 텍스트 쿼리가 시각적 중요성을 명확하게 반영하지 못하게 됩니다.
3. 공간적 불일치 (Spatial Misalignment): 텍스트 입력은 공간적 인식이 부족하며, 시각 토큰의 위치 정보가 단일 시퀀스로 평탄화되면서 공간적 우선순위가 희석됩니다. 이로 인해 텍스트가 강조하지 않은 중요한 시각 영역이 제거될 수 있습니다.

이러한 불일치로 인해 텍스트 기반의 토큰 축소 전략은 특히 aggressive 한 압축 비율에서 성능 저하를 초래합니다.

2. 방법론 (Methodology)

저자들은 텍스트 신호에 의존하지 않고 시각 토큰 간의 상호작용 (Intra-modal attention) 만을 기반으로 정보를 선택하는 VisionDrop이라는 새로운 프레임워크를 제안합니다. 이는 학습이 필요 없는 (Training-free) 방법입니다.

핵심 구성 요소:

1. 시각 전용 점수 매기기 (Visual-Only Scoring):

   • 텍스트 쿼리를 사용하지 않고, 시각 토큰 간의 자기 주의 (Self-Attention) 맵을 재사용하여 토큰의 중요도를 산출합니다.
   • LLM 내부에서는 시각 쿼리 토큰이 다른 시각 토큰을 얼마나 자주 주시하는지 (Attention weights) 를 평균화하여 중요도 점수를 매깁니다.
   • 시각 인코더 (예: CLIP) 에서는 [CLS] 토큰의 어텐션을 활용하거나, 모든 시각 토큰 간의 어텐션 평균을 사용합니다.

2. 점진적 도미넌트 토큰 선택 (Progressive Dominant Token Selection):

   • 모델 전체 (시각 인코더 및 LLM 디코더) 를 여러 단계 (Stage) 로 나누어 토큰을 점진적으로 줄입니다.
   • 각 단계에서 시각 중요도 점수가 높은 상위 토큰 (Dominant tokens) 만을 선택하여 다음 단계로 전달합니다.

3. 경량 컨텍스트 토큰 병합 (Lightweight Contextual Merging):

   • 제거된 나머지 토큰들을 단순히 버리는 것이 아니라, 유사도 (Key-Value similarity) 를 기반으로 중요한 컨텍스트 정보를 가진 토큰끼리 병합 (Merging) 합니다.
   • 이를 통해 미세한 시각적 세부 정보와 보조적인 단서를 보존하면서도 토큰 수를 줄입니다.

3. 주요 기여 (Key Contributions)

• 가정 재검토: LLM 레이어 내에서의 시각 - 텍스트 정렬 (Alignment) 가 실제로 신뢰할 수 있는지 실증적으로 분석하고, 텍스트 기반 축소 전략의 한계를 규명했습니다.
• VisionDrop 프레임워크 제안: 텍스트 신호에 의존하지 않는 학습 불필요 (Training-free) 인 시각 토큰 축소 프레임워크를 개발했습니다.
• 점진적 병합 전략: 시각 인코더와 LLM 전반에 걸쳐 도미넌트 토큰 선택과 컨텍스트 병합을 적용하여, 엄격한 토큰 예산 하에서도 세밀한 시각 정보를 유지하도록 설계했습니다.

4. 실험 결과 (Results)

다양한 벤치마크 (GQA, MMBench, POPE, VQAv2 등) 에서 LLaVA-1.5-7B 및 LLaVA-NeXT-7B 모델을 사용하여 평가했습니다.

• 성능: VisionDrop 은 기존 최첨단 방법 (FastV, PyramidDrop, SparseVLM 등) 보다 일관되게 우수한 성능을 보였습니다.
  • LLaVA-1.5-7B: 토큰을 5.6%(32 개) 만 유지했을 때, 원본 성능의 **91.46%**를 유지하며 기존 최고 성능보다 0.96% 높았습니다.
  • LLaVA-NeXT-7B: 토큰을 5.6%(160 개) 만 유지했을 때, 원본 성능의 **92.06%**를 유지하며 기존 최고 성능보다 1.71% 높았습니다.
• 효율성:
  • LLaVA-NeXT-7B의 경우, 추론 지연 시간 (Latency) 은 2.7 배, FLOPs 는 6 배 감소시켰으면서도 성능은 거의 유지되었습니다.
  • 메모리 사용량은 크게 증가하지 않으면서 계산 효율이 극대화되었습니다.
• 비디오 이해: Video-LLaVA에서도 12.5% 의 토큰만 유지하며 다른 방법들보다 높은 정확도를 기록했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LVLM 의 효율성을 높이기 위해 단순히 토큰 수를 줄이는 것을 넘어, 모달리티 간의 불일치 문제를 해결하는 데 초점을 맞췄다는 점에서 의미가 큽니다.

• 신뢰성 있는 축소: 텍스트가 시각 정보를 왜곡할 수 있는 상황을 방지하고, 시각 데이터 자체의 구조와 중요성을 보존하는 더 안정적인 축소 전략을 제시했습니다.
• 광범위한 적용성: 고해상도 의료 영상이나 원격 탐사 이미지와 같이 텍스트 단서가 희소하거나 시각 콘텐츠와 정렬이 잘 안 되는 분야에서도 VisionDrop 이 특히 유리할 것으로 예상됩니다.
• 실용성: 추가 학습 없이 기존 모델에 즉시 적용 가능하여, 실시간 응용 및 고해상도 처리가 필요한 환경에서 LVLM 의 확장성을 크게 향상시킵니다.

결론적으로, VisionDrop 은 "텍스트가 시각을 이해하는 데 항상 도움이 되는가?"라는 질문에 "아니오, 오히려 방해가 될 수 있다"는 통찰을 바탕으로, 시각 정보의 자율성을 존중하는 새로운 토큰 축소 패러다임을 제시했습니다.