CLIP Tricks You: Training-free Token Pruning for Efficient Pixel Grounding in Large VIsion-Language Models

기술적 요약: CLIP 이 속이다: 대규모 비전 - 언어 모델에서 효율적인 픽셀 그라운딩을 위한 학습 없는 토큰 가지치기

문제 제기
대규모 비전 - 언어 모델 (LVLM) 은 처리하는 시각적 토큰의 sheer volume 으로 인해 상당한 계산 오버헤드에 직면해 있으며, 이는 종종 텍스트 토큰보다 훨씬 많은 수를 차지합니다 (예: LLaVA 에서 576 개의 시각적 토큰 대 100 개 미만의 텍스트 토큰). 최근의 토큰 가지치기 방법들은 일반적인 이미지 이해 작업에 대해 이 부하를 성공적으로 줄였지만, 참조 표현 분할과 같은 픽셀 그라운딩 작업에서는 어려움을 겪습니다. 기존 접근 방식들은 일반적으로 텍스트 무관한 시각적 중요도 (예: 전역 [CLS] 토큰과의 유사성) 에 의존하거나, 높은 시각 - 텍스트 유사성이 관련성을 나타낸다고 가정합니다. 그러나 저자들은 이러한 방법들이 입력 텍스트로 정의된 특정 참조 영역 내의 토큰들을 보존하지 못해 분할 성능이 저하된다고 관찰했습니다.

방법론: LiteLVLM
이 논문은 효율적인 픽셀 그라운딩을 위해 설계된 학습 없는, 텍스트 유도형 토큰 가지치기 전략인 LiteLVLM을 소개합니다. 이 방법은 CLIP 모델에 대한 심층 분석을 기반으로 구축되었으며, 두 가지 중요한 현상을 밝혀냈습니다:

1. 시각 - 텍스트 유사성 역전: 직관과 반대로, 참조 영역 (텍스트로 설명된 객체) 내에 위치한 시각적 토큰들은 CLIP 에서 텍스트 표현 (특히 [EOS] 토큰) 과 낮은 유사성을 보입니다. 반면, 높은 유사성을 가진 토큰들은 종종 배경이나 전역 맥락에 해당합니다. 이는 CLIP 의 대비적 사전 학습으로 인해 전역 임베딩은 정렬되지만, 국소화된 객체 세부 사항은 전역 텍스트 벡터와 덜 정렬되기 때문입니다.
2. 텍스트 어텐션 싱크: 분석 결과, CLIP 의 [EOS] 토큰은 의미 있는 참조 표현의 내용보다는 [SOS](문장 시작) 토큰으로 대부분의 어텐션을 집중시키는 강한 "어텐션 싱크" 편향을 보임이 드러났습니다. [EOS] 토큰의 풍부한 의미적 초점 부재는 유사성 역전을 더욱 악화시킵니다.

이러한 통찰에 기반하여 LiteLVLM 은 두 단계의 선택 과정을 채택합니다:

• 유사성 인지 선택: 높은 유사성 토큰을 유지하는 대신, LiteLVLM 은 [EOS] 토큰과 가장 낮은 유사성을 가진 시각적 토큰들을 선택합니다. 실험적으로 이러한 토큰들은 참조 영역과 공간적으로 정렬되어 있으며, 그라운딩을 위한 중요한 국소 단서를 보존합니다.
• 맥락 인지 복구: 명확한 전경 - 배경 분리를 위해 필요한 전역 맥락과 배경 정보의 손실을 방지하기 위해, 이 방법은 [CLS] 토큰에 대한 기여도 (어텐션 가중치 값 벡터를 통해 측정) 를 기반으로 추가 토큰들을 복구합니다.
• 적응형 선택: 적응형 전략은 입력 텍스트에 따라 유사성 인지 (저유사성) 토큰과 맥락 인지 토큰 간의 예산을 동적으로 균형 있게 조정하여 다양한 참조 표현 전반에 걸쳐 최적의 성능을 보장합니다.

주요 기여

1. 치명적 결함의 식별: 저자들은 기존 텍스트 무관 가지치기 방법들과 높은 시각 - 텍스트 유사성에 의존하는 방법들이 참조물을 식별하는 데 필요한 토큰들을 버리기 때문에 픽셀 그라운딩에서 성능이 저조함을 입증했습니다.
2. CLIP 분석: 이 논문은 CLIP 에 대한 새로운 분석을 제공하여 시각 - 텍스트 유사성 역전과 [EOS] 토큰의 어텐션 싱크 편향을 밝혀냈으며, 이것이 표준 가지치기 휴리스틱이 그라운딩 작업에서 실패하는 이유를 설명합니다.
3. LiteLVLM: 픽셀 그라운딩을 위해 특별히 맞춤화된 최초의 학습 없는 토큰 가지치기 방법의 제안입니다. 이는 역전된 유사성 순위 활용하여 참조물 특정 토큰을 유지하면서 맥락을 복구하며, 미세 조정이 필요하지 않습니다.

실험 결과
RefCOCO, RefCOCO+, RefCOCOg, Ref-DAVIS-17, Refer-YouTube-VOS 를 포함한 이미지 및 비디오 벤치마크에서 광범위한 실험이 수행되었습니다.

• 성능 유지: LiteLVLM 은 최신 기법들 (예: TRIM, LLaVA-PruMerge, VisPruner) 보다 현저히 우수한 성능을 보입니다. RefCOCO+ 테스트 세트에서 원본 성능의 **90.3%**를 유지하면서 시각적 토큰의 **66.7%**를 가지치기합니다 (576 개에서 192 개로 감소). 88.9% 감소 (64 개 토큰) 시에도 79.2% 의 상대적 성능 점수를 유지하여 경쟁사보다 10% 이상 우위를 점합니다.
• 비디오 그라운딩: 비디오 객체 분할에서 LiteLVLM 은 65.9% 토큰 감소에도 불구하고 원본 성능의 **99.5%**를 유지하여 시간적 중복성에 대한 견고함을 입증합니다.
• 효율성: 이 방법은 원본 모델 대비 22% 추론 속도 향상과 2.3 배의 메모리 오버헤드 감소(활성화 저장) 를 달성합니다. 또한 FLOPs 를 2 배 이상 감소시킵니다.
• 일반화: 이 접근법은 다양한 LVLM 아키텍처 (예: Qwen2.5-VL) 와 비전 인코더 (예: SigLIP-2) 에 효과적으로 일반화되어, 초기 분석에 사용된 특정 CLIP 구현에 밀접하게 결합되지 않았음을 확인합니다.

의의 및 주장
이 논문은 LiteLVLM 이 픽셀 수준 그라운딩 정확도를 훼손하지 않고 리소스가 제한된 장치 (엣지 장치, 제한된 서버) 에 LVLM 을 배포하기 위한 실용적이고 비용 효율적인 솔루션을 제공한다고 주장합니다. CLIP 에서의 토큰 중요성에 대한 표준 직관을 반전시킴으로써, 이 방법은 분할 작업에서 높은 충실도를 유지하면서 효율적인 추론을 가능하게 합니다. 저자들은 이것이 이미지 및 비디오 모달리티 전반에 걸쳐 픽셀 그라운딩으로 토큰 가지치기를 확장한 최초의 작업이며, 학습이나 미세 조정 없이 최첨단 결과를 달성했다고 강조합니다.