기술 요약: Nüwa: VLM 토큰 프루닝으로 인해 훼손된 공간적 무결성 복구하기

1. 문제 정의

시각 언어 모델(Vision Language Models, VLMs)은 추론 과정에서 상당한 수의 시각 토큰을 생성하며, 이는 높은 계산 오버헤드와 처리량(throughput) 감소를 초래합니다. **토큰 프루닝(token pruning)**은 효과적인 가속 기법으로 부상했으나, 기존 방법들은 결정적인 한계를 보입니다. 즉, 시각적 질의응답(VQA) 작업에는 우수한 성능을 보이는 반면, 시각적 접지(Visual Grounding, VG) 작업에서는 심각한 성능 저하를 겪는다는 점입니다.

저자들은 기존의 프루닝 전략이 전역적 의미 유사성(global semantic similarity)이나 어텐션 점수(attention scores)에 의존함으로써 **전역적 공간 참조 프레임(global spatial reference frame)**을 파괴한다는 점을 지적합니다. 토큰의 위치 정보로부터 유도되는 이 참조 프레임은 공간적 추론과 객체 위치 파악에 필수적입니다. 프루닝 방식이 공간적 위상(spatial topology)을 보존하지 못한 채 토큰을 압축하거나 폐기하면, 모델은 이미지의 일반적인 내용에 대해 답하는 능력은 유지할지언정 이미지 내 객체의 정확한 위치를 찾는 능력은 상실하게 됩니다.

2. 방법론: Nüwa 프레임워크

공간적 무결성 손실을 해결하기 위해, 저자들은 공간 인지형의 2단계 토큰 프루닝 프레임워크인 Nüwa를 제안합니다. 이 접근 방식은 전역적 공간 앵커(global spatial anchors)를 유지하면서 중복된 정보를 집계한 후, 텍스트 가이드 기반의 정교화 과정을 거치도록 설계되었습니다.

1단계: 공간 응집 프루닝 (비전 인코더)

비전 인코더 직후에 작동하는 이 단계는 Boids 알고리즘(군집 지능의 일종)에서 영감을 얻은 세 가지 연산을 통해 초기 $N^2$개의 시각 토큰을 밀도가 높고 공간을 보존하는 시퀀스로 축소합니다.

1. 분리 (Separation): 입력 토큰 그리드를 겹치지 않는 지역적 영역($M \times M$)으로 분할합니다. 이는 후속 선택 및 집계가 지역적 수준에서 발생하도록 하여 완전한 전역 좌표계를 유지하도록 보장합니다.
2. 정렬 (Alignment, 돌출도 식별): 각 영역 내에서 대표적인 "벤치마크(benchmark)" 토큰을 집계 중심으로 선택합니다. 선택 기준은 다음을 결합합니다:
   • 전역 어텐션 (Global Attention): [CLS] 토큰으로부터의 점수.
   • 정보 용량 (Information Capacity): 토큰의 키 벡터의 L2-노름($\|k_i\|^2$).
   • 근거: 높은 노름을 가진 토큰은 비전 트랜스포머에서 "레지스터(registers)"(태스크 불가지론적 앵커) 역할을 하는 경우가 많습니다. 이 방법은 가장 높은 돌출도 점수를 가진 토큰을 식별하여 벤치마크 토큰 집합($T_B$)을 형성합니다.
3. 집계 (Aggregation, 공간 근접성): 주변 토큰의 특징(features)을 벤치마크 집합으로 병합합니다.
   • 역할 할당: $T_B$ 내의 토큰은 필러 토큰(Pillar Tokens)(높은 L2-노름, 상위 4분위수) 또는 **컬렉터 토큰(Collector Tokens)**으로 분류됩니다. 필러 토큰은 특징 분포의 변화를 방지하기 위해 원래의 특징을 유지하며, 컬렉터 토큰은 이웃의 특징을 집계합니다.
   • 가중 집계 (Weighted Aggregation): 의미적 유사성(양의 상관관계만 적용)과 공간적 근접성(임계값 내의 유클리드 거리)을 모두 사용하는 가중치 행렬을 구축합니다. 이를 통해 집계가 국부적으로 발생하도록 하여 객체 중심의 표현을 보존하고, 공간적으로 멀리 떨어진 토큰들이 병합되는 것을 방지합니다.

단계 2: 텍스트 변조 프루닝 (LLM)

멀티모달 특징 정렬 후, 집계된 시각 토큰은 대규모 언어 모델(LLM)로 전달됩니다. LLM의 중간 레이어에서 두 번째 프루닝 단계가 수행됩니다:

• 텍스트 토큰 임베딩의 평균을 구하여 전체적인 텍스트 쿼리 벡터를 도출합니다.
• 공유 임베딩 공간에서 이 쿼리 벡터와의 코사인 유사도를 기준으로 시각 토큰의 점수를 매깁니다.
• 상위-$K$개의 가장 관련성이 높은 시각 토큰만을 유지하여 후속 추론 및 응답 생성을 진행합니다. 이를 통해 최종 토큰 집합은 공간적으로 응집되어 있으면서도(1단계), 작업 관련성 또한 높게(2단계) 유지됩니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. VLM 파이프라인의 태스크별 분석: 저자들은 VLM 처리 파이프라인을 체계적으로 분석하여, VLM이 전역적 의미 통합에서 미세한 객체 중심적 집중으로 진행되는 다단계 파이프라인을 통해 작동함을 밝혀냈습니다. 그들은 접지(grounding) 작업이 프로세싱의 중간 단계에서 전역적 공간 참조 프레임을 보존하는 데 크게 의존하며, 이는 기존의 프루닝 방식들이 흔히 간과해 온 요구사항임을 입증했습니다.
2. Nüwa 프레임워크: 다음을 수행하는 2단계 프루닝 프레임워크를 도입했습니다:
   • 영역 기반 분할 및 적응형 집계를 통해 공간적 위상을 보존합니다.
   • "필러"와 "컬렉터" 토큰을 구분함으로써 전역적 공간 앵커를 유지합니다.
   • 미세한 작업 지향적 프루닝을 위해 LLM 내의 텍스트 의미론을 활용합니다.
3. 성능 검증: 13개의 데이터셋과 다양한 VLM(LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL)에 걸친 광범적 실험을 통해 Nüwa가 새로운 SOTA(State-of-the-Art) 결과를 수립함을 보여줍니다. Nüwa는 VQA 벤치마크에서 95%의 성능 유지율을, 시각적 접지(Visual Grounding) 벤치마크에서 47.2%의 유지율(88.9% 토큰 감소 조건 하에)을 달성하였으며, 이는 기존 방식들이 VG 작업에서 종종 한 자릿수 퍼센트로 떨어지는 것과 극명하게 대비됩니다.

4. 실험 결과

• VQA 성능: Nüwa는 10개의 VQA 벤치마크(예: GQA, MMB, MME)에서 SOTA 성능을 달성하였으며, 최대 88.9%의 토큰 감소 상황에서도 원본 모델 성능의 94%~95%를 유지했습니다.
• 시각적 접지(Visual Grounding) 성능: RefCOCO 시리즈 벤치마크에서 Nüwa는 기존 방법들보다 상당한 개선을 보였습니다. 예를 들어, 단 64개의 토큰만을 유지하는 설정(88.9% 감소)에서 N-uwa는 원본 성능의 **47.2%**를 달성한 반면, VisionZip과 SparseVLM 같은 방법들은 각각 **7.28%**와 **1.88%**로 떨어졌습니다.
• 효율성: 이 방법은 TFLOPs를 89% 줄이고 프리필(prefill) 시간을 62% 단축합니다. 프루닝 메트릭에 의해 발생하는 계산 오버헤드는 무시할 수 있는 수준입니다(SOTA 베이스라인 대비 프리필 시간 약 1ms 증가).
• 절제 연구 (Ablation Studies): 실험을 통해 영역 분할이 접지 작업(상대적 위치 매핑 확장 전략 활성화)에 결정적이라는 점과, L2-노름 기준이 모든 작업에서 토큰 선택 능력을 향상시킨다는 점을 확인했습니다.

5. 의의 및 주장

본 논문은 VLM의 접지 작업 성능 저하가 주로 토큰 프루닝 과정 중 전역적 공간 참조 프레임의 상실에 의해 발생한다고 주장합니다. 군집 지능에서 영감을 얻은 공간 집계와 텍스트 가이드 정교화를 결합한 2단계 프로세스를 통해 공간적 무결성을 재구성함으로써, Nüwa는 훼손된 공간적 무결성을 효과적으로 "수선(mend)"합니다.

저자들은 이 방식이 재학습을 필요로 하지 않는(training-free) 방식이며, 기존 VLM 아키텍처 및 하드웨어 최적화(예: FlashAttention)와 호환된다는 점을 강조합니다. 이 연구는 효율적인 VLM 추론을 위해서는 단순히 의미적 중복성을 줄이는 것을 넘어, 특히 접지 작업에서의 공간적 일관성 요구사항을 반드시 고려해야 함을 시사합니다.