기술 요약: HEED - 하이브리드 비전-언어 모델 증류용 밀도 가중 잔차 정렬

1. 문제 제기

대규모 비전 - 언어 모델 (VLM) 을 효율적인 하이브리드 아키텍처 (예: Mamba-2 선형 레이어와 어텐션 레이어의 혼합) 로 증류하는 것은 추론 비용을 절감하기 위한 표준적인 접근법입니다. 그러나 기존 집계 벤치마크는 중요한 실패 모드를 가립니다. 하이브리드 학생 모델은 종종 광범위한 추론 능력을 유지하지만, 광학 문자 인식 (OCR), 문서 이해, 차트 분석과 같은 정밀한 시각적 지각이 필요한 작업에서는 성능이 크게 저하됩니다.

저자들은 표준 지식 증류 (KD) 가 모든 시각 토큰을 균일하게 취급한다고 지적합니다. 고해상도 이미지에서는 대부분의 패치가 낮은 정보 밀도를 가진 부드러운 배경 (하늘, 벽) 으로 구성되는 반면, 소수의 패치만이 텍스트, 엣지, 객체 경계와 같은 중요한 세부 정보를 포함합니다. 표준 KD 는 정보량이 적은 배경 패치에 과도한 손실 항을 할당하여, 특정 질문에 답하는 데 필수적인 희소하고 고밀도의 패치를 보호하지 못합니다. 이로 인해 학생 모델은 장면을 일반적으로 설명할 수는 있지만 그 안의 특정 숫자나 라벨을 읽지 못하는 "정밀 지각 붕괴"가 발생합니다.

2. 방법론: HEED

제안된 방법인 HEED(Density-Weighted Residual Alignment, 밀도 가중 잔차 정렬) 는 시각적 패치의 국부적 정보 밀도에 기반하여 증류 손실을 재가중함으로써 이러한 불균형을 해결합니다.

2.1 진단적 통찰

토큰 수준의 진단을 통해 저자들은 실패를 특정 위치로 국한시킵니다:

• 잔차 드리프트 (Residual Drift): 국부적 특징 밀도가 가장 높은 상위 10% 패치 (ViT 특징의 이웃과의 불유사성으로 정의됨) 는 하위 10% 패치에 비해 교사 모델 대비 3.6 배 더 큰 잔차 드리프트를 보입니다.
• 답변 민감도: 이러한 고밀도 패치를 마스킹하면 저밀도 패치에 비해 교사 모델의 답변 점수가 3.5 배 더 크게 하락합니다.
• 예측력: 국부적 시각 밀도는 토큰 유형 (텍스트 대 시각), 레이어 깊이, 교사 어텐션 집중도보다 잔차 드리프트를 예측하는 가장 강력한 지표입니다.

2.2 HEED 알고리즘

HEED 는 모델 아키텍처를 수정하거나 파라미터를 추가하지 않는 훈련 없는 밀도 가중 잔차 정렬 전략을 구현합니다:

1. 밀도 추정: 각 시각 패치 $p$에 대해, $3\times3$ 이웃 내의 고정된 ViT 특징의 자기 불유사성을 사용하여 밀도 점수 $\rho(p)$를 계산합니다:
   $$\rho(p) = 1 - \frac{1}{|N(p)|} \sum_{q \in N(p)} \frac{v_p^\top v_q}{\|v_p\| \|v_q\|}$$
   높은 $\rho(p)$는 국부적으로 독특한 패치 (예: 텍스트, 엣지) 를 나타내고, 낮은 $\rho(p)$는 부드러운 배경을 나타냅니다.
2. 가중치 부여: 이러한 점수들을 정규화하고 온도 매개변수 $\tau$를 사용한 지수 매핑을 통해 손실 가중치 $w(p)$로 변환합니다. 텍스트 토큰은 이미지의 평균 시각 밀도에 기반하여 일정한 보너스를 받습니다.
3. 잔차 정렬: 레이어 블록 출력별 정렬 (표준 은닉 상태 정렬) 이나 균일 가중치를 사용하는 대신, HEED 는 교사 및 학생의 잔차 스트림을 정렬합니다. 정렬 손실은 밀도 점수로 가중치가 부여됩니다:
   $$L_{HEED} = \frac{1}{|S^*|} \sum_{\ell \in S^*} \sum_{p=1}^{T} w(p) \| r_{\ell,p}^{\tilde{\theta}} - r_{\ell,p}^{\theta} \|_2^2$$
   이를 통해 하이브리드 학생 모델은 증류 과정에서 고밀도 위치에서 정보를 보존하는 것을 우선시하게 됩니다.

2.3 훈련 파이프라인

이 방법은 3 단계 증류 일정을 따릅니다:

• 1 단계 (워밍업): 고정된 어텐션 가중치로 잔차 스트림을 정렬합니다.
• 2 단계 (전체 블록): 밀도 가중 잔차 정렬을 사용하여 전체 Mamba-2 블록을 훈련합니다.
• 3 단계 (엔드 투 엔드): 표준 로짓 기반 KD (KL 발산 + 교차 엔트로피) 를 수행합니다.
  HEED 는 1 단계와 2 단계에서 사용되는 정렬 손실만 기준 방법과 다릅니다.

3. 주요 기여

1. 진단: 본 논문은 하이브리드 VLM 증류가 정밀한 지각 작업 (OCR, 문서) 에서는 선택적으로 실패하지만 추론 능력은 유지하며, 이는 표준 KD 에서 토큰을 균일하게 취급하기 때문임을 입증합니다.
2. 메커니즘: 고밀도 시각 위치 (국부적으로 독특한 특징) 가 드리프트의 주요 원인이며 교사 모델의 답변에 가장 중요함을 확립합니다. 임의의 패치를 무작위로 재가중하는 것은 동일한 이점을 주지 않으며, 가중치는 구체적으로 고밀도 위치를 대상으로 해야 합니다.
3. 방법 (HEED): 패치 자기 불유사성을 중요성의 대리 지표로 사용하는 경량, 파라미터 없는 개입입니다. 추론 아키텍처를 변경하거나 추론 시 비용을 추가하지 않고 성능을 향상시킵니다.

4. 실험 결과

실험은 Qwen3-VL-8B-Instruct를 3:1 Mamba-2/어텐션 하이브리드로 증류하여 수행되었습니다.

• 성능 향상:
  • 표준 엔드 투 엔드 KD 에 비해 HEED 는 OCRBench v2 에서 8.7 점 향상을 보입니다.
  • 10 개 벤치마크에서 평균 5.13 점 향상을 달성합니다.
  • 통제된 비교 (정렬 가중치를 균일에서 밀도 가중으로만 변경) 에서 HEED 는 OCRBench v2 에서 4.7 점, 10 개 벤치마크 평균에서 2.24 점을 회복합니다.
• 선택성: 향상은 정밀한 지각 벤치마크 (OCR, DocVQA, ChartQA) 에 집중되는 반면, 추론 벤치마크 (MMMU-Pro, MMStar) 는 안정적이거나 약간 향상됩니다.
• 훈련 후: 표준 SFT 및 DPO 후, HEED 학생 모델은 10 개 벤치마크 평균에서 교사 모델 수준의 성능 (78.79 대 78.41) 에 도달하면서 하이브리드 아키텍처의 효율성을 유지합니다.
• 효율성: 학생 모델은 하이브리드 모델의 효율성 프로필을 유지합니다: 128k 컨텍스트 길이에서 교사 대비 4.12 배 처리량 및 68% 메모리 절감이며, 추가 추론 비용은 없습니다.
• 강건성: 결과는 서로 다른 무작위 시드, 서로 다른 교사 모델 (InternVL-3.5, MiniCPM-V 4.5, GLM-4.6V), 그리고 서로 다른 하이브리드 아키텍처 (Gated DeltaNet) 에서도 유효합니다.

5. 중요성 및 주장

본 논문은 HEED 가 고정 용량의 하이브리드 시퀀스 모델로 이질적인 멀티모달 입력을 압축하는 데 있어 근본적인 한계를 해결한다고 주장합니다. 핵심 원칙은 증류 손실이 모든 토큰을 균일하게 취급해서는 안 되며, 대신 토큰의 국부적 정보 밀도에 기반한 가변적 중요성을 반영해야 한다는 것입니다.

저자들은 HEED 를 추론 시 토큰 감소 방법 (예: VisionZip, FastV) 과 상호 보완적인 것으로 위치시킵니다. 이러한 방법들은 추론 중 토큰 수를 줄이는 반면, HEED 는 풀 - 어텐션 교사 모델에서 하이브리드 학생 모델로의 전환 동안 모델이 가장 중요한 토큰을 보존하도록 학습시키기 위해 훈련 신호를 최적화합니다. 이 방법은 정밀한 능력을 잃지 않으면서 하이브리드 아키텍처의 효율성 향상을 훼손하지 않는 실용적이고 저비용의 개입으로 제시됩니다.

인정된 한계:

• 밀도는 중요성의 대리 지표일 뿐 보편적인 의미적 중요도 측정치가 아닙니다. 텍스트와 엣지를 선호하지만 전역적으로 정의되거나 적대적으로 패턴화된 작업에서는 효과가 덜할 수 있습니다.
• 이 방법은 고정된 ViT 특징에 의존하며 드리프트의 인과적 증명을 주장하는 것이 아니라 매우 효과적인 경험적 개입으로 간주됩니다.
• 결과는 테스트된 하이브리드 VLM 변환 설정에 특화되어 있으며, 저자들은 일반적으로 풀 - 어텐션 모델에 대한 파레토 우위를 주장하지 않습니다.