기술 요약: 비전-언어 모델을 위한 시각적 우위 온-정책 증류

1. 문제 제기

온-정책 지식 증류는 자체 생성된 롤아웃에서 학생 모델이 교사 모델의 출력 분포를 따르도록 훈련시킴으로써 대규모 언어 모델 (LLM) 을 압축하는 데 효과적이임이 입증되었습니다. 그러나 이러한 패러다임을 비전-언어 모델 (VLM) 에 적용할 때 치명적인 불일치가 드러납니다. 표준 증류 방식은 모든 토큰을 균일하게 취급하여 언어적 발판과 정밀한 시각적 증거에 진정으로 의존하는 토큰을 구분하지 못합니다.

저자들은 일반적인 VLM 롤아웃에서 대부분의 토큰은 언어 템플릿이나 추론 구조로 기능하는 반면, 소수의 토큰만이 시각적 세부 사항 (예: 다이어그램의 특정 숫자) 에 의해 결정된다는 점을 관찰했습니다. 표준 쿨백-라이블러 (KL) 발산 최소화는 모든 토큰에 걸쳐 그라디언트를 균일하게 평균화합니다. 결과적으로, 소수의 시각적 중요 토큰에 존재하는 강력한 감독 신호는 풍부한 주변 언어 토큰에 의해 희석됩니다. 그 결과, 학생 모델의 출력 정확도는 향상될 수 있으나 시각적 입력에 대한 근본적인 의존도는 강화되지 않습니다. 학생 모델은 실제로 이미지에 주의를 기울이는 법을 배우지 않은 채 교사 모델의 표면적 텍스트를 모방하는 법만 배우게 됩니다.

2. 방법론: 시각적 우위 온-정책 증류 (VA-OPD)

이러한 희석을 해결하기 위해 저자들은 정밀한 시각적 세부 사항이 필요한 토큰을 명시적으로 식별하고 우선순위를 부여하는 시각적 우위 온-정책 증류 (VA-OPD) 를 제안합니다.

2.1 시각적 우위 (VA)

핵심 진단 도구는 교사 모델이 시각적 세부 사항에 의존하는 정도를 토큰 수준에서 정량화하는 시각적 우위 (VA) 입니다. 학생이 생성한 롤아웃의 각 토큰 $y_t$에 대해, VA 는 원본 이미지 ($v$) 와 정밀한 세부 사항 (예: OCR, 작은 기호) 이 다운샘플링을 통해 파괴된 저해상도 이미지 ($\tilde{v}$) 에 대한 교사 모델의 점수 차이를 음수가 아닌 값으로 보정한 로그 확률 차이로 계산됩니다:
$$a_t = \max(\log p_T(y_t | v, q, y_{<t}) - \log p_T(y_t | \tilde{v}, q, y_{<t}), 0)$$
높은 VA 는 토큰 예측이 정밀한 시각적 세부 사항에 크게 의존함을 나타내는 반면, 낮은 VA 는 토큰이 언어적 사전 지식이나 견고한 전역 이미지 특징에 의존함을 시사합니다.

2.2 주요 관찰

학생 롤아웃에 대한 실증 분석은 두 가지 중요한 특성을 드러냈습니다:

1. 희소성: VA 는 heavy-tailed 분포를 보입니다. 상위 10% 의 토큰이 전체 VA 질량의 약 93% 를 차지합니다.
2. 감독 집중: 높은 VA 를 가진 토큰에 대한 KL 손실을 마스킹하면 정확도가 크게 하락하는 반면, 낮은 VA 토큰이나 무작위 토큰을 마스킹하는 것은 미미한 영향만 미칩니다. 이는 시각적 감독 신호가 소수의 토큰에 집중되어 있음을 확인시켜 줍니다.

2.3 VA-OPD 목적 함수

VA-OPD 는 신호 희석을 방지하기 위해 VA 를 두 가지 세분성 수준에 적용하여 표준 온-정책 증류 목적 함수를 수정합니다:

• 롤아웃 수준 재가중: 동일한 프롬프트에 대해 생성된 $K$개의 형제 롤아웃 집합에 대해, 각 롤아웃은 형제들에 대한 경로 평균 VA 를 기반으로 한 소프트 가중치를 부여받습니다. 시각적 의존도가 높은 롤아웃은 그라디언트에 더 크게 기여합니다.
• 토큰 수준 그룹화 KL: 각 롤아웃 내에서 토큰은 VA 로 정렬된 후 고 VA 그룹(상위 비율, 예: 20%) 과 저 VA 그룹(나머지) 으로 나뉩니다. 토큰별 KL 손실은 합산되기 전에 각 그룹 내에서 별도로 평균화됩니다. 이를 통해 중요한 고 VA 토큰의 그라디언트 기여도가 전체 시퀀스 길이 $T$에 의해 축소되지 않도록 보장합니다.

최종 손실 함수는 이러한 구성 요소를 결합합니다:
$$\mathcal{L}_{\text{VA-OPD}} = \mathbb{E}_{x \sim D} \left[ \sum_{k=1}^K w^{(k)} \left( \lambda \cdot \frac{1}{|V^{(k)}|} \sum_{t \in V^{(k)}} \text{KL}_t + (1-\lambda) \cdot \frac{1}{|L^{(k)}|} \sum_{t \in L^{(k)}} \text{KL}_t \right) \right]$$
여기서 $w^{(k)}$는 롤아웃 가중치이며, $\lambda$는 고 VA 그룹과 저 VA 그룹 기여도 간의 균형을 맞춥니다.

3. 주요 기여

1. 희석 문제의 식별: 저자들은 VLM 을 위한 표준 온-정책 증류가 균일한 KL 가중치로 인해 소수의 토큰에 집중된 시각적 감독 신호가 희석되어 시각적 의존도를 강화하지 못함을 입증했습니다.
2. 시각적 우위 (VA) 의 도입: 추가 주석이나 보상 모델 없이 토큰 수준의 시각적 의존성을 정량화하기 위한 교사 상대적 반사실적 지표로서 VA 를 제안했습니다.
3. VA-OPD 프레임워크: 롤아웃 재가중 및 토큰 수준 그룹화 KL 의 두 수준에서 VA 를 활용하여 학습 신호를 시각적 중요 위치에 집중시키는 증류 목적 함수를 도입했습니다.
4. 실증적 검증: 세 가지 교사 크기 (4B, 8B, 32B), 두 가지 데이터셋 (Geometry3K, ViRL39K), 그리고 여덟 가지 벤치마크에 걸쳐 방법을 검증하여 표준 베이스라인 대비 일관된 개선을 보여주었습니다.

4. 실험 결과

저자들은 Geometry3K 에서 훈련된 Qwen3-VL 계열 (8B 교사, 2B 학생) 에 VA-OPD 를 평가했으며, ViRL39K 와 다른 교사 크기에 대한 일반화 테스트를 수행했습니다.

• 성능 향상: VA-OPD 는 여덟 가지 벤치마크 전반에 걸쳐 표준 OPD 를 능가했습니다.
  • 수학적 추론: 평균 +2.9 포인트 향상.
  • 시각적 이해: 평균 +1.5 포인트 향상.
  • 특정 벤치마크: 정밀한 시각적 세부 사항에 크게 의존하는 HallusionBench (+2.5) 와 AI2D (+2.4) 에서 주목할 만한 향상이 관찰되었습니다. 텍스트만으로도 단축을 허용하는 벤치마크 (예: MMStar) 는 시각적 의존성에 초점을 맞춘 방법의 특성과 일치하게 더 작은 향상을 보였습니다.
• 확장 법칙: VA-OPD 의 표준 OPD 대비 성능 향상은 교사 크기 (4B 에서 32B 로) 와 데이터셋 규모 (Geometry3K 에서 ViRL39K 로) 가 증가함에 따라 단조롭게 증가하여, 이러한 요인들이 일관되게 누적됨을 시사합니다.
• 시각적 의존성: 훈련 중 VA-OPD 의 학생 롤아웃 평균 VA 는 정확도와 함께 상승하는 반면, 표준 OPD 는 VA 는 정체된 채 정확도만 상승했습니다. 이는 VA-OPD 가 단순한 출력 모방이 아닌 진정한 시각적 의존성을 달성함을 나타냅니다.
• 효율성: VA-OPD 는 표준 OPD 의 최종 정확도를 벽시계 시간 기준으로 약 3.0 배 더 빠르게 달성했으며, 고정된 시간 예산에서 더 높은 성능 한계에 도달했습니다.

5. 중요성과 주장

이 논문은 VA-OPD 가 VLM 을 위한 온-정책 증류 목표에 정밀한 시각적 세부 사항에 대한 토큰별 의존성을 직접 통합한 최초의 방법임을 주장합니다. 그 중요성은 다음과 같습니다:

• 메커니즘: 증류 과정에서 시각적 중요 토큰과 언어적 발판을 명시적으로 분리함으로써 "희석" 문제를 해결합니다.
• 효율성: 추가 주석, 보상 모델, 또는 학생의 생성 과정 변경이 필요 없으며, 롤아웃당 저해상도 시각적 세부 사항을 가진 교사 모델의 추가 순전파 한 번만 추가됩니다.
• 일반화 가능성: 이 방법은 다양한 모델 규모와 데이터 양에 걸쳐 성능을 향상시켜, 특정 데이터셋의 인공물이 아닌 현재 VLM 증류 전략의 근본적인 한계를 해결함을 시사합니다.
• 질적 전환: 추론 시 디코딩을 수정하는 방법과 달리, VA-OPD 는 학습 목표를 수정하여 학생 모델이 이미지를 "읽는" 법을 배우도록 보장합니다. 이는 정성적 시각화에서 수치 값과 다이어그램 특징에 VA 핫스팟이 나타나는 것으로 입증됩니다.

저자들은 VA 가 내부 주의 메커니즘의 직접적인 측정이 아니라 교사 반사실적 기반의 시각적 의존성 대리 지표이며, 성취가 시각 집약적 작업에서 가장 두드러진다는 점을 지적하며 한계에 대해 겸손한 태도를 유지합니다.