기술 요약: ViCuR: 멀티모달 온-폴리시 증류를 위한 회복 가능한 특권으로서의 시각적 단서 (Visual Cues as Recoverable Privilege for Multimodal On-Policy Distillation)

1. 문제 정의

멀티모달 추론 작업(예: 기하학 문제 풀이, 차트 분석, 시각적 질의응답)은 시각적 입력과 다단계 추론을 통합하는 능력을 요구합니다. **온-폴리시 증류(On-Policy Distillation, OPD)**는 학생 모델이 자신의 정책에서 샘플링한 궤적(trajectory)을 바탕으로 교사 모델의 감독을 받으며 학습함으로써 이러한 능력을 향상시키는 실용적인 방법으로 부상했습니다.

특권 교사(Privileged Teacher) 설정에서, 교사는 학습 시에만 사용 가능하고 추론 시에는 사용할 수 없는 신호에 조건화됩니다. 기존의 멀티모달 온-폴리시 셀프 증류(OPSD) 방식은 일반적으로 정답 측면의 특권(answer-side privileges)(예: 참조 정답 또는 검증된 추론 과정)에 의존합니다. 저자들은 이 접근 방식의 결정적인 결함을 다음과 같이 지적합니다:

• 학습-테스트 불일치(Train-Test Mismatch): 교사의 감독이 학생이 추론 시 접근할 수 없는 정답 측면의 정보($p$)에 의존할 때, 학생은 진정한 시각적 근거 기반 추론을 배우기보다는 "지름길 모방(shortcut imitation)"(정답 인지 패턴에 맞추는 것)을 학습하게 됩니다.
• 특권 유도 격차(Privilege-Induced Gap): 이는 교사의 정책이 추론 시 입력($X$)에 의해 결정되지 않는 변수($p$)에 의존하게 만드는 조건부 정보 격차를 생성하며, 이는 최적화되지 않은 추론 능력과 베이스 모델 대비 성능 저하를 초래할 수 있습니다.

2. 방법론: ViCuR

저자들은 정답 측면의 특권을 **시각적으로 근거가 있는 단서(visually grounded cues)**로 대체하는 ViCuR (Visual Cues as Recoverable Privilege) 프레임워크를 제안합니다.

핵심 개념: 회복 가능한 특권 (Recoverable Privilege)

ViCuR는 교사를 정답($R$)에 조건화하는 대신, 입력 이미지나 비디오에서 직접 유도된 질문 관련 증거에 대한 설명인 **시각적 단서($S$)**에 조건화합니다 (예: "도형은 두 개의 교차하는 현을 보여준다").

• 이론적 정당성: 단서가 입력의 함수($S = f(X)$)인 이상적인 결정론적 추상화 하에서는, 단서가 $X$ 이외의 추가적인 정보를 도입하지 않습니다. 따라서 $I(Y_t; S | X, Y_{<t}) = 0$이 성립합니다. 교사의 감독은 추론 시 사용 가능한 정보에 기반하게 되므로, 학습-테스트 불일치를 완화합니다.
• 실제적 현실: 단서가 확률적으로 생성될 수는 있지만, 숨겨진 정답이 아닌 가시적인 증거를 설명하므로, 정답 기반 방식에 비해 특권 격차를 크게 줄여줍니다.

아키텍처: 싱크 기반 단서 회복 (Sink-Based Cue Recovery)

학생 모델은 추론 시 단서 텍스트를 명시적으로 받지 않으므로, 내부적으로 관련 증거를 추출하는 법을 배워야 합니다. ViCuR은 경량화된 **단서 회복 모듈(Cue Recovery Module)**을 도입합니다.

• 메커니즘: "어텐션 싱크(attention sink)" 현상에서 영감을 받아, 이 모듈은 특정 토큰(예: <BOS>)을 "싱크 토큰(sink token)"으로 지정합니다.
• 작동 방식: 프리필(prefill) 단계(자기회귀 생성 전) 동안, 이 싱크 토큰은 시각적 토큰 시퀀스에 대해 **전용 교차 주의(dedicated cross-attention)**를 수행합니다.
  • 이는 작업 관련 시각 정보를 내부 은닉 상태 표현($\hat{S}$)으로 집계합니다.
  • 이 집계는 교사의 감독으로부터 오는 그래디언트에 의해 유도되며, 싱크 토큰이 질문과 관련된 시각적 특징을 유지하도록 독려합니다.
• 효율성: 이 모듈은 교차 주의 메커즘을 위한 파라미터만을 추가하며 프리필 단계에서만 작동합니다. 이는 추론 시 자기회귀 오버헤드를 발생시키지 않으며, 표준 멀티모달 추론 인터페이스를 그대로 유지합니다.

학습 목표

시스템은 샘플링된 토큰 기반의 온-폴리시 증류 목표(PPO 스타일)를 사용합니다:

• 교사는 $(X, S)$를 바탕으로 감독을 생성합니다.
• 학생은 $(X, \hat{S})$를 바탕으로 생성하며, 여기서 $\hat{S}$는 싱크 토큰에 의해 회복된 내부 표현입니다.
• 손실(loss)은 교사와 학생 간의 어드밴티지 가중 로그 확률 차이로 계산됩니다. 단서 텍스트 생성을 위한 별도의 보조 손실은 필요하지 않으며, 회복 모듈은 오직 증류 신호를 통해 엔드투엔드로 학습됩니다.

3. 주요 기여

1. 문제 식별: 본 논문은 멀티모달 OPSD에서의 정답 기반 특권이 시각적 근거 형성 대신 지름길 학습을 유도하는 학습-테스트 불일치를 일으킨다는 점을 밝혀냈습니다.
2. ViCuR 프레임워크: 정답 측면의 특권을 회복 가능한 시각적 단서로 대체하고, 학생이 추론 파이프라인을 변경하지 않고도 내부적으로 이 증거를 집계할 수 있도록 하는 경량 싱크 토큰 교차 주의 모듈을 제안했습니다.
3. 실증적 검증: 7개의 벤치마크와 2개의 모델 규모(2B 및 8B)를 통해 검증되었으며, 동일 백본의 셀프 증류 및 더 강력한 교사 기반의 OPD 베이스라인보다 일관된 개선을 보여주었습니다.

4. 실험 결과

실험은 Qwen3-VL(2B 및 8B)을 학생 백본으로 사용하여 7개의 벤치마크에서 수행되었습니다: Vision R1-Test (인도메인), DynaMath, MathVista, WeMath, MathVerse (근접 도메인), MMMU-Val, Video-MME (외부 도메인).

• 정답 기반 OPSD 대비:
  • ViCuR은 기존의 정답 기반 OPSD보다 일관되게 높은 성능을 보였습니다.
  • 2B 학생: 평균 +1.19 개선.
  • 8B 학생: 평균 +1.24 개선.
  • 특히, 표준 OPSD는 종종 베이스 모델보다 낮은 성능을 보이는 반면(2B 기준 44.88 vs 45.42), ViCuR은 이러한 성능 저하를 완화합니다.
• 더 강력한 교사 기반 OPD 대비:
  • ViCure는 더 큰 외부 교사(예: 8B 학생을 위한 32B 교사)를 사용하는 설정에도 효과적으로 확장됩니다.
  • 2B 학생: OPD 베이스라인 대비 평균 +0.64 개선.
  • 8B 학생: OPD 베이스라인 대비 +1.08 개선.
  • 외부 도메인 작업(예: 2B에서 MMMU-Val +2.30)에서 상당한 이득이 관찰되었으며, 이는 추론 능력의 더 나은 전이를 시사합니다.
• 절제 연구(Ablation Studies):
  • 시각적 단서: 성능 향상의 주된 원인은 정답 특권을 시각적 단서로 교체한 데서 왔습니다 (+2.80 ~ +4.36 이득).
  • 회복 모듈: 단서 회복 모듈을 추가했을 때 추가적인 이득이 발생하여, 내부적 증거 집계의 필요성을 확인했습니다.
  • 힌트 누출(Hint Leakage): ViCura는 정답 기반 OPSD에 비해 학생의 롤아웃에서 "Hint" 토큰을 명시적으로 재현하는 빈도가 현저히 낮았으며, 이는 특권 프롬프트 패턴에 대한 의존도가 감소했음을 나타냅니다.

5. 의의 및 주장

본 논문은 멀티모달 온-폴리시 증류에서 교사의 특권 설계가 교사의 강도만큼 중요하다고 주장합니다.

• 모방을 넘어선 근거 형성: 특권 정보가 추론 시의 입력으로부터 회복 가능하다는 것을 보장함으로써, ViCura는 학생이 정답 인지 지름길에 맞추는 것이 아니라 시각적으로 근거 있는 추론을 학습하도록 강제합니다.
• 효율성: 이 방법은 추론 지연 시간을 늘리거나 복잡한 보조 생성 작업을 요구하지 않고도 이러한 이득을 달달하며, 기존 증류 파이프라인에 대한 실용적인 업그레이드가 됩니다.
• 일반화 가능성: 이 접근 방식은 모델 스케일링과 무관하게 적용 가능하여, 셀프 증류와 크로스 스케일 증류 모두에 이점을 주며, 인도메인, 근접 도메인 및 외부 도메인 추론 작업 전반에서 견고함을 보여줍니다.

저자들은 추론 시 회복 가능한 시각적 증거를 중심으로 특권을 설계하는 것이 증류된 모델에서 고품질의 멀티모달 추론을 달성하기 위한 핵심적이고 흔히 간과되는 요소라고 결론짓습니다.