기술 요약: 멀티모달 온-폴리시 증류를 위한 시각적 속성 추출 증류 (Visual Attribution Distillation, VAD)

1. 문제 정의

멀티모달 거대 언어 모델(MLLM)은 미세한 지각 오류(예: 단어를 간과하거나 공간적 관계를 잘못 읽는 것)로 인해 전체 생성 궤적을 망치는 경우가 빈번합니다. **온-폴리시 증류(On-Policy Distillation, OPD)**는 더 나은 시각적 증거(예: 고해상도 크롭 이미지)에 접근할 수 있는 "특권 뷰(privileged-view)"를 가진 교사 모델을 사용하여 학생 모델이 생성한 궤적을 감독함으로써 이 문제를 해결합니다.

그러나 현재의 특권 뷰 OPD 방식들은 소스 혼합 수정(source-mixed corrections) 문제에 직면해 있습니다. 교사가 학생의 토큰을 수정할 때, 그 수정 사항은 다음 요소들이 혼합된 결과물입니다:

1. 시각적 신호: 특권 뷰로부터 도출된 증거.
2. 언어적 사전 지식: 일반적인 언어 패턴.
3. 교사 모델 특유의 효과: 교사 모델 자체의 고유한 특성.

기존 방식들은 교사의 수정 중 어떤 부분이 실제로 시각적 증거에 의해 뒷받침되는지를 구별하지 못합니다.

• Vision-OPD는 교사의 전체 분포를 직접적으로 증류하여, 소스가 혼합된 노이즈까지 함께 전이시킵니다.
• VA-OPD 및 V-Zero는 "시각적 이점(visual advantage)"을 사용하여 토큰이나 궤적에 가중치를 부여하지만, 무엇이 증거를 뒷받침하는지에 기반하여 타겟을 명시적으로 재구성하는 데는 실패합니다. 결정적으로, 양(+)의 시각적 이점 지표는 반박(refutation), 즉 증거를 보여줌으로써 잘못된 토큰을 억제하되 반드시 올바른 토큰을 강화하지는 않는 역동적인 과정을 효과적으로 포착하지 못합니다.

핵심 과제는 교사의 수정 중 어느 성분이 단순히 '어디서' 또는 '얼 l만큼 강하게' 증류되는지를 넘어, 통제된 시각적 개입에 의해 귀속되는 것인지를 추정하는 것입니다.

2. 방법론: 시각적 속성 추출 증류 (VAD)

VAD는 교사의 수정 중 시각적으로 귀속 가능한 부분을 분리해내는 **역사실적 타겟 재구성 알고리즘(counterfactual target-reconstruction algorithm)**을 도입합니다. 이 방법은 고정된 교사와 학생 정책을 사용하여 훈련 중에 작동하지만, 추론 시에는 별도의 보조 뷰를 요구하지 않습니다.

2.1 역사실적 온-폴리시 뷰 (On-Policy Counterfactual Views)

모든 학생 생성 프리픽스 $y_{<t}$에 대해, VAD는 동일한 고정 교사에게 다음 세 가지 조건으로 질의합니다:

1. 학생 뷰 ($p^0_S$): 전체 이미지 $x^0$가 주어진 학생의 분포.
2. 증거 존재 뷰 ($p^+_T$): 크롭된 증거 풍부 뷰 $x^+$가 주어진 교사의 분포.
3. 증거 제거 뷰 ($p^-_T$): 저하되거나 제거된 뷰 $x^-$가 주어진 교사의 분포.

2.2 개입 프록시를 통한 속성 추출 (Attribution via Intervention Proxy)

VAD는 중심화된 로그 확률 공간에서 두 개의 벡터를 정의합니다:

• 교사 수정 ($r_t$): 특권 교사($p^+_T$)와 학생($p^0_S$) 사이의 차이.
• 시각적 증거 프록시 ($u_t$): 증거 존재 뷰와 증거 제거 뷰 사이의 교사 뷰 차이 ($p^+_T - p^-_T$).

벡터 $u_t$는 시각적 증거 방향에 대한 부호가 있는 프록시(signed proxy) 역할을 합니다. 양(+)의 값은 증거가 토큰을 지지함을 나타내고, 음(-)의 값은 증거가 이를 반박함을 나타냅니다.

2.3 타겟 재구성 (Target Reconstruction)

VAD는 원래의 교사 분포를 그대로 따르는 대신, $u_t$에 투영(projection)하여 새로운 타겟을 재구성합니다:

1. 분해 (Decomposition): 수정 사항을 시각적으로 귀속된 성분($r^{vis}_t$)과 잔차 성분($r^{res}_t$)으로 나눕니다.
   • $r^{vis}_t = \beta_t u_t$이며, 여기서 $\beta_t$는 시각적 방향과의 일치성만을 보존하기 위한 비음수 계수입니다.
   • $r^{res}_t = r_t - r^{vis}_t$ (이는 순수하게 언어적인 것이 아닌, 혼합된 잔차로 취급됩니다).
2. 지지 및 반박 분기 (Support and Refutation Branching): 방법론은 지지(positive $u_t$) 브랜치와 반박(negative $u_t$) 브랜치를 분리합니다. 이는 불확실한 증거가 지배적인 상황을 방지하기 위해 지지 셰어를 제한하는 "시각적 수정 예산"을 할당합니다.
3. 학생 중심 타겟 (Student-Anchored Target): 최종 타겟 $q^{VAD}_{T,t}$는 교사의 분포가 아닌, 정제되고 부호가 부여된 시각적 변화를 학생의 현재 분포($p^0_S$)에 적용하여 구축됩니다. 이를 통해 타겟이 학생의 상태에 고정된 상태를 유지하면서도, 증거가 뒷받받하는 토큰만을 수정할 수 있게 합니다.

2.4 훈련 목적 함수 (Training Objective)

주요 감독 신호는 학생과 재구성된 타겟($q^{VAD}_{T,t}$) 사이의 옌센-샤논 발산(Jensen-Shannon Divergence, JSD)입니다.

• 약한 정규화 (Weak Regularizer): 오직 시각적 수정에만 집중함으로써 발생할 수 있는 언어 드리프트(예: 불안정한 포맷팅이나 길이 변화)를 방지하기 위해, 원래의 특권 교사 분포에서 유도된 약한 정규화 항이 추가됩니다. 이는 시각적 재구성을 압도하지 않으면서도 의미론과 포맷을 고정하는 역할을 합니다.

3. 주요 기여

1. 소스 혼합의 한계 식별: 직접적인 교사 매칭과 양의 시각적 이점 가중치 부여 방식이, 통제된 시각적 개입에 의해 뒷받침되는 수정 성분을 명시적으로 추정하지 못한다는 점을 밝혀냈습니다.
2. VAD 알고리즘: 다음을 수행하는 방법을 제안합니다:
   • 시각적 증거를 위한 프록시 방향 구축.
   • 교사 수정을 시각적으로 귀속 가능한 성분과 잔차 성분으로 분해.
   • 지지와 반박을 구분하는 학생 중심 타겟 재구성.
3. 실증적 검증: 4B 및 9B 파라미터 규모에서 6개의 세밀한 시각 벤치마크를 통해, 직접 증류 및 시각적 이점 가중치 방식보다 우수한 성능을 입증했습니다.

4. 실험 결과

저자들은 Qwen3.5-4B 및 Qwen3.5-9B 모델을 대상으로 6개의 벤치마크(V*, ZoomBench, HR-Bench 4K/8K, MME-RealWorld EN/CN)에서 VAD를 평가했습니다.

• 성능 향상: VAD는 두 규모 모두에서 가장 높은 평균 정확도(Avg6)를 달이트하며, 규모가 유사한 베이스라인들을 4B에서는 2.40포인트, 9B에서는 2.80포인트 차이로 앞질렀습니다.
• SOTA와의 비교: 4B VAD 체크포인트는 Gemini 3 Flash, Gemini 3.1 Pro, 그리고 397B 규모의 Qwen3.5를 포함한 훨씬 더 큰 모델들보다 유의미하게 높은 성능을 보였습니다.
• 의미론적 분석: 분해 분석 결과, 귀속된 성분($r^{vis}_t$)은 시각적 속성, 객체, 결정 토큰(예: "vertical", "metal", "A/B/C/D")이 풍부하게 포함되어 있었으며, 잔차 성분($r^{res}_t$)은 언어적 구조(scaffolding) 및 메타 콘텐츠를 포함하고 있음을 확인했습니다.
• 일반화 능력: 학습되지 않은 태스크(MMVP, CV-Bench, MMStar, POPE)에서도 성능이 저하되지 않고 유지되거나 오히려 약간 향상됨으로써, VAD가 광범위한 능력을 희생하지 않으면서 시각적 전문화를 달성했음을 보여주었습니다.
• 절제 연구 (Ablation Studies):
  • 타겟 재구성: 브랜치 인식 재구성이 단방향 투영 대비 가장 큰 이득(+1.00 포인트)을 제공했습니다.
  • 정규화: 약한 교사 앵커(weak teacher anchor)는 출력 포맷과 길이를 안정화하는 데 필수적이었습니다.
  • 발산(Divergence): JSD가 Forward 또는 Reverse KL에 비해 가장 균형 잡힌 기본 발산임이 확인되었습니다.

5. 의의 및 주장

본 논문은 역사실적 타겟 재구성이 멀티모달 OPD에서 소스 혼합 감독의 더 효과적인 대안임을 주장합니다. 시각적 증거에 따라 수정을 명시적으로 귀속시키고 학생의 분포를 중심으로 학습 타겟을 재구성함으로써, VAD는 모델이 단순히 교사의 혼합된 신호를 맹목적으로 모방하는 것이 아니라 이미지가 무엇을 뒷받침하는지를 학습하도록 보장합니다.

저자들은 VAD를 복잡한 추론 시 탐색이나 도구 사용 없이도 파라미터 효율성(작은 모델이 훨씬 큰 모델을 능가함)과 **지각적 접지(perceptual grounding)**를 개선하는 방법론으로 제시합니다. 이 방법은 시각적 수정 귀속 문제를 해결하는 견고한 솔루션으로서, 특권 감독으로부터 노이즈를 필터링하는 원칙적인 방식을 제공합니다.

저자가 인정한 한계점:

• 시각적 증거가 하나의 대조적 벡터(contrastive vector)로 표현되므로, 구성적 증거(compositional evidence)에 편향될 수 있습니다.
• 현재의 투영 방식은 의미론적 풍부함을 제공하지만 완벽한 분리를 보장하지는 않습니다. 즉, 귀속된 성분에 여전히 비시각적인 교사 효과가 일부 남아 있을 수 있습니다.