Riepilogo Tecnico: ViCuR: Visual Cues as Recoverable Privilege for Multimodal On-Policy Distillation

1. Definizione del Problema

I compiti di ragionamento multimodale (ad es. risoluzione di problemi di geometria, analisi di grafici, visual question answering) richiedono che i modelli integrino input visivi con un ragionamento multi-step. La Distillazione On-Policy (OPD) è emersa come un metodo pratico per migliorare queste capacità, addestrando un modello studente su traiettorie campionate dalla propria policy, supervisionate da un insegnante (teacher).

Nei contesti di Privileged Teacher, l'insegnante è condizionato da segnali disponibili solo durante l'addestramento e non disponibili per lo studente durante l'inferenza. I metodi esistenti di Multimodal On-Policy Self-Distillation (OPSD) si affidano tipicamente a privilegi lato risposta (ad es. risposte di riferimento o ragionamenti verificati). Gli autori identificano un difetto critico in questo approccio:

• Discrepanza Train-Test: Quando la supervisione dell'insegnante dipende da informazioni lato risposta ($p$) che lo studente non può accedere durante l'inferenza, lo studente è incoraggiato a imparare l'imitazione di scorciatoie ("shortcut imitation", ovvero adattarsi a pattern consapevoli della risposta) piuttosto che un vero ragionamento visivamente fondato.
• Gap indotto dal Privilegio: Ciò crea un gap informativo condizionale in cui la policy dell'insegnante dipende da variabili ($p$) non determinate dall'input ($X$) al tempo di inferenza, portando a capacità di ragionamento subottimali e a un potenziale degrado delle prestazioni rispetto al modello base.

2. Metodologia: ViCuR

Gli autori propongono ViCuR (Visual Cues as Recoverable Privilege), un framework che sostituisce i privilegi lato risposta con indizi visivi fondati (visual cues).

Concetto Centrale: Privilegio Recuperabile

Inveve di condizionare l'insegnante sulla risposta ($R$), ViCuR condiziona l'insegnante su un indizio visivo ($S$) — una descrizione delle evidenze rilevanti per la domanda derivata direttamente dall'immagine o dal video in input (ad es. "il diagramma mostra due corde che si intersecano").

• Giustificazione Teorica: Sotto un'astrazione deterministica idealizzata in cui l'indizio è una funzione dell'input ($S = f(X)$), l'indizio non introduce alcuna informazione aggiuntiva oltre a $X$. Pertanto, $I(Y_t; S | X, Y_{<t}) = 0$. La supervisione dell'insegnante rimane ancorata a informazioni disponibili al tempo di inferenza, mitigando la discrepanza train-test.
• Realtà Pratica: Sebbene gli indizi possano essere generati stocasticamente, essi descrivono evidenze visibili piuttosto che risposte nascoste, riducendo significativamente il gap di privilegio rispetto ai metodi basati sulla risposta.

Architettura: Recupero degli Indizi basato su Sink

Poiché lo studente non riceve esplicitamente il testo dell'indizio durante l'inferenza, deve imparare a estrarre internamente le evidenze rilevanti dai token visivi. ViCuR introduce un modulo leggero di Recupero degli Indizi (Cue Recovery Module):

• Meccanismo: Ispirato al fenomeno dell' "attention sink", il modulo designa un token specifico (ad es. <BOS>) come "sink token".
• Operazione: Durante la fase di prefill (prima della generazione autoregressiva), questo sink token esegue una cross-attention dedicata sulla sequenza di token visivi.
  • Esso aggrega l'informazione visiva rilevante per il compito in una rappresentazione dello stato latente interno ($\hat{S}$).
  • Questa aggregazione è guidata dall'obiettivo di distillazione, dove i gradienti della supervisione dell'insegnante incoraggiano il sink a mantenere le caratteristiche visive rilevanti per la domanda.
• Efficienza: Il modulo aggiunge parametri solo per il meccanismo di cross-attention e opera esclusivamente durante il prefill. Non introduce alcun overhead autoregressivo durante l'inferenza e preserva l'interfaccia di inferenza multimodale standard.

Obiettivo di Addestramento

Il sistema utilizza un obiettivo di distillazione on-policy basato su token campionati (stile PPO):

• L'insegnante genera la supervisione basata su $(X, S)$.
• Lo studente genera basandosi su $(X, \hat{S})$, dove $\hat{S}$ è la rappresentazione interna recuperata dal sink token.
• La perdita (loss) è calcolata come la differenza di log-probabilità pesata dall'advantage tra l'insegnante e lo studente. Non è richiesta alcuna loss ausiliaria per la generazione del testo dell'indizio; il modulo di recupero è addestrato end-to-end esclusivamente tramite il segnale di distillazione.

3. Contributi Chiave

1. Identificazione del Problema: Il paper identifica che i privilegi basati sulla risposta nella OPSD multimodale inducono una discrepanza train-test che incoraggia l'apprendimento di scorciatoie (shortcut learning) invece del grounding visivo.
2. Framework ViCuR: Propone di sostituire il privilegio lato risposta con indizi visivi recuperabili e introduce un modulo leggero di cross-attention tramite sink-token per consentire allo studente di aggregare internamente tali evidenze senza alterare la pipeline di inferenza.
3. Validazione Empirica: Il metodo è validato attraverso sette benchmark e due scale di modelli (2B e 8B), dimostrando miglioramenti costanti sia rispetto alla self-distillation con lo stesso backbone che rispetto alle baseline OPD con un teacher più forte.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando Qwen3-VL (2B e 8B) come backbone dello studente su sette benchmark: Vision R1-Test (in-domain), DynaMath, MathVista, WeMath, MathVerse (near-domain), e MMMU-Val, Video-MME (out-of-domain).

• vs. OPSD basata sulla Risposta:
  • ViCuR supera costantemente la convenzionale OPSD basata sulla risposta.
  • Studente 2B: Miglioramento medio di +1.19.
  • Studente 8B: Miglioramento medio di +1.24.
  • Notevolmente, la OPSD standard spesso performa peggio del modello base (ad es. 44.88 vs 45.42 per il 2B), mentre ViCuR mitiga questo degrado.
• vs. OPD con Teacher più Forte:
  • ViCuR si estende efficacemente a setting con teacher esterni più grandi (ad es. teacher da 32B per studente da 8B).
  • Studente 2B: +0.64 di miglioramento medio rispetto alle baseline OPD.
  • Studente 8B: +1.08 di miglioramento medio.
  • Si sono osservati guadagni significativi nei compiti out-of-domain (ad es. +2.30 su MMMU-Val per il 2B), suggerendo un migliore trasferimento delle capacità di ragionamento.
• Studi di Ablazione:
  • Indizi Visivi (Visual Cues): La fonte primaria di miglioramento deriva dalla sostituzione dei privilegi della risposta con indizi visivi (+2.80 a +4.36 di guadagno).
  • Modulo di Recupero (Recovery Module): L'aggiunta del modulo di recupero degli indizi fornisce ulteriori guadagni, confermando la necessità dell'aggregazione interna delle evidenze.
  • Leakage degli Hint (Hint Leakage): ViCuR riduce significativamente la riproduzione esplicita dei token "Hint" nei rollout dello studente rispetto alla OPSD basata sulla risposta, indicando una ridotta dipendenza dai pattern di prompt privilegiati.

5. Significato e Assertions

Il paper sostiene che nella distillazione on-policy multimodale, la progettazione del privilegio dell'insegnante è importante quanto la forza dell'insegnante stesso.

• Grounding sopra l'Imitazione: Garantendo che l'informazione privilegiata sia recuperabile dall'input al tempo di inferenza, ViCuR costringe lo studente a imparare un ragionamento visivamente fondato piuttosto che ad adattarsi a scorciatoie consapevoli della risposta.
• Efficienza: Il metodo ottiene questi guadagni senza aumentare la latenza di inferenza o richiedere complessi compiti di generazione ausiliari, rendendolo un aggiornamento pratico per le pipeline di distillazione esistenti.
• Generalizzabilità: L'approccio è ortogonale alla scalabilità del modello, beneficiando sia la self-distillation che la cross-scale distillation, e mostra robustezza attraverso compiti di ragionamento in-domain, near-domain e out-of-domain.

Gli autori concludono che progettare il privilegio attorno a evidenze visive recuperabili all'inferenza è un fattore critico, spesso trascurato, per raggiungere un ragionamento multimodale di alta qualità nei modelli distillati.