Sintesi Tecnica: Visual Attribution Distillation (VAD) per la Distillazione Multimodale On-Policy

1. Definizione del Problema

I Modelli Linguistici Multimodali (MLLM) spesso falliscono a causa di piccoli errori percettivi (ad esempio, trascurare una parola o interpretare male una relazione spaziale), che possono compromettere l'intera traiettoria di generazione. La Distillazione On-Policy (OPD) affronta questo problema supervisionando le traiettorie generate dallo studente tramite un insegnante con "vista privilegiata" (un modello con accesso a prove visive migliori, come ritagli ad alta risoluzione).

Tuttavia, gli attuali metodi di OPD con vista privilegiata soffrono di correzioni a sorgente mista. Quando un insegnante corregge un token dello studente, la correzione è una miscela di:

1. Segnali visivi: Prove derivate dalla vista privilegiata.
2. Prior linguistici: Schemi linguistici generali.
3. Effetti specifici dell'insegnante: Idiosincrasie del modello insegnante.

Gli approcci esistenti non riescono a distinguere quale parte della correzione dell'insegnante sia effettivamente supportata dall'evidenza visiva.

• Vision-OPD distilla direttamente l'intera distribuzione dell'insegnante, trasferendo rumore a sorgente mista.
• VA-OPD e V-Zero utilizzano un "vantaggio visivo" per pesare i token o le traiettorie, ma non riescono a ricostruire esplicitamente il target in base a ciò che l'evidenza supporta. Crucialmente, le metriche di vantaggio visivo positivo possono mancare la smentita (refutation): rivelare l'evidenza può sopprimere un token errato senza necessariamente potenziare quello corretto, una dinamica che le standard metriche di vantaggio non riescono a catturare efficacemente.

La sfida principale è stimare quale componente della correzione di un insegnante sia attribuibile a un intervento visivo controllato, piuttosto che determinare semplicemente dove o quanto fortemente distillare.

2. Metodologia: Visual Attribution Distillation (VAD)

VAD introduce un algoritmo di ricostruzione del target controfattuale che isola la parte visivamente attribuibile di una correzione dell'insegnante. Il metodo opera durante l'addestramento utilizzando un insegnante fisso e una policy dello studente, ma non richiede viste ausiliarie durante l'inferenza.

2.1 Viste Controfattuali On-Policy

Per ogni prefisso $y_{<t}$ generato dallo studente, VAD interroga lo stesso insegnante fisso in tre condizioni:

1. Vista dello Studente ($p^0_S$): La distribuzione dello studente data l'immagine completa $x^0$.
2. Vista con Evidenza Presente ($p^+_T$): La distribuzione dell'insegnante data una vista ritagliata e ricca di evidenze $x^+$.
3. Vista con Evidenza Rimossa ($p^-_T$): La distribuzione dell'insegnante data una vista degradata o rimossa $x^-$.

2.2 Attribuzione tramite Proxy di Intervento

VAD definisce due vettori nello spazio delle probabilità logaritmiche centrate:

• Correzione dell'Insegnante ($r_t$): La differenza tra l'insegnante privilegiato ($p^+_T$) e lo studente ($p^0_S$).
• Proxy dell'Evidenza Visiva ($u_t$): La differenza tra le viste dell'insegnante con evidenza presente e con evidenza rimossa ($p^+_T - p^-_T$).

Il vettore $u_t$ funge da proxy con segno per la direzione dell'evidenza visiva. Un valore positivo indica che l'evidenza supporta un token; un valore negativo indica che l'evidenza smentisce un token.

2.3 Ricostruzione del Target

Invece di corrispondere all'intera distribuzione dell'insegnante, VAD ricostruisce un nuovo target proiettando la correzione originale $r_t$ sul proxy visivo $u_t$:

1. Decomposizione: La correzione viene divisa in una componente visivamente attribuita ($r^{vis}_t$) e un residuo ($r^{res}_t$).
   • $r^{vis}_t = \beta_t u_t$, dove $\beta_t$ è un coefficiente non negativo che assicura che venga preservata solo l'accordo con la direzione visiva.
   • $r^{res}_t = r_t - r^{vis}_t$ (trattato come un residuo misto, non puramente linguistico).
2. Branching di Supporto e Smentita: Il metodo separa i rami di supporto (positivo $u_t$) e di smentita (negativo $u_t$). Alloca un "budget di correzione visiva" a questi rami, limitando la quota di supporto per evitare che l'evidenza incerta domini.
3. Target Ancorato allo Studente: Il target finale $q^{VAD}_{T,t}$ è costruito applicando lo shift visivo raffinato e con segno alla distribuzione attuale dello studente ($p^0_S$), anziché a quella dell'insegnante. Ciò assicura che il target rimanga ancorato allo stato dello studente pur correggendo solo i token supportati dall'evidenza.

2.4 Obiettivo di Addestramento

Il segnale di supervisione primario è la Divergenza di Jensen-Shannon (JSD) tra lo studente e il target ricostruito ($q^{VAD}_{T,t}$).

• Regolarizzatore Debole: Per prevenire il drift linguistico (ad esempio, instabilità nel formato o nella lunghezza) causato dal focus esclusivo sulle correzioni visive, viene aggiunto un debole regolarizzatore derivato dalla distribuzione originale dell'insegnante privilegiato. Questo ancora la semantica e il formato senza sovrascrivere la ricostruzione visiva.

3. Contributi Chiave

1. Identificazione dei Limiti della Sorgente Mista: Il documento identifica che la corrispondenza diretta con l'insegnante e la ponderazione del vantaggio visivo positivo falliscono nel determinare esplicitamente quali componenti della correzione siano supportati da interventi visivi controllati.
2. Algoritmo VAD: Introduzione di un metodo che utilizza interventi visivi controfattuali per:
   • Costruire un proxy della direzione per l'evidenza visiva.
   • Decomporre la correzione dell'insegnante in componenti visivamente attribuite e residue.
   • Ricostruire un target ancorato allo studente che separi supporto e smentita.
3. Validazione Empirica: Dimostrazione di guadagni consistenti attraverso sei benchmark visivi granulari a scale di 4B e 9B parametri, superando la distillazione diretta e la ponderazione del vantaggio visivo.

4. Risultati Sperimentali

Gli autori hanno valutato VAD su modelli Qwen3.5-4B e Qwen3.5-9B attraverso sei benchmark (V*, ZoomBench, HR-Bench 4K/8K, MME-RealWorld EN/CN).

• Guadagni di Performance: VAD ha ottenuto la massima accuratezza media (Avg6) a entrambe le scale, superando i migliori baseline della stessa scala di 2,40 punti (4B) e 2,80 punti (9B).
• Confronto con SOTA: Il checkpoint VAD da 4B ha superato significativamente modelli molto più grandi, inclusi Gemini 3 Flash, Gemini 3.1 Pro e il modello Qwen3.5 da 397B.
• Analisi Semantica: L'analisi di decomposizione ha confermato che la componente attribuita ($r^{vis}_t$) è arricchita in attributi visivi, oggetti e token decisionali (es. "verticale", "metallo", "A/B/C/D"), mentre la componente residua ($r^{res}_t$) contiene scaffold linguistici e meta-contenuti.
• Generalizzazione: A differenza di altri metodi di post-training che talvolta degradano la generalizzazione su task non visti, VAD ha preservato o leggermente migliorato le performance su task hold-out (MMVP, CV-Bench, MMStar, POPE), dimostrando che la specializzazione visiva non ha sacrificato le capacità più ampie.
• Studi di Ablazione:
  • Ricostruzione del Target: La ricostruzione consapevole dei rami ha fornito il guadagno maggiore (+1,00 punto rispetto alla proiezione unidirezionale senza regolarizzazione).
  • Regolarizzazione: L'ancora debole dell'insegnante è stata cruciale per stabilizzare il formato e la lunghezza dell'output.
  • Divergenza: La JSD è stata trovata essere la divergenza più equilibrata rispetto alla Forward o Reverse KL.

5. Significato e Rivendicazioni

Il documento sostiene che la ricostruzione del target controfattuale è un'alternativa più efficace alla supervisione a sorgente mista nella OPD multimodale. Attribuendo esplicitamente le correzioni all'evidenza visiva e ricostruendo il target di apprendimento attorno alla distribuzione dello studente, VAD assicura che il modello impari ciò che l'immagine supporta piuttosto che imitare ciecamente i segnali misti di un insegnante.

Gli autori posizionano VAD come un metodo che migliora l'efficienza dei parametri (modelli piccoli che superano modelli molto più grandi) e il grounding percettivo senza richiedere una complessa ricerca all'inferenza o l'uso di strumenti. Il metodo è presentato come una soluzione robusta al "problema dell'attribuzione della correzione visiva", offendo un modo rigoroso per filtrare il rumore dalla supervisione privilegiata.

Limitazioni riconosciute dagli Autori:

• L'evidenza visiva è rappresentata da un singolo vettore contrastivo da una coppia di viste, il che potrebbe influenzare la composizione dell'evidenza.
• La proiezione attuale produce un arricchimento semantico piuttosto che una separazione perfettamente identificabile; la componente attribuita può ancora trattenere alcuni effetti non visivi dell'insegnante.