Riepilogo Tecnico: Distillazione On-Policy con Vantaggio Visivo per Modelli Vision-Language

1. Enunciato del Problema

La distillazione della conoscenza on-policy si è dimostrata efficace per comprimere i Large Language Models (LLM) addestrando uno studente a corrispondere alla distribuzione di output di un insegnante sui suoi stessi rollouts generati. Tuttavia, l'applicazione di questo paradigma ai Vision-Language Models (VLM) rivela una discrepanza critica: la distillazione standard tratta tutti i token in modo uniforme, non riuscendo a distinguere tra l'impalcatura linguistica e i token che dipendono genuinamente da evidenze visive fini.

Gli autori osservano che nei tipici rollouts dei VLM, la stragrande maggioranza dei token funge da modelli linguistici o strutture di ragionamento, mentre solo una piccola minoranza è determinata da dettagli visivi (ad esempio, numeri specifici in un diagramma). La minimizzazione standard della divergenza di Kullback-Leibler (KL) media i gradienti in modo uniforme su tutti i token. Di conseguenza, il forte segnale di supervisione presente nei pochi token critici per la visione viene diluito dai numerosi token linguistici circostanti. Di conseguenza, sebbene l'accuratezza dell'output dello studente possa migliorare, la sua sottostante dipendenza dall'input visivo non si rafforza; lo studente imita il testo superficiale dell'insegnante senza effettivamente imparare a prestare attenzione all'immagine.

2. Metodologia: Distillazione On-Policy con Vantaggio Visivo (VA-OPD)

Per affrontare questa diluizione, gli autori propongono la Distillazione On-Policy con Vantaggio Visivo (VA-OPD), un metodo che identifica e priorizza esplicitamente i token che richiedono dettagli visivi fini.

2.1 Vantaggio Visivo (VA)

Lo strumento diagnostico fondamentale è il Vantaggio Visivo (VA), una metrica a livello di token che quantifica la dipendenza dell'insegnante dai dettagli visivi. Per ogni token $y_t$ in un rollout generato dallo studente, il VA è calcolato come la differenza di log-probabilità rettificata in modo non negativo tra il punteggio dell'insegnante con l'immagine originale ($v$) e un'immagine degradata ($\tilde{v}$) in cui i dettagli fini (ad esempio, OCR, piccoli simboli) sono distrutti tramite downsampling:
$$a_t = \max(\log p_T(y_t | v, q, y_{<t}) - \log p_T(y_t | \tilde{v}, q, y_{<t}), 0)$$
Un VA elevato indica che la previsione del token dipende fortemente dai dettagli visivi fini, mentre un VA basso suggerisce che il token si basa su prior linguistici o su caratteristiche globali robuste dell'immagine.

2.2 Osservazioni Chiave

L'analisi empirica dei rollouts dello studente rivela due proprietà critiche:

1. Sparsità: Il VA è a coda pesante; il 10% superiore dei token trasporta circa il 93% della massa totale del VA.
2. Concentrazione della Supervisione: Mascherare la perdita KL sui token ad alto VA causa un calo significativo dell'accuratezza, mentre mascherare token a basso VA o casuali ha un effetto trascurabile. Ciò conferma che il segnale di supervisione visiva è concentrato in una piccola minoranza di token.

2.3 L'Obiettivo VA-OPD

VA-OPD modifica l'obiettivo standard di distillazione on-policy applicando il VA a due granularità per prevenire la diluizione del segnale:

• Ripesatura a Livello di Rollout: Per un insieme di $K$ rollouts fratelli generati per lo stesso prompt, ogni rollout riceve un peso morbido basato sul suo VA medio sulla traiettoria rispetto ai suoi fratelli. I rollouts con una maggiore dipendenza visiva contribuiscono di più al gradiente.
• KL Raggruppato a Livello di Token: All'interno di ogni rollout, i token sono ordinati per VA e divisi in un Gruppo ad Alto VA (frazione superiore, es. 20%) e un Gruppo a Basso VA (resto). La perdita KL per token è mediata separatamente all'interno di ciascun gruppo prima di essere sommata. Ciò garantisce che il contributo del gradiente dai token critici ad alto VA non venga ridimensionato dalla lunghezza totale della sequenza $T$.

La funzione di perdita finale combina questi componenti:
$$\mathcal{L}_{\text{VA-OPD}} = \mathbb{E}_{x \sim D} \left[ \sum_{k=1}^K w^{(k)} \left( \lambda \cdot \frac{1}{|V^{(k)}|} \sum_{t \in V^{(k)}} \text{KL}_t + (1-\lambda) \cdot \frac{1}{|L^{(k)}|} \sum_{t \in L^{(k)}} \text{KL}_t \right) \right]$$
dove $w^{(k)}$ è il peso del rollout e $\lambda$ bilancia i contributi dei gruppi ad alto e basso VA.

3. Contributi Chiave

1. Identificazione del Problema di Diluizione: Gli autori dimostrano che la distillazione on-policy standard per i VLM non riesce a rafforzare la dipendenza visiva perché la ponderazione KL uniforme diluisce il segnale di supervisione visiva concentrato presente in una piccola minoranza di token.
2. Introduzione del Vantaggio Visivo (VA): Propongono il VA come una metrica controfattuale relativa all'insegnante per quantificare la dipendenza visiva a livello di token senza richiedere annotazioni aggiuntive o modelli di ricompensa.
3. Framework VA-OPD: Introducono un obiettivo di distillazione che utilizza il VA a due livelli (ripesatura del rollout e KL raggruppato a livello di token) per concentrare il segnale di apprendimento sulle posizioni critiche per la visione.
4. Validazione Empirica: Il metodo è stato validato su tre dimensioni di insegnanti (4B, 8B, 32B), due dataset (Geometry3K, ViRL39K) e otto benchmark, mostrando miglioramenti coerenti rispetto alle baseline standard.

4. Risultati Sperimentali

Gli autori hanno valutato VA-OPD sulla famiglia Qwen3-VL (insegnante 8B, studente 2B) addestrata su Geometry3K, con test di generalizzazione su ViRL39K e diverse dimensioni di insegnanti.

• Miglioramenti delle Prestazioni: VA-OPD ha superato l'OPD Standard su tutti gli otto benchmark.
  • Ragionamento Matematico: Miglioramento medio di +2.9 punti.
  • Comprensione Visiva: Miglioramento medio di +1.5 punti.
  • Benchmark Specifici: Sono stati osservati guadagni notevoli su HallusionBench (+2.5) e AI2D (+2.4), compiti fortemente dipendenti da dettagli visivi fini. I benchmark che consentono scorciatoie testuali (ad esempio MMStar) hanno mostrato guadagni più piccoli, coerentemente con il focus del metodo sulla dipendenza visiva.
• Leggi di Scalabilità: Il guadagno di prestazioni di VA-OPD rispetto all'OPD Standard è aumentato monotonicamente sia con la dimensione dell'insegnante (da 4B a 32B) che con la scala del dataset (da Geometry3K a ViRL39K), suggerendo che i fattori si combinano in modo coerente.
• Dipendenza Visiva: Durante l'addestramento, il VA medio dei rollouts dello studente è aumentato in sincronia con l'accuratezza per VA-OPD, mentre l'OPD Standard ha mostrato un aumento dell'accuratezza con un VA stagnante. Ciò indica che VA-OPD raggiunge una genuina dipendenza visiva piuttosto che una mera imitazione dell'output.
• Efficienza: VA-OPD ha raggiunto l'accuratezza finale dell'OPD Standard in circa 3.0 volte meno tempo (tempo reale) e ha raggiunto un limite di prestazioni superiore con budget di tempo fissi.

5. Significato e Affermazioni

Il documento afferma che VA-OPD rappresenta il primo metodo per incorporare la dipendenza per-token dai dettagli visivi fini direttamente nell'obiettivo di distillazione on-policy per i VLM. Il suo significato risiede in:

• Meccanismo: Risolve il problema della "diluizione" separando esplicitamente i token critici per la visione dall'impalcatura linguistica durante il processo di distillazione.
• Efficienza: Non richiede annotazioni aggiuntive, modelli di ricompensa o modifiche al processo di generazione dello studente, aggiungendo solo un passaggio forward aggiuntivo dell'insegnante per rollout (con dettagli visivi degradati).
• Generalizzabilità: Il metodo migliora le prestazioni su diverse scale di modelli e volumi di dati, suggerendo che affronta una limitazione fondamentale delle attuali strategie di distillazione dei VLM piuttosto che un artefatto specifico di un dataset.
• Cambiamento Qualitativo: A differenza dei metodi al momento dell'inferenza che modificano la decodifica, VA-OPD modifica l'obiettivo di addestramento per garantire che lo studente impari a "leggere" l'immagine, come dimostrato dall'emergere di punti caldi del VA su valori numerici e caratteristiche dei diagrammi nelle visualizzazioni qualitative.

Gli autori mantengono un tono modesto riguardo alle limitazioni, notando che il VA è un proxy per la dipendenza visiva basato su controfattuali dell'insegnante piuttosto che una misurazione diretta dei meccanismi di attenzione interni, e che i guadagni sono più pronunciati su compiti intensivi per la visione.