Riepilogo Tecnico: DeltaPrompts – Uscire dalla Trappola dello Zero-Delta nella Distillazione Multimodale

Enunciato del Problema

La distillazione della conoscenza è diventata un meccanismo fondamentale per dotare i Modelli Vision-Language (VLM) compatti di forti capacità di ragionamento, sfruttando modelli teacher più potenti. Tuttavia, le pratiche attuali fanno affidamento in larga misura su dataset pronti all'uso (ad esempio ChartQA, SciVQA), dove i prompt vengono selezionati tramite euristiche semplici o aggregati da pool esistenti. Gli autori identificano un'inefficienza critica in questo approccio: una porzione significativa di questi prompt è "zero-delta".

Un prompt è definito zero-delta quando i modelli teacher e student inducono esattamente la stessa distribuzione di risposte per un dato input. In tali casi, il segnale di distillazione offre un valore di apprendimento minimo perché lo student non è esposto a un divario di capacità che debba colmare. Il documento rivela che fino al 69% dei prompt nei dataset standard di ragionamento su grafici e documenti è effettivamente zero-delta. L'addestramento su questi prompt causa una rapida saturazione delle prestazioni dello student, indipendentemente dalla scala dei dati. Inoltre, filtrare semplicemente i dataset esistenti per conservare solo prompt non zero-delta è subottimale, poiché riduce drasticamente la diversità dei dati di addestramento (fino al 29,4%), portando a un compromesso in cui si guadagna divergenza a scapito della generalizzazione.

Metodologia

Per affrontare la trappola dello zero-delta, gli autori propongono un passaggio dalla curazione passiva dei dati alla sintesi attiva dei prompt, guidata dal principio della Divergenza delle Risposte ($\Delta$).

1. Definizione della Divergenza delle Risposte

Invece di misurare la divergenza a livello di sequenza (che è rumorosa e computazionalmente intrattabile a causa di output a lunghezza variabile), gli autori definiscono la Divergenza delle Risposte sullo spazio discreto delle risposte finali.

• Metrica: $\Delta(x) = D_{KL}(P_\theta(\cdot|x) \parallel P_T(\cdot|x))$, dove $P_\theta$ e $P_T$ sono le distribuzioni empiriche delle risposte dello student e del teacher, rispettivamente.
• Stima: Le distribuzioni sono approssimate campionando $K=16$ traiettorie da entrambi i modelli. Un giudice LLM (Qwen3-32B) raggruppa risposte semanticamente equivalenti per gestire le variazioni a livello superficiale, consentendo un calcolo robusto della divergenza anche per risposte aperte.

2. La Pipeline di Sintesi DELTAPROMPTS

Gli autori propongono una pipeline di sintesi a più stadi che riutilizza i dataset esistenti come semi anziché come risorse di addestramento dirette. La pipeline consta di tre stadi:

• Stadio 1: Generazione guidata dai Semi: Le coppie immagine-prompt esistenti vengono utilizzate come esempi few-shot per indurre il modello teacher a generare nuovi problemi più difficili per nuove immagini. Questo espande il pool di candidati.
• Stadio 2: Generazione guidata dalle Abilità: Per colpire esplicitamente le modalità di fallimento dello student, la pipeline estrae "abilità" confrontando le traiettorie del teacher (corrette) con quelle dello student (errate) per prompt con divergenza non nulla. Queste abilità (ad esempio, "interpolare scale logaritmiche") vengono poi utilizzate per condizionare il generatore di dati, costringendolo a creare prompt che richiedono queste specifiche capacità mancanti.
• Stadio 3: Rifiuto dello Zero-Delta: Tutti i prompt generati vengono valutati per la divergenza delle risposte. I prompt in cui teacher e student concordano (zero-delta) vengono rifiutati. Vengono conservati solo i prompt con alta coerenza del teacher e divergenza non nulla.

Questo processo dà origine a DELTAPROMPTS, un dataset di 200k problemi di ragionamento sintetici ad alta divergenza che coprono il ragionamento su grafici/documenti e il ragionamento centrato sulla percezione ad alta risoluzione.

Contributi Chiave

1. Identificazione della Trappola dello Zero-Delta: Il documento dimostra empiricamente che i dataset standard di ragionamento multimodale sono dominati da prompt zero-delta, che portano a una saturazione precoce delle prestazioni dello student durante la distillazione.
2. Divergenza delle Risposte come Metrica Principale: Gli autori introducono la divergenza delle risposte come una metrica trattabile e critica per quantificare il divario di capacità tra teacher e student, dimostrando che è un predittore più forte del successo della distillazione rispetto alla sola scala o diversità dei dati grezzi.
3. Una Pipeline di Sintesi a Due Stadi: Un metodo innovativo per generare dati di addestramento di alta qualità che cerca attivamente le modalità di fallimento dello student tramite generazione guidata dalle abilità, invece di filtrare passivamente i dati esistenti.
4. Dataset DELTAPROMPTS: Un dataset su larga scala e diversificato di 200k prompt specificamente ingegnerizzati per massimizzare la divergenza delle risposte, superando le miscele esistenti sia nelle metriche di divergenza che di diversità.

Risultati Sperimentali

Gli autori valutano DELTAPROMPTS in tre contesti distinti utilizzando le famiglie di modelli Qwen3-VL e GLM-4:

• Distillazione On-Policy: Quando si distilla uno student (Qwen3-VL-8B-Thinking) da un teacher (Qwen3-VL-235B-Thinking), DELTAPROMPTS produce fino a un 15% di miglioramento relativo su 10 benchmark (inclusi ChartQA, InfoVQA e RealWorldQA), anche quando lo student di base è già un modello di ragionamento altamente ottimizzato.
• Trasferimento Cross-Family: Il dataset si generalizza a una famiglia di modelli diversa (GLM-4.1V-9B-Thinking) senza rigenerare i dati, semplicemente ri-filtrando per la divergenza non nulla sotto la nuova coppia.
• Fine-Tuning Off-Policy (SFT): Quando utilizzato per il fine-tuning supervisionato standard su un modello non di ragionamento (Qwen3-VL-8B-Instruct), DELTAPROMPTS supera sostanzialmente l'SFT su miscele di dati esistenti e mostra una migliore ritenzione su compiti fuori dominio (Matematica, Logica, STEM) rispetto all'SFT standard.
• Studi di Ablazione:
  • Divergenza vs. Diversità: Controllando per la diversità, l'addestramento su prompt delta ($\Delta > 0$) continua a migliorare le prestazioni con la dimensione dei dati, mentre i prompt zero-delta ($\Delta = 0$) saturano immediatamente.
  • Filtraggio della Coerenza: I prompt in cui il teacher è incoerente (difficili da risolvere anche per il teacher) degradano le prestazioni, validando la necessità di un filtraggio basato sulla coerenza nella pipeline di sintesi.

Significato e Affermazioni

Il documento afferma che il collo di bottiglia centrale nella distillazione multimodale non è l'aggregazione di più prompt o traiettorie, ma la costruzione di prompt in cui teacher e student dissentono in modo significativo.

Spostando il focus dalla quantità dei dati alla qualità della divergenza, gli autori dimostrano che la sintesi mirata dei prompt può produrre guadagni sostanziali con dati significativamente inferiori rispetto all'aggregazione euristica di dataset esistenti. Il lavoro suggerisce che la divergenza delle risposte è una proprietà fondamentale per un efficace scaling nella distillazione, offrendo una via per addestrare modelli compatti capaci in modo più efficiente. Gli autori posizionano DELTAPROMPTS non solo come un dataset, ma come una prova di concetto per un approccio più principiale e centrato sui dati alla distillazione che mira attivamente alle specifiche lacune di capacità del modello student.