Not All Synthetic Data Is Yours to Learn From

Sintesi Tecnica: "Non tutti i dati sintetici sono tuoi per imparare"

Problematica
La visione prevalente nel post-training dei modelli linguistici (LM) moderni è che l'addestramento sui propri output (auto-addestramento ricorsivo) porti al drift distributivo e al "collasso del modello" (model collapse), a meno che i dati sintetici non siano rigorosamente filtrati attraverso verificatori, modelli di ricompensa o controlli di correttezza. Tuttavia, osservazioni recenti suggeriscono che segnali di auto-addestramento deboli e non strutturati possano migliorare le prestazioni in domini specifici (ad es., generazione di codice, ragionamento) senza supervisione esterna. Il problema centrale affrontato da questo articolo è determinare le condizioni in cui l'auto-addestramento privo di prompt (prompt-free) e incondizionato ha successo o fallisce. Nello specifico, gli autori indagano se l'utilità dei dati sintetici sia una proprietà intrinseca dei dati stessi (ad es., derivata dalle dimensioni o dalle capacità del modello sorgente) o una proprietà relazionale della compatibilità tra il modello sorgente e il modello studente. Inoltre, cercano di comprendere il meccanismo alla base di questi guadagni: l'auto-addestramento importa nuova conoscenza o amplifica le capacità latenti già presenti nel modello pre-addestrato?

Metodologia
Gli autori studiano il "regime minimo" dell'auto-addestramento incondizionato e privo di prompt. In questo regime:

1. Generazione dei Dati: Un modello sorgente genera testo in modo incondizionato partendo dal token di inizio sequenza (BOS), senza prompt, specifiche di task o filtraggio. Il campionamento viene eseguito a diverse temperature ($\tau \in \{0.75, 1.0, 1.25\}$).
2. Addestramento dello Studente: Un modello linguistico base (lo studente) viene sottoposto a fine-tuning su questo corpus sintetico utilizzando AdamW a parametri completi con uno schema di apprendimento del tasso di coseno.
3. Design Sperimentale:
   • Utilità Relazionale: Gli autori fissano un modello studente (Qwen2.5-0.5B) e lo addestrano su corpora generati da diverse sorgenti: se stesso, un modello più grande della stessa linea (Qwen2.5-7B), un modello più grande ma con una ricetta diversa (Qwen3-8B) e un modello di una famiglia diversa (LLaMA-3.2-1B).
   • Proxy Intrinseci: Testano se gli standard metriche intrinseche (similarità semantica a livello di benchmark, media della verosimiglianza per-token sotto lo studente) predicono i guadagni a valle.
   • Memorizzazione vs. Capacità: Utilizzando i modelli Pythia (1B e 6.9B) con corpora di pre-addestramento documentati, valutano il compromesso tra l'utilità nei benchmark a valle e la memorizzazione verbatim (misurata tramite attacchi di estrazione di completamento del prefisso e log-probabilità di continuazione reale).
   • Decontaminazione: Tutti i corpora sintetici subiscono una decontaminazione 8-gram contro le split di test per escludere la riproposizione accidentale di benchmark.

Risultati Chiave

1. L'Utilità Sintetica è Relazionale, non Intrinseca:

   • I Dati Auto-generati sono Ottimali: I dati di addestramento più efficaci sono quelli generati dallo studente stesso.
   • La Lineage prevale sulla Capacità: Il trasferimento della stessa linea (ad es., da Qwen2.5-7B a Qwen2.5-0.5B) supera il trasferimento da una sorgente più grande ma addestrata diversamente (Qwen3-8B), nonostante quest'ultima abbia capacità di benchmark superiori.
   • Fallimento Cross-Family: Il trasferimento da famiglie di modelli diverse (ad es., da LLaMA a Qwen) è sostanzialmente più debole e spesso dannoso.
   • Fallimento dei Proxy: Né la similarità semantica del corpus rispetto ai benchmark, né la verosimiglianza media del corpus sotto lo studente predicono quali dati saranno utili. Ad esempio, due corpora con quasi identico negative log-likelihood (NLL) sotto lo studente possono produrre effetti opposti a valle.

2. Risurrezione della Capacità Latente:

   • I guadagni dipendono fortemente dal modello. I modelli Qwen mostrano ampi miglioramenti nel ragionamento, nella matematica e nel codice, mentre i modelli LLaMA mostrano solo guadagni ristretti su benchmark di tipo comprensione e degradano su compiti di generazione strutturata.
   • Ciò suggerisce che l'auto-addestramento non crea capacità strutturate mancanti, ma piuttosto amplifica le "capacità latenti" già codificate durante il pre-addestramento. Il segnale sintetico agisce come un filtro che rinforza specifiche strutture di task distribuite compatibili con la rappresentazione esistente dello studente.

3. Disaccoppiamento di Capacità e Memorizzazione:

   • In regimi di auto-addestramento favorevoli (specificamente con modelli Pythia a determinati tassi di apprendimento), l'utilità del benchmark viene preservata o migliorata mentre la memorizzazione verbatim scende drasticamente (ad es., riduzione >95% nell'estrazione di corrispondenza esatta su sequenze di pre-addestramento tenute fuori dal set).
   • Ciò avviene senza alcun set di dimenticanza esplicito, obiettivo di privacy o unlearning mirato.
   • La riduzione della memorizzazione è confermata da una diminuzione della log-probabilità assegnata alle continuazioni reali del pre-addestramento, indicando una genuina ridistribuzione della massa di probabilità lontano dal richiamo di sequenze specifiche verso strutture distribuite e generalizzabili.

Significatività e Rivendicazioni
Il paper propone l'Ipotesi della Risurrezione della Capacità Latente, la quale postula che l'auto-addestramento debole funzioni amplificando le capacità già presenti nel modello pre-addestrato, ma solo quando il corpus sintetico è "compatibile" con lo studente. Gli autori rivendicano tre contributi primari:

1. Formulazione di un Regime Minimo: Isolano l'effetto dei dati sintetici rimuovendo tutta la supervisione esterna (prompt, ricompense, verificatori), dimostrando che i guadagni derivano esclusivamente dall'interazione studente-sorgente.
2. Utilità Relazionale: Stabiliscono che l'efficacia dei dati sintetici è una proprietà relazionale della coppia sorgente-studente, sfidando l'assunto che modelli sorgente "migliori" (più grandi o più capaci) producano sempre dati di addestramento migliori.
3. Unlearning Emergente: Identificano un regime in cui capacità e memorizzazione verbatim sono chiaramente disaccoppiate. Ciò suggerisce che l'unlearning non mirato può ridurre organicamente la tendenza del modello a regurgitare i dati di addestramento pur migliorando le prestazioni, offrendo una nuova prospettiva sull'intreccio tra utilità e privacy.

Limitazioni
Gli autori osservano che le loro scoperte si basano su un set specifico di famiglie di modelli open-weight e scale, e che la gerarchia di compatibilità osservata potrebbe non essere universale attraverso tutte le dimensioni dei modelli. Inoltre, sebbene supportino l'ipotesi della compatibilità, non misurano direttamente l'allineamento del gradiente o la geometria delle direzioni di aggiornamento. Infine, la loro analisi della memorizzazione si basa su sequenze di pre-addestramento documentate e benchmark statici, che potrebbero non costituire un audit completo della privacy o riflettere scenari di deployment dinamici.