Sintesi Tecnica: L'Addestramento Autonomo Non Appiattisce il Linguaggio, Lo Ristruttura

Enunciato del Problema

La caratterizzazione prevalente dell'addestramento autonomo successivo sui modelli linguistici (LLM) è quella di un "appiattimento" o "collasso del modello", dove la diversità diminuisce, le distribuzioni si restringono e il testo converge verso un attrattore a bassa entropia. Contemporaneamente, la letteratura sulle impronte linguistiche degli LLM osserva che il testo generato da macchine è staticamente ricco di specifici marcatori superficiali (connettivi discorsivi, attenuatori, trattini lunghi) rispetto ai baseline umani. Tuttavia, nessuna delle due letterature ha correttamente descritto il meccanismo di questa deriva distributiva. Il resoconto teorico dominante attribuisce il decadimento a un meccanismo basato sulla frequenza: gli eventi rari sono sottocampionati e muoiono. Questo articolo sostiene che tale caratterizzazione è incompleta e che il fenomeno è meglio descritto come una biforcazione strutturale piuttosto che un appiattimento uniforme.

Metodologia

Gli autori hanno condotto esperimenti di addestramento autonomo controllati su cinque modelli appartenenti a tre famiglie di architetture (GPT-2 124M, Pythia-410M, Pythia-1.4B, Pythia-2.8B e OPT-1.3B).

• Protocollo: Ogni modello ha subito 11 generazioni di puro addestramento autonomo. Partendo da un checkpoint rilasciato, il modello ha generato 3.000 testi (256 token ciascuno) utilizzando il campionamento a nucleo ($p=0.95, T=0.9$), e il corpus risultante è stato utilizzato per il fine-tuning del modello per un'epoca. Questo ciclo si è ripetuto senza mescolare dati umani.
• Selezione delle Caratteristiche: Diciassette caratteristiche linguistiche sono state selezionate a priori e stratificate per Profondità Strutturale ($d(\phi)$), definita come il numero minimo di dipendenze sintattiche annidate necessarie per autorizzare la caratteristica in una frase:
  • $d=0$ (Superficiale/Lessicale): Marcatori discorsivi, attenuatori, trattini lunghi, punti esclamativi.
  • $d=1$ (Sintassi Locale): Passato regolare ($V+ed$), congiunzioni all'inizio della frase, coordinazione semplice.
  • $d=2$ (Struttura della Proposizione): Domande, incisi, voce passiva, passato irregolare, proposizioni relative/avverbiali.
  • $d=3$ (Inter-proposizionale/Modo): Costruzioni congiuntive.
• Analisi: Gli autori hanno tracciato la frequenza relativa di queste caratteristiche attraverso le generazioni. Hanno calcolato i tassi di decadimento per caratteristica ($\lambda$) tramite regressione OLS e testato le correlazioni contro la profondità strutturale ($d$) e la frequenza di base ($f$). È stato utilizzato un modello a effetti misti per tenere conto della struttura annidata dei dati ($N=85$ coppie caratteristica-modello).

Contributi Chiave

1. Formalizzazione dell'Ipotesi di Profondità Strutturale (SDH): Il documento propone che il tasso di deriva per generazione di una caratteristica linguistica sia previsto principalmente dalla sua profondità strutturale ($d$) e secondariamente dalla sua dipendenza dalla stocasticità del campionamento ($\sigma$). L'ipotesi postula una competizione tra una "penalità di profondità" (le strutture profonde decadono a causa dei costi probabilistici moltiplicativi) e un "bonus di dipendenza dal campionamento" (i marcatori superficiali si amplificano a causa della dinamica "i ricchi diventano più ricchi" nel campionamento stocastico).
2. Documentazione del "Paradosso della Complessità Superficiale": Gli autori dimostrano che, mentre i proxy aggregati di "complessità" (profondità dell'albero delle dipendenze, rapporto tipo-token, lunghezza media delle parole) aumentano durante l'addestramento autonomo, le caratteristiche strutturali sottostanti delle proposizioni (domande, passivi, subordinazione) collassano. Questo maschera la biforcazione nelle analisi stilometriche standard.
3. Validazione Cross-Modello: Lo studio fornisce prove controllate su cinque modelli e tre famiglie di architetture, mostrando che l'effetto del gradiente di profondità è robusto rispetto alle differenze architetturali e ai corpus di addestramento.
4. Confutazione delle Spiegazioni Basate Solo sulla Frequenza: Attraverso test statistici testa-a-testa, il documento dimostra che la profondità strutturale è un predittore significativamente più forte del decadimento delle caratteristiche rispetto alla frequenza di base.

Risultati Chiave

• Biforcazione delle Caratteristiche: I marcatori superficiali ($d=0$) si sono amplificati significativamente (ad esempio, i marcatori discorsivi sono aumentati del +126%, gli attenuatori del +44%), mentre le strutture sintattiche profonde ($d \ge 2$) sono collassate (ad esempio, i punti interrogativi sono diminuiti del 92%, la voce passiva del 56%, i congiuntivi del 53%).
• Monotonicità: La variazione media per generazione è stata monotona decrescente con la profondità strutturale:
  • $d=0$: +24,9%
  • $d=1$: -10,0%
  • $d=2$: -47,2%
  • $d=3$: -52,7%
• Significatività Statistica:
  • Raggruppati su cinque modelli ($N=85$), la correlazione di Spearman tra profondità strutturale e tasso di decadimento è stata $\rho = 0.540$ ($p < 10^{-6}$).
  • Al contrario, la correlazione tra frequenza di base e tasso di decadimento è stata debole e non significativa nel test raggruppato ($\rho = 0.225, p = 0.039$).
  • Un modello a effetti misti ha confermato che il coefficiente di profondità era altamente significativo ($p < 0.001$), mentre la frequenza non lo era.
• "L'Eccezione che Conferma la Regola": I punti esclamativi ($d=0$) sono collassati del 99,3%. Gli autori attribuiscono ciò all'equazione SDH: sebbene siano superficiali ($d=0$), il loro tasso di base sotto il campionamento a nucleo era troppo basso per innescare il ciclo di amplificazione "i ricchi diventano più ricchi", causandone il decadimento nonostante la bassa profondità.
• Esperimento di Controllo: Un controllo abbinato in cui i modelli sono stati sottoposti a fine-tuning su testo umano (OpenWebText) invece che su testo generato autonomamente ha prodotto una correlazione vicina allo zero ($\rho = 0.039, p = 0.88$), confermando che il gradiente di profondità è specifico al regime di addestramento autonomo.

Significato e Affermazioni

Il documento afferma di riformulare due distinte letterature:

1. Collasso del Modello: Offre un resoconto strutturale piuttosto che puramente statistico del collasso. Sostiene che il collasso non è semplicemente la perdita di token rari, ma l'erosione sistematica della macchina sintattica profonda, guidata dalla penalità probabilistica moltiplicativa del traversal delle dipendenze annidate nella generazione autoregressiva.
2. Impronte Digitali degli LLM: Fornisce una spiegazione meccanicistica del motivo per cui i marcatori canonici del testo macchina (connettivi discorsivi, attenuatori) sono esattamente le caratteristiche che sono: sono i sopravvissuti e gli amplificatori di un collasso graduato per profondità.
3. Avvertimento Metodologico: Il documento sostiene che fare affidamento su metriche aggregate delle impronte digitali (come è standard nella stilometria) maschera sistematicamente la biforcazione del linguaggio sotto l'addestramento autonomo. Ciò ha implicazioni dirette per la curatela dei dati di addestramento (suggerendo la necessità di dare priorità al testo ricco strutturalmente a livello di proposizione) e per il rilevamento (suggerendo che i rilevatori basati sulla complessità aggregata potrebbero fallire man mano che i modelli subiscono addestramento ricorsivo).

Gli autori rimangono modesti riguardo alle soglie specifiche per modelli più grandi (7B+), notando che i loro esperimenti coprono da 124M a 2,8B di parametri, ma affermano che la direzione e l'ordinamento del gradiente di profondità sono coerenti tra le scale testate. Notano inoltre che i risultati sono attualmente limitati all'inglese e a specifiche distribuzioni di prompt.