Riepilogo Tecnico: PERSI NEL CAMPIONAMENTO

Enunciato del Problema

I moderni Modelli Linguistici di Grandi Dimensioni (LLM) generano frequentemente testi omogenei, ripetitivi e privi della ricchezza lessicale del discorso umano. Sebbene ricerche precedenti abbiano attribuito questo "crollo del modo" a tecniche di allineamento del modello (come RLHF o DPO) o a limitazioni dei dati di addestramento, questo documento indaga il ruolo della meccanica di decodifica nella soppressione della diversità linguistica. Gli autori ipotizzano che i filtri di campionamento standard (ad es. Top-p, Top-k, Min-p) agiscano come meccanismi di potatura aggressivi che eliminano matematicamente le parole a bassa frequenza e ad alta informazione dal percorso generativo, anche quando tali parole risiedono nello spazio di probabilità latente del modello. Ciò comporta un "crollo strutturale" in cui il vocabolario operativo del modello è artificialmente vincolato, appiattendo l'espressione umana unica in un discorso omogeneizzato.

Metodologia: Il Punteggio di Copertura delle Parole (WCS)

Per quantificare l'estensione con cui i filtri di campionamento potano il vocabolario contestualmente appropriato, gli autori introducono il Punteggio di Copertura delle Parole (WCS). Questa metrica misura il "tasso di sopravvivenza lessicale" delle parole umane in funzione dei parametri di campionamento. La valutazione segue un Audit a Percorso Forzato in quattro fasi:

1. Selezione Lessicale: Viene selezionato un insieme target di parole "Coda Medio-Lunga" dal Corpus di un Trilione di Parole del Web di Google. Queste parole sono classificate tra la 10.000ª e la 40.000ª posizione per frequenza, per evitare parole funzionali comuni e rumore estremamente raro.
2. Accoppiamento Contestuale: Le parole target vengono mappate su contesti naturalistici estratti dal dataset PG-19 (libri pubblicati prima del 1919), garantendo una valutazione all'interno di un ambiente linguisticamente ricco, scritto da umani e libero dall'omogeneizzazione moderna derivante dal web crawling.
3. Audit a Percorso Forzato: Per ogni parola $w$ (composta da token di sotto-parola $t_1, \dots, t_n$) e contesto $C$, al modello viene fornito il prefisso di verità fondamentale. Invece di campionare, il sistema registra il rango e la probabilità dei token di verità fondamentale. L'audit determina se questi token sopravviverebbero alla logica di potatura di specifici algoritmi di campionamento:
   • Sopravvivenza Top-k: Il token deve essere classificato tra i $k$ più probabili.
   • Sopravvivenza Top-p (Nucleo): Il token deve appartenere all'insieme più piccolo di token la cui probabilità cumulativa raggiunge la soglia $p$.
   • Sopravvivenza Min-p: La probabilità del token deve superare una frazione scalata $m$ della probabilità massima del token.
4. Calcolo della Metrica: Il WCS è calcolato come la media aggregata della raggiungibilità ($R$) attraverso l'insieme di parole target $W$ e i loro contesti. Una parola è considerata "coperta" ($R=1$) solo se ogni token costituente sopravvive al filtro al rispettivo passaggio.

Configurazione Sperimentale

Lo studio ha valutato modelli a pesi aperti con meno di 20 miliardi di parametri, confrontando le varianti Base (grezze) con le varianti Instruct/It (allineate). Le famiglie di modelli includevano Llama, Mistral, Qwen, Gemma e DeepSeek. Gli esperimenti hanno sistematicamente variato i parametri di campionamento:

• Top-p: da 0,7 a 0,99
• Top-k: da 1 a 20
• Min-p: da 0,01 a 0,1
• Temperatura: 0,7, 1,0 e 1,5

La valutazione si è concentrata sulla frazione di parole che diventano irraggiungibili ($WCS(\theta, w) = 0$) attraverso 10 contesti per parola, misurando efficacemente l'"eliminazione delle parole".

Risultati Chiave

• Eliminazione Sistemica delle Parole: Con le impostazioni standard predefinite del settore (ad es. Top-p $\approx$ 0,8–0,95, $T \approx$ 0,7), una frazione significativa di parole target (dal 22% al 57%) è completamente irraggiungibile in nessuno dei loro contesti. Ad esempio, il modello Gemma-4-E4B-it ha eliminato il 57% delle parole target nella sua configurazione predefinita.
• Impatto dell'Allineamento: I modelli addestrati per istruzioni (allineati) mostrano generalmente una raggiungibilità lessicale inferiore rispetto alle loro controparti base. Attraverso coppie corrispondenti, la raggiungibilità media a livello di parola è scesa da 0,740 (Base) a 0,728 (Instruct), e il WCS aggregato è diminuito da 0,290 a 0,277. Ciò suggerisce che i processi di ottimizzazione delle preferenze restringono direttamente lo spazio del vocabolario utilizzabile.
• Deficit di Distillazione: Il modello DeepSeek-R1-Distill-Qwen-14B ha mostrato una significativa perdita di vocabolario rispetto alla sua base Qwen2.5-14B, indicando che la distillazione delle capacità di ragionamento strutturato introduce vincoli aggiuntivi sull'accessibilità lessicale.
• Inefficacia dell'Alta Temperatura: Anche con impostazioni di temperatura aggressivamente alte ($T=1,5$), una frazione sostanziale di contesti ha fallito nel selezionare le parole target, indicando che semplicemente aumentare la temperatura non ripristina pienamente la diversità lessicale e spesso compromette la coerenza.
• Varianza Specifica del Modello: Sebbene la maggior parte delle famiglie abbia mostrato una diversità ridotta dopo l'allineamento, la famiglia Gemma ha mostrato pattern non uniformi; Gemma-3-12B-it ha migliorato rispetto alla sua base, mentre Gemma-4-E4B-it ha subito una grave erosione, evidenziando che gli impatti dell'allineamento variano in base all'architettura e all'iterazione di addestramento.

Significato e Affermazioni

Il documento afferma che le impostazioni predefinite di campionamento standard agiscono come meccanismi di censura involontari, potando matematicamente il "Giardino dei Sentieri che si Diramano" (una metafora per lo spazio di probabilità latente del modello) prima che un token venga mai selezionato. Il WCS fornisce uno strumento diagnostico rigoroso per quantificare questo fenomeno, rivelando che l'omogeneizzazione dell'output degli LLM non è solo il risultato di dati di addestramento o allineamento, ma è strutturalmente imposta dai filtri di decodifica.

Gli autori sostengono che questa erosione lessicale rappresenta un rischio a lungo termine per l'evoluzione della lingua. Man mano che il testo generato dai modelli popola i repository pubblici e diventa dati di addestramento per modelli futuri, l'ingestione ricorsiva di questo discorso appiattito potrebbe restringere permanentemente il lessico umano attivo, cancellando la "Coda Lunga" dell'espressione diversificata. Il documento conclude che preservare la diversità del vocabolario richiede un cambio di paradigma: trattare l'ampiezza lessicale come un obiettivo architetturale fondamentale equivalente alla correttezza fattuale, piuttosto che come un parametro superficiale, e sviluppare decodificatori guidati semanticamente in grado di distinguere tra rumore e vocabolario a bassa frequenza, ricco di contesto.

Limitazioni

Gli autori riconoscono diversi vincoli:

• Ambito: Lo studio è limitato a modelli a pesi aperti <20B parametri e alla sola lingua inglese.
• Bias dei Dati: I contesti sono tratti da letteratura pre-1919 (PG-19), introducendo un bias storico, sebbene ciò eviti l'omogeneizzazione del web moderno.
• Metrica Binaria: Il WCS misura l'esclusione assoluta ($R=0$ o $1$) e non cattura l'"erosione soft" in cui una parola rimane raggiungibile ma la sua probabilità è significativamente attenuata.
• Varianza del Tokenizzatore: Le differenze nella tokenizzazione di sotto-parola tra le famiglie di modelli significano che il numero di passaggi di filtraggio per una singola parola varia, influenzando la confrontabilità diretta.
• Contesto Statico: L'audit utilizza un prefisso fisso di 256 token, non valutando le dipendenze a lungo raggio.