Riepilogo Tecnico: La Calibrazione Probabilistica è una Capacità Addestrabile nei Modelli Linguistici

Enunciato del Problema

I modelli linguistici (LM) sono sempre più impiegati in scenari che richiedono casualità specificata dall'utente, come la generazione di output diversificati, il bilanciamento delle probabilità di scelta o il campionamento da distribuzioni matematiche specifiche. Tuttavia, gli LM autoregressivi standard sono generatori stocastici nativi scadenti. Le loro distribuzioni di output indotte spesso collassano su sottoinsiemi ristretti, violano i vincoli di supporto e non si allineano con le distribuzioni target richieste. Le soluzioni di prompting esistenti (ad esempio, l'iniezione di ragionamento o semi) possono mitigare parzialmente questi problemi, ma introducono costi al momento dell'inferenza, sensibilità al prompt e sovraccarico computazionale senza alterare fondamentalmente il comportamento di campionamento del modello.

La domanda centrale affrontata è se la calibrazione probabilistica—la capacità di un LM di generare campioni che riflettono una distribuzione target nota—possa essere appresa direttamente attraverso il fine-tuning, piuttosto che affidarsi a euristiche al momento dell'inferenza.

Metodologia: Fine-Tuning di Calibrazione

Gli autori propongono un framework per addestrare gli LM ad agire come campionatori probabilistici calibrati utilizzando prompt sintetici che richiedono esplicitamente il campionamento da distribuzioni matematiche (ad esempio, "Genera esattamente UN numero casuale da una distribuzione [distribuzione] con parametri [parametri]").

Vengono confrontate due strategie distinte di fine-tuning, entrambe che utilizzano l'Adattamento a Basso Rango (LoRA) su modelli base congelati:

1. Fine-Tuning con Target Morbido (Soft-Target):

   • Meccanismo: La distribuzione target viene discretizzata in uno spazio di output canonico finito. Viene costruito un albero delle prefissi (prefix trie) da tutti gli output numerici validi, dove ogni nodo rappresenta un prefisso di token.
   • Supervisione: Per un dato prefisso, il metodo calcola una distribuzione del prossimo token target normalizzando la massa di probabilità rimanente di tutte le continuazioni valide nell'albero.
   • Obiettivo: Il modello minimizza la divergenza di Kullback-Leibler (KL) tra la sua distribuzione prevista del prossimo token e la distribuzione target derivata dall'albero a ogni prefisso visitato. Ciò fornisce una supervisione densa a livello di prefisso.

2. Fine-Tuning con Target Rigido (Hard-Target):

   • Meccanismo: Il modello viene addestrato su completamenti campionati direttamente dalla distribuzione target.
   • Supervisione: Per ogni prompt, una risposta numerica viene campionata dalla distribuzione target, tokenizzata e utilizzata come completamento di verità fondamentale (ground-truth).
   • Obiettivo: Il modello minimizza la cross-entropia autoregressiva mascherata standard sul completamento campionato. Ciò fornisce una supervisione sparsa a livello di percorso, richiedendo più passaggi di addestramento (più campioni per prompt) per ottenere una copertura comparabile.

Configurazione Sperimentale:

• Modelli: 12 modelli appartenenti a quattro famiglie (Qwen3, Gemma-3, Llama-3.2, GPT-OSS) con un numero di parametri compreso tra 0,6B e 27B.
• Dati: 30 famiglie di distribuzioni (24 viste per l'addestramento, 6 tenute da parte per il test Out-of-Distribution (OOD)).
• Valutazione:
  • Campionamento Strutturato: Misurato tramite la distanza Wasserstein-1 (W1) e la divergenza KL a livello di logit rispetto alle distribuzioni target.
  • Benchmark di Trasferimento: Generazione aperta casuale (supporto di diversità), bilanciamento della posizione delle risposte nei QCM (MCQ) e NoveltyBench (diversità semantica).
  • Ritenzione: Ritenzione della capacità su TinyBenchmarks (MMLU, GSM8K, ecc.) e adattamento del modello linguistico su PALOMA.

Contributi Chiave

1. Addestrabilità della Calibrazione: Il documento dimostra che la calibrazione probabilistica è una capacità addestrabile. Sia il fine-tuning con target morbido che quello con target rigido migliorano sostanzialmente la fedeltà del campionamento strutturato su famiglie di distribuzioni tenute da parte e su impostazioni di parametri non viste.
2. Analisi Comparativa delle Strategie:
   • Target Rigido: Raggiunge generalmente prestazioni superiori sul benchmark strutturato di campionamento numerico in dominio, in particolare per parametri non visti. Eccelle nella fedeltà numerica esatta.
   • Target Morbido: Sebbene competitivo nei compiti numerici, dimostra una superiorità nel trasferimento a contesti più ampi di generazione stocastica. Amplia costantemente il supporto stocastico nella generazione aperta, migliora il bilanciamento della posizione delle risposte nei QCM e produce una maggiore utilità su NoveltyBench.
3. Compromessi e Costi: Lo studio evidenzia che i guadagni nella calibrazione spesso comportano compromessi. Nello specifico, il ragionamento aritmetico (GSM8K) tende a regredire, con costi che variano in base alla dimensione del modello e alla variante di fine-tuning. Tuttavia, l'adattamento del modello linguistico (perplessità PALOMA) è spesso preservato o migliorato, suggerendo che i modelli non appiattiscono semplicemente le probabilità dei token ma apprendono comportamenti stocastici specifici.

Risultati

• Campionamento Strutturato: Entrambi i metodi riducono significativamente la W1 normalizzata e la KL a livello di logit rispetto ai checkpoint base. Il fine-tuning con target rigido è tipicamente il performer più forte sui benchmark numerici, riducendo gli errori di un ordine di grandezza in molti casi.
• Generazione Aperta: Il fine-tuning con target morbido aumenta costantemente la dimensione del supporto top-90% (il numero di token necessari per coprire il 90% della massa di probabilità) su tutti i modelli, spesso di uno o due ordini di grandezza. Ciò porta a output più diversificati e meno concentrati in categorie come città, animali e nomi.
• QCM e Novelty: Le configurazioni con target morbido producono generalmente un migliore equilibrio nella posizione delle risposte nella generazione di QCM e punteggi di utilità più elevati su NoveltyBench, indicando che il comportamento stocastico appreso si trasferisce a vincoli impliciti del linguaggio naturale.
• Ritenzione: L'impatto sulle capacità generali è misto. Mentre alcuni modelli di dimensioni medio-grandi mantengono o migliorano i punteggi aggregati su TinyBenchmarks, modelli più piccoli e compiti specifici (in particolare GSM8K) mostrano un degrado. Ciò suggerisce che l'obiettivo di addestramento (completamenti brevi e diretti senza tracce di ragionamento) può entrare in conflitto con compiti basati sul ragionamento.

Significato e Affermazioni

Il documento afferma che la calibrazione probabilistica non è una limitazione intrinseca dei modelli linguistici, ma una capacità che può essere esplicitamente addestrata. Inquadrando il problema come l'apprendimento sia dello spazio di output valido che dell'allocazione della massa di probabilità su di esso, gli autori dimostrano che gli LM possono essere trasformati in campionatori probabilistici controllati.

Il significato risiede nel superare il prompting al momento dell'inferenza per abbracciare soluzioni al momento dell'addestramento che alterano fondamentalmente il comportamento distributivo del modello. Gli autori notano che, sebbene i guadagni siano selettivi e non migliorino universalmente tutti i compiti downstream (con il ragionamento aritmetico che costituisce un'eccezione notevole), la capacità di sintonizzare i modelli su comportamenti stocastici specifici apre nuove strade per applicazioni che richiedono diversità, equità o un rigoroso rispetto dei vincoli statistici. Il lavoro suggerisce che la ricerca futura dovrebbe concentrarsi sui meccanismi appresi da questi obiettivi e sullo sviluppo di varianti consapevoli della ritenzione per mitigare il degrado delle capacità.