🤖 machine learning

Amortizing intractable inference in large language models

Questo articolo propone l'uso delle GFlowNets per ammortizzare l'inferenza intrattabile nei grandi modelli linguistici, consentendo loro di campionare da distribuzioni a posteriori complesse per compiti quali la generazione vincolata e il ragionamento chain-of-thought come alternativa efficiente dal punto di vista dei dati rispetto all'addestramento tradizionale basato sulla massima verosimiglianza o sulla massimizzazione della ricompensa.

Autori originali: Edward J. Hu, Moksh Jain, Eric Elmoznino, Younesse Kaddar, Guillaume Lajoie, Yoshua Bengio, Esmeralda S. Whitammer

Pubblicato 2026-09-01

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Edward J. Hu, Moksh Jain, Eric Elmoznino, Younesse Kaddar, Guillaume Lajoie, Yoshua Bengio, Esmeralda S. Whitammer

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I grandi modelli linguistici sono vaste biblioteche di conoscenza umana, compresse in reti digitali che predicono la parola successiva in una frase sulla base di ciò che è venuto prima. Sono addestrati per essere eccellenti nel continuare una storia o nel rispondere a una domanda quando viene fornito un punto di partenza, un processo che fluisce naturalmente da sinistra a destra. Tuttavia, molti dei compiti più interessanti che vogliamo far eseguire a questi modelli richiedono di pensare al contrario o di riempire il mezzo di una storia. Immaginate di ricevere l'inizio e la fine di un racconto e di esservi chiesto di inventare la parte centrale. In questi scenari, il modello non può semplicemente indovinare la parola successiva; deve cercare attraverso un paesaggio massiccio e complesso di possibilità per trovare il percorso specifico che colleghi l'inizio alla fine. Questo è un problema matematico difficile perché il numero di percorsi possibili è così enorme che controllarli uno per uno è impossibile, e i metodi standard per navigare in questo paesaggio spesso si bloccano su uno o due percorsi comuni, perdendo la ricca varietà di soluzioni valide esistenti.

Ricercatori del Mila – Quebec AI Institute e dell'Università di Oxford hanno sviluppato un nuovo modo per insegnare a questi modelli come navigare in quel complesso paesaggio. Invece di addestrare il modello a massimizzare semplicemente un punteggio per la "migliore" risposta, il che spesso porta a un pensiero ripetitivo e ristretto, hanno utilizzato un metodo chiamato inferenza ammortizzata. Questo approccio tratta il problema come una ricerca di un insieme diversificato di percorsi corretti piuttosto che di uno singolo e perfetto. Per fare ciò, hanno impiegato una tecnica nota come rete di flusso generativo, che agisce come una guida che impara a campionare dall'intero intervallo di possibili soluzioni, assicurando che il modello esplori diversi percorsi di ragionamento validi invece di collassare in un unico schema troppo utilizzato.

Il team ha dimostrato questo aspetto perfezionando (fine-tuning) grandi modelli linguistici per risolvere problemi che richiedono un ragionamento multi-step, come calcoli aritmetici o la classificazione se una recensione cinematografica esprime un'opinione o un fatto. In un esperimento, hanno chiesto al modello di riempire la frase centrale mancante di una breve storia, dato l'inizio e la fine. I metodi standard producevano spesso frasi che erano grammaticalmente corrette ma che non si adattavano al flusso narrativo. Il nuovo metodo, tuttavia, ha generato con successo frasi centrali che collegavano l'inizio e la fine in modo coerente, mostrando una capacità molto più elevata di comprendere l'intero contesto. In un altro test riguardante semplici problemi di matematica, il modello è stato dotato di uno strumento calcolatrice ed è stato chiesto di scomporre il calcolo in passaggi. Mentre altri metodi di addestramento causavano la ripetizione di numeri da parte del modello o il mancato utilizzo corretto dello strumento, il nuovo approccio ha insegnato al modello a pianificare i suoi passaggi con cura, portando a un miglioramento drammatico dell'accuratezza, specialmente su problemi che non aveva mai visto prima.

I risultati suggeriscono che questo metodo è particolarmente potente quando i dati sono scarsi. In un test con soli dieci esempi di recensioni cinematografiche da cui imparare, il nuovo metodo ha raggiunto un'accuratezza significativamente superiore rispetto alle tecniche di addestramento standard, e ha continuato a superarle anche con cinquanta esempi. I ricercatori hanno scoperto che, incoraggiando il modello a campionare una vasta gamma di percorsi di ragionamento e poi combinando le loro conclusioni, il sistema diventava più robusto e affidabile. Questa è una distinzione cruciale perché significa che il modello non sta solo memorizzando un singolo modo per risolvere un problema, ma sta imparando la struttura sottostante di come affrontarlo attraverso il ragionamento. Lo studio indica che, spostando l'obiettivo dal trovare la singola risposta più probabile all'esplorare l'intera diversità delle risposte corrette, possiamo rendere questi potenti strumenti più flessibili e più adatti a compiti di ragionamento complesso.

Il lavoro evidenzia anche un limite nel modo in cui gli attuali modelli vengono spesso addestrati. Quando i modelli vengono spinti a massimizzare una ricompensa, tendono a trovare scorciatoie, come ripetere la stessa frase o ignorare la logica reale di un problema, solo per ottenere un punteggio alto. I ricercatori hanno dimostrato che il loro metodo evita questa trappola facendo corrispondere l'intera distribuzione delle possibili soluzioni, assicurando che il modello non collassi in un unico, difettoso modo di pensare. Questo approccio permette al modello di generalizzare meglio a nuove situazioni, come la risoluzione di problemi aritmetici con più numeri rispetto a quelli per cui è stato addestrato, dove altri metodi fallivano. Le scoperte offrono una strada promettente per rendere l'intelligenza artificiale più capace di un vero ragionamento, andando oltre il semplice riconoscimento di pattern verso una comprensione più sfumata di come costruire argomentazioni e risolvere problemi passo dopo passo.

Sintesi Tecnica: Ammortizzare l'Inferenza Intratabile nei Large Language Models

Definizione del Problema

I Large Language Models (LLM) autoregressivi comprimono la conoscenza in distribuzioni condizionali del prossimo token, rendendo l'inferenza trattabile limitata al campionamento dall'inizio alla fine condizionato da un prefisso. Tuttavia, molti compiti critici — come la continuazione di sequenze, l'infilling di testo, la generazione vincolata e il ragionamento chain-of-thought — richiedono il campionamento da distribuzioni a posteriori intratabili.

Nello specifico, compiti come l'infilling (generare un segmento centrale $Z$ dato un inizio $X$ e una fine $Y$ ) o il ragionamento (trovare una catena di pensiero latente $Z$ che conduca a una risposta $Y$ dato un prompt $X$ ) comportano il calcolo della distribuzione a posteriori $p(Z|X, Y)$ . Sebbene la verosimiglianza congiunta $p_{LM}(XZY)$ sia facile da valutare, le distribuzioni condizionali richieste per campionare $Z$ token per token dalla distribuzione a posteriori sono intratabili.

Gli approcci esistenti affrontano limitazioni significative:

Markov Chain Monte Carlo (MCMC): Difficile creare distribuzioni di proposta per dati linguistici multimodali e spesso proibitivamente lenti per nuovi input.
Reinforcement Learning (RL) / Policy Optimization (es. PPO): Questi metodi massimizzano le ricompense ma tendono a collassare su un piccolo numero di mode, fallendo nel catturare l'intera diversità della distribuzione target. Ciò porta a "campionatori sovra-ottimizzati" quando la funzione di ricompensa è errata (misspecified).
Supervised Fine-Tuning (SFT): Richiede l'accesso a campioni della distribuzione target, che sono generalmente non disponibili per problemi intratabili.

Metodologia

Gli autori propongono l'uso dell'inferenza bayesiana ammortizzata tramite Generative Flow Networks (GFlowNets) per addestrare gli LLM a campionare da queste distribuzioni a posteriori intratabili.

Framework Core

L'approccio tratta il problema come un modello a variabili latenti in cui un input $X$ genera un output $Y$ tramite una variabile latente $Z$ (ad esempio, una catena di ragionamento o un testo infilled). L'obiettivo è addestrare una policy $q_{GFN}(Z|X, [Y])$ per campionare dalla posterior $p_{LM}(Z|X, Y) \propto p_{LM}(XZY)$ .

Obiettivi GFlowNet: Il metodo utilizza le GFlowNet, una classe di algoritmi di reinforcement learning orientati alla ricerca della diversità. A differenza del RL standard che massimizza la ricompensa attesa, le GFlowNet addestrano una policy per campionare oggetti con una probabilità proporzionale a una data funzione di ricompensa $R(Z)$ .
Definizione della Ricompensa: La ricompensa è definita come la verosimiglianza congiunta assegnata dal base LLM: $R(Z) = p_{LM}(XZY)$ . Questo imposta efficacementamente la distribuzione target come la distribuzione a posteriori bayesiana.
Procedura di Addestramento:
- Inizializzazione: La policy GFlowNet viene inizializzata come una copia di un LLM pre-addestrato (spesso fine-tuned con LoRA per efficienza).
- Obiettivo di Apprendimento: Gli autori utilizzano un obiettivo di Subtrajectory Balance (SubTB) modificato. Questo obiettivo assicura che la probabilità di generare una sequenza completa sia proporzionale alla sua ricompensa, anche quando le traiettorie possono terminare in qualsiasi stato.
- Ammortizzazione: Condizionando la policy all'input $X$ (e opzionalmente a $Y$ ), il modello impara un campionatore generalizzabile. Ciò consente un'inferenza efficiente su input non visti senza dover eseguire procedure di campionamento costose come MCMC per ogni query.
- Esplorazione: Per gestire lo spazio di ricerca combinatorio, i batch di addestramento sono composti da traiettorie dalla policy corrente, da una versione temperata della policy e da un replay buffer di traiettorie passate.

Applicazione al Chain-of-Thought

Il paper interpreta il ragionamento chain-of-thought come un problema di modellazione di variabili latenti. Invece di istruire il modello a generare una singola catena, il modello fine-tuned con GFlowNet campiona diverse catene latenti $Z$ . La previsione finale si ottiene tramite Bayesian Model Averaging: campionando molteplici $Z$ dalla GFlowNet e aggregando le relative previsioni $Y$ dal base LLM.

Contributi Chiave

Algoritmo Generale: Un metodo generale per il campionamento ammortizzato da posterior di LLM intratabili utilizzando obiettivi GFlowNet.
Approccio di Ragionamento Probabilistico: Una formulazione del ragionamento chain-of-thought come problema di inferenza bayesiana, che consente un adattamento efficiente in termini di dati a compiti di razionalizzazione multi-step.
Validazione Empirica: Dimostrazione del metodo attraverso quattro domini distinti:
- Continuazione di frasi (massimizzazione della verosimiglianza mantenendo la diversità).
- Infilling di storie (generazione di segmenti centrali coerenti).
- Classificazione della soggettività (few-shot learning con razionali latenti).
- Aritmetica intera con uso di strumenti (ragionamento step-by-step).

Risultati Sperimentali

Gli autori hanno valutato il metodo rispetto a baseline che includono il campionamento standard, la ricerca a beam diversificata (diverse beam search), il supervised fine-tuning (SFT) e il Proximal Policy Optimization (PPO).

Continuazione di Frasi: Il fine-tuning con GFlowNet ha raggiunto una maggiore diversità di campionamento mantenendo un'alta log-verosimiglianza rispetto alla diverse beam search, anche quando la baseline riceveva 5 $\times$ la computazione.
Infilling di Storie: Sul dataset ROCStories, il fine-tuning con GFlowNet ha superato significativamente il prompting e l'SFT in termini di BERTScore, BLEU-4 e valutazione GPT-4, producendo infill che collegavano meglio l'inizio e la fine delle storie.
Classificazione della Soggettività (Few-Shot): Utilizzando un modello da 6B parametri con soli 10 esempi etichettati, il fine-mente con GFlowNet ha raggiunto un'accuratezza del 71,4%, superando l'SFT (64,3%) e il few-shot prompting (61,3%).
Aritmetica Intera con Uso di Strumenti: Su un compito out-of-distribution (OOD) con 5 operandi (addestrato su 3-4), il fine-tuning con GFlowNet ha raggiunto un'accuratezza del 40,7%. Questo ha superato significativamente l'SFT (12,8%) e il PPO (5,6%). Gli autori notano che il PPO ha sofferto di misspecification della ricompensa, portando a sequenze spurie che non chiamavano validamente lo strumento calcolatrice, mentre l'approccio di matching della distribuzione di GFlowNet è stato robusto a questo.

Significato e Rivendicazioni

Il paper sostiene che il fine-tuning con GFlowNet offre un'alternativa fondata al training di massima verosimiglianza e all'ottimizzazione della policy basata sulla massimizzazione della ricompensa. La sua importanza primaria risiede in:

Diversità e Robustezza: Corrispondendo all'intera distribuzione target invece di massimizzare una singola ricompensa, il metodo evita il collasso delle mode ed è robusto alla misspecification della ric compensa.
Efficienza dei Dati: L'approccio di inferenza ammortizzata consente un adattamento efficace a compiti che richiedono un ragionamento complesso con pochissimi esempi etichettati.
Generalizzazione: Il metodo dimostra una superiore generalizzazione out-of-distribution, particolarmente nei compiti di ragionamento dove i metodi RL standard falliscono nell'esplorare efficacemente lo spazio delle soluzioni.

Gli autori concludono che questo paradigma converte la computazione in migliori prestazioni al tempo di test senza richiedere ulteriori dati, consentendo un ragionamento più flessibile con gli LLM. Riconoscono i limiti riguardanti la scala dei modelli utilizzati (fino a 6B parametri) e il fatto che il metodo migliora le capacità di inferenza ma non corregge intrinsecamente i problemi di allucinazioni o di calibrazione radicati nella rappresentazione della conoscenza del modello base.