💬 NLP

Using Probabilistic Programs to Train Inductive Reasoning in Large Language Models

Questo articolo introduce il Program-based Posterior Training (PPT), un nuovo metodo di fine-tuning che sfrutta programmi probabilistici per generare scenari open-world diversificati e soft label distribuzionali, migliorando così significativamente la capacità dei grandi modelli linguistici di eseguire un ragionamento induttivo incerto e di allinearsi ai giudizi umani.

Autori originali: Liyi Zhang, Akshay K. Jagadish, Brenden M. Lake, Thomas L. Griffiths

Pubblicato 2026-06-10

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Liyi Zhang, Akshay K. Jagadish, Brenden M. Lake, Thomas L. Griffiths

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a uno studente molto intelligente e colto (un Large Language Model, o LLM) come fare ipotesi sul mondo reale.

Attualmente, questi studenti sono eccellenti nel ragionamento deduttivo. Questo è come risolvere un problema di matematica o scrivere del codice: esiste un insieme chiaro di regole e, se le segui correttamente, c'è un'unica risposta, al 100% corretta. Se sbagliano, si tratta di un errore evidente.

Tuttavia, il mondo reale è raramente così ordinato. Gran parte del nostro pensiero quotidiano è basato sul ragionamento induttivo. Questo è come essere un detective che osserva alcuni indizi sparsi per capire cosa sia successo.

Esempio: Vedi un amico in ritardo, che sembra stanco e controlla l'orologio. Ipotizzi che abbia dormito troppo. Ma forse è rimasto bloccato nel traffico? Forse ha perso l'autobus? Non c'è una risposta "corretta" univoca; esiste una gamma di possibilità, ognuna con un diverso livello di probabilità.

Il problema è che i metodi di addestramento standard faticano a gestire questo aspetto. È difficile trovare una vasta biblioteca di "casi investigativi" dove le risposte siano già valutate da un insegnante che conosca la probabilità esatta di ogni esito. Chiedere ad altri modelli di IA di valutare questi casi è rischioso perché potrebbero semplicemente copiare i propri pregiudizi.

La Soluzione: Il "Gioco della Simulazione" (Program-based Posterior Training)

Gli autori di questo articolo hanno ideato un modo intelligente per addestrare l'IA a gestire l'incertezza. Lo chiamano Program-based Posterior Training (PPT).

Immaginalo come una pipeline di produzione di un videogioco in tre fasi:

Il Narratore (L'LLM): Per prima cosa, chiedono a un'IA potente di inventare un sacco di scenari selvaggi e a mondo aperto.
- Esempio: "Immagina un campionato di powerlifting in cui le prestazioni degli atleti dipendono dalla loro forza naturale, dalla loro concentrazione quel giorno e da quanto hanno dormito."
Il Matematico (Il Programma Probabilistico): Successivamente, chiedono all'IA di tradurre quella storia in un codice matematico rigoroso (un "programma probabilistico"). Questo codice agisce come un perfetto motore di simulazione. Non si limita a indovinare; calcola le esatte probabilità matematiche di ogni esito in base alle regole della storia.
- Analogia: Se la storia è una ricetta, questo passaggio consiste nello scrivere un programma per computer che simuli esattamente come crescerà la torta, quanto sarà densa e quanto è probabile che bruci, in base agli ingredienti.
L'Insegnante (I Dati di Addestramento): Infine, eseguono quella simulazione migliaia di volte. Invece di dare allo studente una singola risposta (ad esempio, "Jamal vincerà"), la simulazione fornisce una distribuzione di risposte (ad esempio, "Jamal ha il 60% di probabilità di vincere, il 30% di pareggiare e il 10% di perdere").

Lo studente IA viene quindi addestrato su questi milioni di scenari simulati. Invece di imparare a memorizzare una sola risposta "giusta", impara a replicare la forma della nuvola di probabilità generata dalla simulazione.

Cosa è successo quando ci hanno provato?

I ricercatori hanno testato questo nuovo "studente" su diverse sfide:

Previsioni Migliori: Quando gli veniva chiesto di prevedere gli esiti in scenari sportivi o sanitari che non aveva mai visto prima, l'IA forniva stime molto più accurate. Non si limitava a indovinare un numero; comprendeva l'incertezza che ruotava attorno a quel numero.
Pensare come gli Esseri Umani: Quando hanno confrontato le ipotesi dell'IA con i giudizi umani reali, l'IA addestrata con questo metodo si è allineata molto meglio al modo in cui pensano le persone reali. Ha smesso di essere eccessivamente sicura di sé e ha iniziato ad agire come un osservatore umano cauto.
Generalizzazione: Anche quando hanno testato l'IA su argomenti completamente diversi (come passare dallo sport alla sanità), ha comunque ottenuto ottimi risultati. Ciò suggerisce che abbia appreso una competenza generale nel "pensare con l'incertezza", non solo la memorizzazione di fatti sportivi.
Calibrazione: L'IA è diventata "calibrata". Ciò significa che se dice che c'è il 70% di probabilità che accada qualcosa, quella cosa accade effettivamente circa il 70% delle volte. L'articolo nota che questo miglioramento è profondo; non è solo un trucco superficiale (come regolare una manopola a posteriori), ma un cambiamento fondamentale nel modo in cui il modello rappresenta l'incertezza.

Il Punto Fondamentale

L'articolo sostiene che, per rendere l'IA migliore nel ragionamento del mondo reale, non dovremmo solo nutrirla con più fatti. Invece, dovremmo insegnarle a simulare il mondo. Usando l'IA per generare storie, trasformando quelle storie in rigorose simulazioni matematiche e poi addestrando altre IA sui risultati di tali simulazioni, possiamo creare modelli che siano molto più capaci di gestire la natura disordinata, incerta e probabilistica della vita reale.

Non hanno testato questo metodo su diagnosi mediche o consigli legali in questo specifico studio; si sono concentrati su sport, scenari generali e benchmark specifici per dimostrare che il metodo funziona. Il concetto centrale è che i programmi probabilistici agiscono come un insegnante perfetto, permettendo all'IA di apprendere l'arte dell'incertezza.

Riepilogo Tecnico: Program-based Posterior Training per il Ragionamento Induttivo negli LLM

Definizione del Problema

Sebbene i Large Language Models (LLM) abbiano ottenuto un successo significativo nei compiti di ragionamento deduttivo (ad es., matematica, programmazione) dove la correttezza è deterministica e verificabile, essi faticano con il ragionamento induttivo. I problemi induttivi del mondo reale richiedono l'inferenza di credenze latenti incerte da osservazioni scarse, ambigue e rumorose.

L'addestramento degli LLM per questi compiti affronta due sfide primarie:

Scarsità di Dati: È difficile curare dataset etichettati di alta qualità e su larga scala per il ragionamento induttivo in un mondo aperto. Il giudizio umano è costoso e difficile da scalare, mentre l'uso di LLM più forti per generare etichette rischia di ereditare i loro bias ed errori.
Target Distribuzionali: Il ragionamento induttivo richiede spesso la rappresentazione dell'incertezza (una distribuzione su possibili risposte) piuttosto che una singola stima puntuale. I metodi di fine-tuning standard faticano con target che sono intrinsecamente probabilistici.

Metodologia: Program-based Posterior Training (PPT)

Gli autori propongono il Program-based Posterior Training (PPT), una pipeline che utilizza programmi probabilistici per generare una supervisione scalabile e fondata per il fine-tuning degli LLM. Il flusso di lavoro consiste in tre passaggi sequenziali (illustrati nella Figura 1):

Sintesi degli Scenari: Un LLM closed-source potente genera scenari diversificati in linguaggio naturale di mondo aperto e le relative query.
Generazione di Programmi Probabilistici: L'LLM traduce ogni scenario in un programma probabilistico strutturato (specificamente in Pyro, un linguaggio di programmazione probabilistica basato su Python). Questo passaggio prevede:
- L'identificazione delle variabili latenti rilevanti ( $z$ ), delle osservazioni ( $x$ ) e delle variabili di query ( $y$ ).
- La codifica del modello generativo $p_\theta(z, x, y) = p_\theta(z)p_\theta(x|z)p_\theta(y|z, x)$ .
Generazione del Target: I programmi probabilistici generati vengono eseguiti per eseguire l'inferenza probabilistica (tramite MCMC o Rejection Sampling). Ciò produce la distribuzione a posteriori $p_\theta(y|x)$ , che funge da target di supervisione "ground truth".

Strategia di Fine-Tuning:
Gli autori effettuano il fine-tuning di LLM open-source (LLaMA-3-8B-Instruct e Qwen-2-7B-Instruct) utilizzando Low-Rank Adaptation (LoRA) sulle tuple $(scenario, query, posterior)$ generate. Esplorano due formati di supervisione:

Target Distribuzionale (PPT Distribution): L'LLM viene addestrato a predire la probabilità a posteriori discretizzata sugli token della risposta (ad es., interi 0–100) utilizzando la cross-entropy loss rispetto alla distribuzione inferita dal programma.
Target Puntuale (PPT Mean): L'LLM viene addestrato solo sulla media a posteriori (arrotondata all'intero più vicino).

Il dataset comprende oltre 10.000 scenari unici e oltre 59.000 query attraverso tre domini: Sport, Sanità e Generale.

Contributi Chiave

Nuovo Paradigma di Addestramento: Il documento introduce un metodo per addestrare gli LLM sul ragionamento induttivo collegando il linguaggio naturale di mondo aperto con modelli probabilistici precisi, andando oltre la supervisione deterministica a stima puntuale.
Creazione di Dataset Scalabili: Gli autori creano un dataset su larga scala di problemi di inferenza induttiva con etichette probabilisticamente fondate, generato tramite una pipeline automatizzata che estende la Model Synthesis Architecture (MSA).
Validazione Empirica della Supervisione Distribuzionale: Lo studio dimostra che il fine-tuning sulla distribuzione a posteriori completa produce risultati superiori rispetto al fine-tuning sulle medie a posteriori o all'uso diretto di LLM più forti come etichettatori.
Complementarità con i Metodi di Calibrazione: Il lavoro mostra che il PPT migliora la calibrazione "raw" (la rappresentazione interna dell'incertezza del modello) ed è complementare alla scalatura della temperatura post-hoc, anziché esserne assorbito da essa.

Risultati Sperimentali

1. Ragionamento Induttivo su Scenari Non Visti (Held-Out)

Accuratezza: I modelli sottoposti a fine-tuning con PPT superano significativamente i modelli base e i forti baseline closed-source (ad es., Gemini-3.1-Pro) su scenari sportivi con motivi inferenziali non visti. L'Errore Assoluto Medio (MAE) sulle stime della media a posteriori è stato sostanzialmente ridotto.
Rappresentazione dell'Incertezza: A differenza dei modelli base che producono spesso masse di probabilità non calibrate e idiosincratiche (ad es., raggruppamenti su multipli di dieci), i modelli PPT producono distribuzioni di risposta che si allineano strettamente con le inferenze del programma probabilistico di ground-truth.
Allineamento con l'Umano: Negli scenari sportivi, i modelli PPT hanno raggiunto una correlazione ( $R^2$ ) di 0,775, superando il modello base (0,509) e eguagliando le prestazioni degli originali programmi MSA (0,769).

2. Trasferimento di Dominio (Out-of-Domain)

I modelli sottoposti a fine-tuning su dati Sportivi hanno mostrato un miglioramento delle prestazioni sugli scenari di Sanità (un dominio non visto durante il training), nonostante non avessero mai visto dati di addestramento sanitari. Ciò suggerisce che il modello abbia appreso comportamenti induttivi generalizzabili al dominio piuttosto che memorizzare fatti specifici del dominio.
L'addestramento su un mix di tutti i domini (Sport, Sanità, Generale) ha fornito ulteriori miglioramenti rispetto all'addestramento su un singolo dominio.

3. Trasferimento su Benchmark Esterni

Gli autori hanno valutato il trasferimento su sette benchmark esterni, tra cui OpenEstimate (OE), Bayesian Teaching (BT), MMLU, TruthfulQA, HellaSwag, ARC-Challenge e Winogrande.

Calibrazione: Il PPT (Distribution) ha ridotto costantemente l'Expected Calibration Error (ECE) e la Negative Log-Likelihood (NLL) in tutti i benchmark a scelta multipla rispetto ai modelli base.
Complementarità: L'applicazione della scalatura della temperatura (TS) post-hoc ai modelli fine-tuned con PPT ha prodotto ulteriori miglioramenti in NLL ed ECE, indicando che il PPT sposta la rappresentazione dell'incertezza "raw" del modello, mentre il TS ne regola la scala di confidenza.
Accuratezza: Il PPT ha migliorato l'accuratezza dell'elicitazione del prior (riducendo il MAE su OpenEstimate) e, in alcuni casi, ha migliorato l'accuratezza della predizione argmax nei compiti a scelta multipla.

4. Studi di Ablazione

Distribuzione vs. Media: Il fine-tuning sulla distribuzione completa (PPT Distribution) ha costantemente superato il fine-tuning sulla media a posteriori (PPT Mean) in tutti i parametri, evidenziando l'importanza dell'informazione distribuzionale.
Campionamento Forward vs. Inferenza a Posteriori: Sebbene il campionamento forward permetta dataset più ampi, i modelli addestrati su target di inferenza a posteriori completa hanno ottenuto una migliore calibrazione e prestazioni di trasferimento.

Significato e Rivendicazioni

Il paper sostiene che il fine-tuning mediato da programmi probabilistici è un approccio promettente per permettere agli LLM di eseguire un'approssimativa inferenza induttiva post-training.

Internalizzazione dell'Incertezza: I risultati suggeriscono che il PPT consente ai modelli di "internalizzare profondamente" l'incertezza, permettendo loro di generare credenze calibrate piuttosto che limitarsi a riscalare gli output post-hoc.
Supervisione Scalabile: L'approccio dimostra che i programmi probabilistici possono servire non solo come strumenti di ragionamento al tempo di test, ma anche come fonti scalabili e automatizzate di supervisione per l'addestramento di LLM su compiti di ragionamento induttivo complessi e incerti.
Generalizzazione: Il metodo si trasferisce con successo a strutture inferenziali (motifs) e domini completamente nuovi, suggerendo che catturi la logica sottostante del ragionamento induttivo piuttosto che pattern superficiali.

Gli autori riconoscono i limiti, notando che la qualità della supervisione dipende dalla fedeltà dei programmi probabilistici generati dagli LLM e che l'attuale valutazione si concentra su query numeriche e a scelta multipla piuttosto che su un ragionamento aperto. Tuttavia, concludono che questa pipeline migliora efficacementamente l'accuratezza della stima, l'allineamento con l'umano e la calibrazione negli LLM.