💬 NLP

Using Probabilistic Programs to Train Inductive Reasoning in Large Language Models

Dit artikel introduceert Program-based Posterior Training (PPT), een nieuwe fine-tuning methode die probabilistische programma's gebruikt om diverse open-world scenario's en distributionele soft labels te genereren, waardoor het vermogen van grote taalmodellen om onzekere inductieve redeneringen uit te voeren en af te stemmen op menselijke oordelen aanzienlijk wordt verbeterd.

Oorspronkelijke auteurs: Liyi Zhang, Akshay K. Jagadish, Brenden M. Lake, Thomas L. Griffiths

Gepubliceerd 2026-06-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Liyi Zhang, Akshay K. Jagadish, Brenden M. Lake, Thomas L. Griffiths

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer intelligente, erudiete student (een Large Language Model, of LLM) probeert te leren hoe hij voorspellingen moet doen over de echte wereld.

Momenteel zijn deze studenten uitstekend in deductief redeneren. Dit is als het oplossen van een wiskundig probleem of het schrijven van code: er is een duidelijke set regels en als je die correct volgt, is er één enkele, 100% correcte oplossing. Als de student een fout maakt, is dat een duidelijke fout.

Echter, de echte wereld is zelden zo netjes. De meeste van onze dagelijkse gedachten maken gebruik van inductief redeneren. Dit is als een detective die naar een paar verspreide aanwijzingen kijkt om te achterhalen wat er is gebeurd.

Voorbeeld: Je ziet een vriend te laat komen, er vermoeid uitzien en op zijn horloge kijken. Je vermoedt dat hij heeft uitgeslapen. Maar misschien zat hij vast in de file? Misschien heeft hij de bus gemist? Er is niet één "correct" antwoord; er is een reikwijdte aan mogelijkheden, elk met een ander niveau van waarschijnlijkheid.

Het probleem is dat standaard trainingsmethoden hier moeite mee hebben. Het is moeilijk om een enorme bibliotheek van "detectivegevallen" te vinden waar de antwoorden al zijn beoordeeld door een leraar die de exacte waarschijnlijkheid van elke uitkomst kent. Andere AI-modellen vragen om deze gevallen te beoordelen is riskant, omdat ze mogelijk alleen hun eigen vooroordelen kopiëren.

De Oplossing: Het "Simulatiespel" (Program-based Posterior Training)

De auteurs van dit artikel kwamen met een slimme manier om de AI te trainen om met onzekerheid om te gaan. Ze noemen dit Program-based Posterior Training (PPT).

Beschouw dit als een proces van drie stappen in de productie van een videospel:

De Verhalenverteller (De LLM): Eerst vragen ze een krachtige AI om een reeks wilde, open wereld-scenario's te verzinnen.
- Voorbeeld: "Stel je een powerliftingkampioenschap voor waarbij de prestaties van atleten afhangen van hun natuurlijke kracht, hun focus die dag en hoeveel ze hebben geslapen."
De Wiskundige (Het Probabilistische Programma): Vervolgens vragen ze de AI om dat verhaal te vertalen naar een strikte wiskundige code (een "probabilistisch programma"). Deze code fungeert als een perfecte simulatie-engine. Het raadt niet alleen; het berekent de exacte wiskundige kansen van elke uitkomst op basis van de regels van het verhaal.
- Analogie: Als het verhaal een recept is, is deze stap het schrijven van een computerprogramma dat precies simuleert hoe de cake rijst, hoe compact hij zal zijn en hoe waarschijnlijk het is dat hij aanbrandt, gebaseerd op de ingrediënten.
De Leraar (De Trainingsdata): Ten slotte draaien ze die simulatie duizenden keren. In plaats van de student één enkel antwoord te geven (bijv. "Jamal zal winnen"), geeft de simulatie een verdeling van antwoorden (bijv. "Jamal heeft 60% kans om te winnen, 30% kans op een gelijkspel en 10% kans om te verliezen").

De AI-student wordt vervolgens getraind op deze miljoenen gesimuleerde scenario's. In plaats van te leren om één "goed" antwoord te onthouden, leert het de vorm van de waarschijnlijkheidswolk gegenereerd door de simulatie te matchen.

Wat gebeurde er toen ze dit probeerden?

De onderzoekers testten deze nieuwe "student" op verschillende uitdagingen:

Beter voorspellen: Wanneer de AI werd gevraagd om de uitkomsten te voorspellen in sport- of gezondheidszorgscenario's die het nog nooit eerder had gezien, maakte de AI veel nauwkeurigere schattingen. Het gokte niet alleen een getal; het begreep de onzekerheid rondom dat getal.
Denken als mensen: Wanneer ze de gokken van de AI vergeleken met werkelijke menselijke oordelen, stemde de AI die getraind met deze methode veel beter overeen met hoe echte mensen denken. De AI stopte met overdreven zelfverzekerd zijn en begon zich meer te gedragen als een voorzichtige menselijke waarnemer.
Generaliseren: Zelfs toen ze de AI testten op volkomen andere onderwerpen (zoals de overstap van sport naar de gezondheidszorg), presteerde het nog steeds goed. Dit suggereert dat de AI een algemene vaardigheid heeft geleerd voor "denken met onzekerheid", en niet alleen sportfeiten heeft onthouden.
Kalibratie: De AI werd "gekalibreerd". Dit betekent dat als de AI zegt dat er een kans van 70% is dat iets gebeurt, het ook daadwerkelijk ongeveer 70% van de tijd gebeurt. Het artikel merkt op dat deze verbetering diepgaand is; het is niet slechts een oppervlakkige truc (zoals het achteraf aanpassen van een knop), maar een fundamentele verandering in hoe het model onzekerheid representeert.

De Kern van het Verhaal

Het artikel betoogt dat om AI beter te maken in realistische redeneringen, we hem niet alleen meer feiten moeten voeren. In plaats daarvan moeten we hem leren om de wereld te simuleren. Door AI te gebruiken om verhalen te genereren, die verhalen te vertalen naar strikte wiskundige simulaties, en vervolgens andere AI's te trainen op de resultaten van die simulaties, kunnen we modellen creëren die veel beter zijn in het omgaan met de rommelige, onzekere en probabilistische aard van het echte leven.

Ze hebben dit in deze specifieke studie niet getest op medische diagnoses of juridisch advies; ze richtten zich op sport, algemene scenario's en specifieke benchmarks om te bewijzen dat de methode werkt. De kernboodschap is dat probabilistische programma's fungeren als een perfecte leraar, waardoor AI in staat is de kunst van onzekerheid te leren.

Technische Samenvatting: Programma-gebaseerde Posterior Training voor Inductief Redeneren in LLM's

Probleemstelling

Hoewel Large Language Models (LLM's) aanzienlijke successen hebben behaald in deductieve redeneertaken (bijv. wiskunde, programmeren) waarbij correctheid deterministisch en verifieerbaar is, worstelen ze met inductief redeneren. Inductieve problemen in de echte wereld vereisen het afleiden van onzekere latente overtuigingen uit schaarse, ambigue en ruisige observaties.

Het trainen van LLM's voor deze taken staat voor twee primaire uitdagingen:

Data-schaarste: Hoofdelijke, grootschalige gelabelde datasets voor open-world inductief redeneren zijn moeilijk te cureren. Menselijke oordelen zijn duur en moeilijk te schalen, terwijl het gebruik van sterkere LLM's om labels te genereren het risico loopt hun vooroordelen en fouten over te nemen.
Distributionele Doelstellingen: Inductief redeneren vereist vaak het representeren van onzekerheid (een distributie over mogelijke antwoorden) in plaats van een enkel punt-schatting. Standaard fine-tuning methoden worstelen met doelstellingen die inherent probabilistisch zijn.

Methodologie: Program-based Posterior Training (PPT)

De auteurs stellen Program-based Posterior Training (PPT) voor, een pijplijn die probabilistische programma's gebruikt om schaalbare, gegronde supervisie te genereren voor het fine-tunen van LLM's. De workflow bestaat uit drie opeenvolgende stappen (geïllustreerd in Figuur 1):

Scenario Synthese: Een sterke closed-source LLM genereert diverse, open-world natuurlijke taalscenario's en bijbehorende queries.
Probabilistische Programmageneratie: De LLM vertaalt elk scenario naar een gestructureerd probabilistisch programma (specifiek in Pyro, een Python-gebaseerde probabilistische programmeertaal). Deze stap omvat:
- Het identificeren van relevante latente variabelen ( $z$ ), observaties ( $x$ ) en query-variabelen ( $y$ ).
- Het coderen van het generatieve model $p_\theta(z, x, y) = p_\theta(z)p_\theta(x|z)p_\theta(y|z, x)$ .
Doelgeneratie: De gegenereerde probabilistische programma's worden uitgevoerd om probabilistische inferentie uit te voeren (via MCMC of Rejection Sampling). Dit produceert de posterior distributie $p_\theta(y|x)$ , die dient als de "ground truth" supervisie-doelstelling.

Fine-Tuning Strategie:
De auteurs fine-tunen open-source LLM's (LLaMA-3-8B-Instruct en Qwen-2-7B-Instruct) met behulp van Low-Rank Adaptation (LoRA) op de gegenereerde $(scenario, query, posterior)$ tuples. Ze verkennen twee supervisie-formaten:

Distributional Target (PPT Distribution): De LLM wordt getraind om de gediscretiseerde posterior waarschijnlijkheid over antwoord-tokens te voorspellen (bijv. gehele getallen 0–100) met behulp van cross-entropy loss tegen de door het programma geïnferredde distributie.
Point Target (PPT Mean): De LLM wordt alleen getraind op de posterior mean (afgerond naar het dichtstbijzijnde gehele getal).

De dataset bestaat uit meer dan 10.000 unieke scenario's en 59.000+ queries over drie domeinen: Sport, Gezondheidszorg en Algemeen.

Belangrijkste Bijdragen

Nieuw Trainingsparadigma: Het artikel introduceert een methode om LLM's te fine-tunen op inductief redeneren door een brug te slaan tussen open-world natuurlijke taal en precieze probabilistische modellen, waarmee verder wordt gegaan dan deterministische punt-schatting supervisie.
Schaalbare Datasetcreatie: De auteurs creëren een grootschalige dataset van inductieve inferentieproblemen met probabilistisch gegronde labels, gegenereerd via een geautomatiseerde pijplijn die de Model Synthesis Architecture (MSA) uitbreidt.
Empirische Validatie van Distributionele Supervisie: De studie toont aan dat het fine-tunen op volledige posterior distributies superieure resultaten oplevert vergeleken met het fine-tunen op posterior means of het direct gebruiken van sterkere LLM's als labelers.
Complementariteit met Kalibratiemethoden: Het werk laat zien dat PPT de "ruwe" kalibratie (de interne onzekerheidsrepresentatie van het model) verbetert en complementair is aan post-hoc temperature scaling, in plaats van erdoor te worden overschaduwd.

Experimentele Resultaten

1. Inductief Redeneren op Held-Out Scenario's

Nauwkeurigheid: PPT-fine-tuned modellen presteren aanzienlijk beter dan base LLM's en sterke closed-source baselines (bijv. Gemini-3.1-Pro) op held-out sportscenario's met ongeziene inferentiële motieven. De Mean Absolute Error (MAE) op posterior mean schattingen werd substantieel verminderd.
Onzekerheidsrepresentatie: In tegen tegenstelling tot base modellen die vaak ongekalibreerde, idiosyncratische waarschijnlijkheidsmassa's produceren (bijv. clustering op veelvouden van tien), produceren PPT-modellen antwoorddistributies die nauw aansluiten bij de ground-truth probabilistische programma-inferenties.
Menselijke Alignment: Op sportscenario's bereikten PPT-modellen een correlatie ( $R^2$ ) van 0.775 met menselijke oordelen, waarmee ze de base LLM (0.509) overtroffen en de prestaties van de originele MSA-programma's (0.769) evenaarden.

2. Domeinoverdracht (Out-of-Domain)

Modellen die gefine-tuned zijn op Sport-data vertoonden verbeterde prestaties op Gezondheidszorg-scenario's (een held-out domein), ondanks het feit dat ze nooit trainingsdata voor gezondheidszorg hebben gezien. Dit suggereert dat het model domein-generale inductieve gedragingen heeft geleerd in plaats van specifieke domeinfacta te memoriseren.
Trainen op een mix van alle domeinen (Sport, Gezondheidszorg, Algemeen) leverde verdere verbeteringen op ten opzien van single-domein training.

3. Transfer naar Externe Benchmarks

De auteurs evalueerden transfer op zeven externe benchmarks, waaronder OpenEstimate (OE), Bayesian Teaching (BT), MMLU, TruthfulQA, HellaSwag, ARC-Challenge en Winogrande.

Kalibratie: PPT (Distribution) verminderde consistent de Expected Calibration Error (ECE) en Negative Log-Likelihood (NLL) over alle multiple-choice benchmarks vergeleken met de base modellen.
Complementariteit: Het toepassen van post-hoc temperature scaling (TS) op PPT-fine-tuned modellen leverde verdere verbeteringen op in NLL en ECE, wat aangeeft dat PPT de ruwe onzekerheidsrepresentatie van het model verschuift terwijl TS de confidence scaling aanpast.
Nauwkeurigheid: PPT verbeterde de prior elicitation nauwkeurigheid (vermindering van MAE op OpenEstimate) en verbeterde in sommige gevallen de nauwkeurigheid van de argmax-voorspelling op multiple-choice taken.

4. Ablatie Studies

Distribution vs. Mean: Fine-tunen op de volledige distributie (PPT Distribution) presteerde consistent beter dan fine-tunen op de posterior mean (PPT Mean) over alle metrieken, wat het belang van distributionele informatie onderstreept.
Forward Sampling vs. Posterior Inference: Hoewel forward sampling grotere datasets mogelijk maakt, bereikten modellen getraind op volledige posterior inference targets betere kalibratie en transfer-prestaties.

Betekenis en Claims

Het artikel claimt dat probabilistische-programma-gemedieerde fine-tuning een veelbelovende aanpak is voor post-training van LLM's om benaderende inductieve inferentie uit te voeren.

Internalisatie van Onzekerheid: De resultaten suggereren dat PPT de modellen in staat stelt om onzekerheid "diep te internaliseren", waardoor ze gekalibreerde overtuigingen kunnen genereren in plaats van alleen hun outputs post-hoc te herschalen.
Schaalbare Supervisie: De aanpak demonstreert dat probabilistische programma's niet alleen als test-time redeneertools kunnen dienen, maar ook als schaalbare, geautomatiseerde bronnen van supervisie voor het trainen van LLM's op complexe, onzekere redeneertaken.
Generalisatie: De methode slaagt er succesvol in om te transfereren naar ongeziene inferentiële structuren (motieven) en geheel nieuwe domeinen, wat suggereert dat het de onderliggende logica van inductief redeneren vastlegt in plaats van oppervlakkige patronen.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de kwaliteit van de supervisie afhankelijk is van de getrouwheid van de door de LLM gegenereerde probabilistische programma's en dat de huidige evaluatie zich richt op numerieke en multiple-choice queries in plaats van open-ended redeneren. Zij concluderen echter dat deze pijplijn effectief de schattingsnauwkeurigheid, menselijke alignment en kalibratie van LLM's verbetert.