🤖 machine learning

PPDL: LLM-Based Flows as Probabilistic Programs

Dit artikel introduceert PPDL, een probabilistische programmeertaal die ontwikkelaars in staat stelt om onzekerheid te kwantificeren en te propageren door LLM-gebaseerde applicatieflows en te experimenteren met technieken voor inferentieschaling zonder de kernlogica aan te passen, zoals gedemonstreerd door een stellingbewijzende agent voor de Rocq-prover.

Oorspronkelijke auteurs: Louis Mandel, Guillaume Baudart, Mandana Vaziri, Martin Hirzel

Gepubliceerd 2026-08-07

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Louis Mandel, Guillaume Baudart, Mandana Vaziri, Martin Hirzel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een echt lastige puzzel probeert op te lossen, maar in plaats van het alleen te doen, heb je een super slimme, creatieve vriend die met je kan praten. Deze vriend is een Kunstmatige Intelligentie genaamd een Large Language Model (LLM). Ze zijn geweldig in het schrijven van verhalen, het oplossen van wiskundige problemen en zelfs het schrijven van computercode. Echter, ze zijn niet perfect. Soms zijn ze heel zelfverzekerd over het verkeerde antwoord, of verzinnen ze feiten die echt klinken maar dat niet zijn. Dit wordt "onzekerheid" genoemd.

Stel je nu voor dat je een echt moeilijk probleem moet oplossen dat veel stappen vereist. Je vraagt je AI-vriend om een plan, dan vraag je hen om code te schrijven op basis van dat plan, en dan vraag je hen om de code te controleren, enzovoort. Elke keer als je een vraag stelt, geeft de AI een antwoord, maar dat antwoord kan een beetje wankel zijn. Als je tien van deze wankele antwoorden aan elkaar koppelt, kan het eindresultaat een totale puinhoop zijn. Het is alsof je een toren van Jenga-blokjes probeert te bouwen waarbij elk blokje een beetje wiebelig is; hoe hoger je gaat, hoe groter de kans dat de hele boel instort. Ontwikkelaars en gebruikers voelen zich hier vaak verloren: "Is dit antwoord juist? Hoe zeker zijn we? Moet ik dit vertrouwen?"

Om dit op te lossen, hebben wetenschappers een paar trucjes geprobeerd. Een populair idee is "inference scaling" (inferentie-schaling). Denk hierbij aan het vragen aan je AI-vriend om dezelfde puzzel tien verschillende keren te proberen en te kijken welk antwoord het vaakst voorkomt. Het is alsof je een groep vrienden vraagt om het antwoord op een raadsel te raden en met de meerderheidsstem gaat. Maar hier komt de adder onder het gras: het handmatig uitvoeren hiervan is rommelig. Je moet speciale computercode schrijven om die tien pogingen uit te voeren, bij te houden welke er goed uitzien, en de slechte weg te gooien. Het is alsof je een nieuwe fabriek moet bouwen voor elke batch koekjes die je wilt bakken, alleen maar om te controleren of ze wel goed smaken. Het is ingewikkeld, duur en moeilijk aan te passen als je een andere manier van koekjes bakken wilt proberen.

Het Grote Idee van het Papier: De "Magische Scorekaart"

Dit papier introduceert een nieuw hulpmiddel genaamd PPDL (Probabilistic Prompt Declaration Language). Je kunt PPDL zien als een speciale "magische scorekaart" voor AI-workflows. In plaats van alleen de AI een vraag te stellen en een enkel antwoord te krijgen, laat PPDL je een programma schrijven dat van nature begrijpt dat de AI onzeker kan zijn.

Zo werkt het in gewone taal:

De Flow: Je schrijft je instructies voor de AI zoals je dat normaal gesproken zou doen (bijv. "Plan de code", dan "Schrijf de code", dan "Controleer de code").
De Magische Factor: Je voegt een speciale instructie toe die een factor wordt genoemd. Dit is als een scorekaart waarbij je de AI vertelt: "Hé, als het plan logisch klinkt, geef het dan een hoge score. Als de code fouten bevat, geef het dan een lage score."
Het Resultaat: Wanneer je het programma uitvoert, geeft de computer niet zomaar één antwoord. Het voert het hele proces vele malen parallel uit (alsof er honderd verschillende versies van jou tegelijkertijd de puzzel proberen op te lossen). Het gebruikt jouw "scorekaart" om de resultaten te wegen. Als één pad er heel veelbelovend uitziet, richt de computer meer energie op dat pad. Als een pad slecht lijkt, laat de computer het vallen.

Het coolste deel is dat je niet zelf die complexe "voer het tien keer uit"-code hoeft te schrijven. PPDL doet al dat zware werk op de achtergrond. Je schrijft de logica één keer, en het systeem begrijpt automatisch de beste manier om alle mogelijkheden te verkennen.

Wat Ze Hebben Gevonden

De auteurs hebben dit idee getest op verschillende uitdagingen, van het oplossen van wiskundige problemen uit de basisschool tot het schrijven van complexe computercode en zelfs het bewijzen van wiskundige stellingen.

Betere Nauwkeurigheid: In hun tests maakte het gebruik van PPDL met deze "scorekaarten" de AI aanzienlijk nauwkeuriger. Bijvoorbeeld, in een wiskundest test genaamd GSM8k, kreeg een standaard AI ongeveer 83,8% van de antwoorden goed. Maar wanneer ze PPDL gebruikten met een methode genaamd "Importance Sampling" (wat een slimme manier is om de beste gokken te selecteren), steeg de nauwkeurigheid naar 93,7%.
De "Slimme" Manier Wint: Ze vergeleken verschillende manieren om de scorekaarten te gebruiken. Soms werkte het simpelweg nemen van de "meerderheidsstem" (het meest voorkomende antwoord) goed. Maar vaak waren de slimmere methoden (zoals Importance Sampling en Sequential Monte Carlo) veel beter. Deze methoden zijn als een detective die niet alleen stemmen telt, maar ook onderzoekt waarom een antwoord goed of slecht is, door slechte paden vroegtijdig te verwerpen en zich te concentreren op de goede paden.
De Casestudy van de Stellingbewijzer: Om het systeem echt te testen, bouwden ze een AI-agent die wiskundige stellingen bewijst met behulp van een tool genaamd Rocq. Dit is een zeer moeilijke taak waarbij de AI een bewijs moet schrijven, controleren of het fout is, en het vervolgens moet herstellen, herhaaldelijk. Ze ontdekten dat de "slimme" methode (Sequential Monte Carlo) veel beter was in het vinden van het juiste bewijs dan simpelweg willekeurige gokken herhaaldelijk proberen. Het kon veel verschillende paden tegelijk verkennen en snel de paden verlaten die nergens toe leidden.

Wat Ze Niet Beweren

De auteurs zijn voorzichtig om niet te beweren dat dit een "magische oplossing" is voor alles. Ze wijzen erop dat de "scorekaarten" (de factoren) slechts zo goed zijn als de informatie die je erin stopt. Als je een slechte scorekaart hebt, zal het systeem het niet magisch oplossen. Ook betekent deze methode niet dat de AI plotseling perfect is; het betekent alleen dat we een veel betere manier hebben om te meten hoe zeker we moeten zijn over het antwoord.

Waarom Het Er Toe Doet

Dit papier suggereert dat door AI-workflows te behandelen als "probabilistische programma's" (programma's die onzekerheid begrijpen), we AI-toepassingen veel betrouwbaarder kunnen maken zonder ze extreem ingewikkeld te maken om te bouwen. Het is alsof je ontwikkelaars een nieuw pakket aan tools geeft die automatisch het rommelige werk van "opnieuw proberen en opnieuw proberen" afhandelen, zodat zij zich kunnen concentreren op het bouwen van coole dingen, terwijl de computer de beste manier uitzoekt om het juiste antwoord te krijgen.

Technische Samenvatting: PPDL: LLM-gebaseerde Flows als Probabilistische Programma's

Probleemstelling

Het bouwen van betrouwbare applicaties met behulp van Large Language Models (LLM's) is uitdagend vanwege de inherente onzekerheid en het gebrek aan betrouwbaarheidsmetingen in de outputs van LLM's. Dit probleem wordt verergerd in "flows"—sequenties van meerdere LLM-aanroepen en tool-interacties—waar onzekerheid zich opstapelt langs het executietraject. Hoewel technieken voor inferentie-schaling (bijv. taken herhalen, verifieerders gebruiken) de nauwkeurigheid kunnen verbeteren, zijn huidige implementaties vaak ad hoc, nauw gekoppeld aan de programmalogica en ontbreekt het aan een principieel kader voor het bijhouden van onzekerheid of het verkennen van alternatieve executiepaden. Ontwikkelaars worstelen met het beoordelen van de correctheid van antwoorden of het experimenteren met verschillende schaalstrategieën zonder de kernlogica van de flow te herschrijven.

Methodologie

Het artikel introduceert PPDL (Probabilistic Prompt Declaration Language), de eerste probabilistische programmeertaal die specifiek is ontworpen voor LLM-gebaseerde flows. PPDL verenigt prompt-programmeren met probabilistisch programmeren door de kernlogica van het programma te ontkoppelen van de inferentie-schalingsstrategie.

Kernconstructen van de taal

PPDL is gebouwd op PDL (Prompt Declaration Language), een declaratieve taal voor het componeren van LLM- en tool-aanroepen. PPDL breidt PDL uit met een enkele, orthogonale primitief: factor.

sample (Impliciet): LLM-aanroepen fungeren als bemonsteringsoperaties (sampling) uit een distributie die wordt gedefinieerd door het model en de huidige context.
factor: Dit construct werkt de waarschijnlijkheid van het huidige executietraject bij op basis van door de gebruiker gespecificeerde restricties (zachte of harde restricties). Restricties kunnen worden afgeleid van LLM-as-a-judge evaluaties, regelgebaseerde tools (bijv. linters, testsuites) of process reward models.
Executiemodel: In plaats van een enkele output terug te geven, behandelt PPDL het programma als een distributie over executietrajecten. De runtime verkent deze distributie met behulp van probabilistische inferentie-engines.

Semantiek en Inferentie

Het artikel formaliseert de semantiek van PPDL als een gewogen sampler.

Gewogen Sampler: Een enkel executietraject reduceert een programma $p$ tot een waarde $v$ met een bijbehorend log-score (geaccumuleerd van factor-statements).
Ideale Semantiek: Gedefinieerd als een oneindige som over alle mogelijke trajecten, genormaliseerd om een categorische distributie over outputwaarden te vormen.
Benaderende Inferentie: Omdat de ideale semantiek onhandelbaar (intractable) is, implementeert PPDL Monte Carlo-benaderingsalgoritmen:
- Importance Sampling (IS): Voert $N$ onafhankelijke deeltjes (particles/traces) uit en herweegt deze op basis van hun uiteindelijke scores.
- Sequential Monte Carlo (SMC): Introduceert resampling-stappen bij factor-punten. Deeltjes met lage scores worden weggegooid en deeltjes met hoge scores worden gedupliceerd, waardoor het systeem de computationele middelen kan richten op veelbelovende gedeeltelijke trajecten in een vroeg stadium van de flow.
- Majority Voting: Een baseline waarbij alle deeltjes gelijk worden gewogen.

Implementatie

PPDL is een geïnterpreteerde taal die met parallellisatie is geïmplementeerd.

Parallellisatie: Onafhankelijke deeltjes worden parallel uitgevoerd. Binnen een enkel deeltje worden onafhankelijke modelaanroepen geparalleliseerd met behulp van futures en uitgestelde datastructuren om blokkeren te minimaliseren.
Orthogonaliteit: Gebruikers schrijven de flow-logica één keer. Het inferentie-algoritme (IS, SMC of Majority Voting) en het aantal deeltjes worden tijdens runtime geconfigureerd zonder de broncode te wijzigen.

Belangrijkste Bijdragen

PPDL Taal: De eerste probabilistische prompt-programmeertaal voor flows van LLM- en tool-aanroepen, die factor introduceert als een mechanisme om executietrajecten te scoren en te sturen.
Formele Semantiek: Een rigoureuze definitie van het gedrag van PPDL, die de interactie tussen prompt-gebaseerde bemonstering en probabilistische factoren formaliseert, en de resulterende distributie van trajecten definieert.
Inferentie-schalingsframework: Een demonstratie dat PPDL systematische experimenten mogelijk maakt met verschillende inferentie-schalingsalgoritmen (IS, SMC, Majority Voting) over diverse modellen en taken heen, zonder de flow-logica te herschrijven.
Case Study: Implementatie van een theorem proving agent voor de Rocq theorem prover, die het nut van probabilistische inferentie in complexe, iteratieve agent-workflows aantoont.

Experimentele Resultaten

De auteurs evalueerden PPDL over meerdere benchmarks (GSM8k, Math500, MBPP, LiveCodeBench, Fever) en modellen (Granite, Llama, GPT-OSS).

Verbetering in Nauwkeurigheid: Inferentie-schaling presteerde over het algemeen beter dan de baseline (enkele executie, IS@1). Hoewel Majority Voting in sommige gevallen goed presteerde, leverden Importance Sampling (IS) en Sequential Monte Carlo (SكMC) vaak superieure resultaten op, vooral wanneer factor-restricties betekenisvolle informatie boden om correcte van incorrecte trajecten te onderscheiden.
SMC Voordeel: In complexe, meerstaps flows (zoals theorem proving) presteerde SMC aanzienlijk beter dan IS. Door te resamplen bij tussenliggende factor-punten, kon SMC de computationele middelen eerder richting veelbelovende paden sturen, waardoor verspilling van tokens aan incorrecte gedeeltelijke trajecten werd voorkomen.
Theorem Proving Case Study: In de MiniF2F-Rocq benchmark lost SMC met 40 deeltjes 39% van de problemen op (95/244), vergeleken met 30% (72,7/244) voor de baseline IS@1-strategie, allemaal binnen een vast tokenbudget. Dit toonde aan dat probabilistische sturing de prestaties van het basismodel op uitdagende taken kan verbeteren.

Betekenis en Claims

Het artikel claimt dat PPDL een principiële manier biedt om met onzekerheid in LLM-applicaties om te gaan. Door LLM-flows te behandelen als probabilistische programma's, stelt het ontwikkelaars in staat om:

Onzekerheid te Kwantificeren: Gebruikers ontvangen een distributie van outputs, wat hen in staat stelt om vertrouwen te beoordelen in plaats van te vertrouwen op een enkele, potentieel foutieve output.
Efficiënt te Experimenteren: Ontwikkelaars kunnen wisselen tussen inferentie-schalingsstrategieën (bijv. van eenvoudige voting naar complexe SMC) door de runtime-configuratie te wijzigen in plaats van de code te refactoren.
Logica te Ontkoppelen van Zoektocht: De scheiding van de kernflow-logica en de zoekstrategie (inferentie-engine) vereenvoudigt de ontwikkeling van robuuste agent-workflows.

De auteurs erkennen dat inferentie-schaling geen "silver bullet" is en dat de kwaliteit van de resultaten afhangt van de kwaliteit van de restricties (factors) die worden geleverd, welke imperfect kunnen zijn. PPDL biedt echter een flexibel kader om verschillende bronnen van restricties en inferentie-algoritmen te integreren en te testen.