💻 computer science

Predicting Performance of Symbolic and Prompt Programs with Examples

Dit artikel stelt RAP voor, een prestatievoorspellingframework dat gebruikmaakt van opgehaalde vergelijkbare taken en promptprogramma's om een benaderende prior te construeren, waarmee de onbetrouwbaarheid van LLM-prompting effectief wordt aangepakt door de diffuse prestatieverdeling daarvan te onderscheiden van het "alles-of-niets"-karakter van symbolische programma's.

Oorspronkelijke auteurs: Chengqi Zheng, Keya Hu, Shuzhi Liu, Tao Wu, Kevin Ellis, Yewen Pu

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chengqi Zheng, Keya Hu, Shuzhi Liu, Tao Wu, Kevin Ellis, Yewen Pu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een werving- en selectiemanager bent die moet beslissen of een nieuwe werknemer klaar is voor een grote baan. Je hebt twee soorten kandidaten: De Robot (een symbolisch programma, zoals Python-code) en De Creatieve Freelancer (een prompt-programma, wat een instructie is die aan een AI wordt gegeven om een taak uit te voeren).

Het artikel stelt een simpele vraag: Als beide kandidaten een paar kleine praktijktoetsen halen, kunnen we ze dan vertrouwen om de echte baan te doen?

De auteurs zeggen: Ja voor de Robot, maar misschien niet voor de Freelancer. Hier is waarom, met gebruikmaking van de eigen logica en analogieën uit het artikel.

1. De twee soorten "programma's"

De Robot (Symbolisch Programma): Dit is als een strikte rekenmachine. Als je het "2 + 2" vertelt, moet het "4" zeggen. Het volgt starre regels. Als het een toets haalt, is dat omdat het de regels perfect heeft gevolgd.
De Freelancer (Prompt-programma): Dit is als het vragen aan een slimme maar iets onvoorspelbare kunstenaar om "een kat te tekenen". Je geeft de kunstenaar een prompt (instructies). De kunstenaar tekent misschien een geweldige kat, een rare kat of een hond. Zelfs als ze een paar praktijktoetsen halen, kunnen ze gewoon geluk hebben, of kunnen de instructies iets afwijken voor de echte wereld.

2. Het "Muntworp"-model

De auteurs stellen zich voor dat elke keer dat het programma een toets draait, het is alsof je een munt opgooit.

Kop: Het programma haalt het goed.
Munt: Het programma haalt het fout.

Het doel is om te raden hoe de munt "gewogen" is. Is het een eerlijke munt (50/50)? Of is het een trucs-munt die altijd op Kop landt (100% succes)?

3. De grote ontdekking: De "Vorm" van het verleden

Voordat we zelfs naar de toetsresultaten kijken, hebben de auteurs de geschiedenis van duizenden van deze programma's bekeken om te zien hoe hun "muntgewichten" er meestal uitzien. Ze vonden twee zeer verschillende vormen:

De geschiedenis van de Robot (Alles-of-niets):
Stel je een histogram voor van alle Robot-programma's. Het ziet eruit als twee hoge pieken aan de uiterste uiteinden.
- Pieken 1: De meeste Robots zijn perfect (100% succes).
- Pieken 2: De meeste Robots zijn kapot (0% succes).
- Het Midden: Bijna niets. Robots doen zelden "oké". Ze zijn ofwel perfect of ze falen volledig.
- Analogie: Het is als een lichtschakelaar. Het is ofwel AAN of UIT.
De geschiedenis van de Freelancer (De Diffuse Wolk):
Stel je een histogram voor van alle Freelancer-programma's. Het ziet eruit als een brede, vlakke wolk in het midden.
- Er zijn veel programma's die "bijna goed" zijn (70%, 80%, 90%).
- Er zijn zeer weinig die perfect zijn, en zeer weinig die totale mislukkingen zijn.
- Analogie: Het is als een dimmer. De meeste freelancers zitten ergens in het midden, variërend in helderheid.

4. Waarom een paar toetsen je bedriegen

Dit verschil verklaart waarom een paar geslaagde toetsen misleidend zijn voor de Freelancer, maar geruststellend voor de Robot.

Voor de Robot: Als je ziet dat het 3 toetsen haalt, weet je dat het waarschijnlijk een van die "perfecte" pieken is. Omdat de "tussenzone" (waar het misschien gewoon oké zou zijn) niet bestaat, is het halen van een paar toetsen een sterke garantie dat het blijft werken.
Voor de Freelancer: Als je ziet dat het 3 toetsen haalt, kan het gewoon een van die "bijna goed" programma's zijn die geluk had. Omdat er een enorme wolk is van "bijna goed" programma's, bewijst het halen van een paar toetsen niet dat het later perfect zal zijn. Het kan gemakkelijk de volgende een falen.

5. De oplossing: RAP (Het "Similariteitszoek"-hulpmiddel)

Omdat we een paar toetsen niet kunnen vertrouwen voor de Freelancer, hebben de auteurs een hulpmiddel gebouwd dat RAP heet (Retrieved Approximate Prior).

Denk aan RAP als een slimme bibliothecaris.

Het Probleem: Je hebt een nieuwe Freelancer-prompt en een paar toetsresultaten. Je weet niet of het goed is.
De Bibliotheek: RAP heeft een enorme bibliotheek met andere prompts en taken die eerder zijn geprobeerd.
De Zoektocht: RAP kijkt naar je nieuwe prompt en vraagt: "Wie in de bibliotheek lijkt het meest op jou?" Het vindt andere prompts die vergelijkbare problemen hebben opgelost.
De Voorspelling: In plaats van te gokken op basis van een algemene regel, kijkt RAP naar hoe die vergelijkbare prompts in het verleden hebben gepresteerd. Het bouwt een aangepaste "gok-kaart" (een prior) specifiek voor je prompt.
De Update: Naarmate je meer toetsen draait, werkt RAP zijn gok bij.

Het Resultaat: RAP is veel beter in het voorspellen of een Freelancer zal slagen dan alleen maar gokken of naar de hele bibliotheek tegelijk te kijken. Het past zich aan aan het specifieke type taak dat je doet.

Samenvatting

Robots (Code) zijn binair: ze zijn ofwel perfect of kapot. Een paar toetsen bewijzen dat ze perfect zijn.
Freelancers (Prompts) zijn variabel: ze zijn vaak "bijna goed". Een paar toetsen bewijzen niet dat ze betrouwbaar zijn.
RAP lost dit op door te kijken naar vergelijkbare eerdere voorbeelden om een slimmere gok te doen over hoe goed een nieuwe prompt zal werken, in plaats van alleen te vertrouwen op een paar gelukkige toetsruns.

Technische Samenvatting: Voorspellen van Prestaties van Symbolische en Prompt-Programma's met Voorbeelden

Probleemstelling

Het gebruik van Large Language Model (LLM)-prompting is wijdverbreid voor natuurlijk geformuleerde taken, maar lijdt aan onbetrouwbaarheid; een prompt kan een paar testgevallen doorstaan, maar faalt op onvoorspelbare wijze bij implementatie. Daarentegen worden symbolische programma's (bijv. Python, regex) vaak als betrouwbaar beschouwd zodra ze een paar representatieve testgevallen hebben doorstaan. Dit artikel onderzoekt de fundamentele vraag: Waarom certificeren enkele geslaagde tests symbolische programma's, maar geen prompt-programma's?

De auteurs kaderen dit in als een probleem van prestatievoorspelling: gegeven een programma (zij het symbolisch of een prompt uitgevoerd door een LLM) en een kleine set uitvoeringsresultaten binnen het domein (geslaagd/mislukt), voorspel de ware prestatie ( $\theta$ ) op ongezichten taken uit hetzelfde domein. Het doel is een posterior-verdeling over het slagingspercentage van het programma af te leiden om de implementeerbaarheid en betrouwbaarheidsniveaus te bepalen.

Methodologie

1. Theoretisch Kader: Het Munt-Flip Model

De auteurs hanteren een Bayesiaanse aanpak, waarbij elke programma-uitvoering op een testgeval wordt gemodelleerd als een onafhankelijke Bernoulli-stochastische variabele (een "muntflip").

Observatie ( $O$ ): Een set van $a$ successen en $b$ mislukkingen.
Waarschijnlijkheid: $P(O|\theta) \propto \theta^a (1-\theta)^b$ .
Posterior: $P(\theta|O) \propto P(\theta) \cdot \theta^a (1-\theta)^b$ .

Het cruciale inzicht is dat, hoewel de waarschijnlijkheid eenvoudig te berekenen is, de prestatie-prior $P(\theta)$ onbekend is en de posterior-verdeling bepaalt. Het artikel stelt dat het verschil in voorspelbaarheid tussen symbolische en prompt-programma's volledig voortkomt uit de vorm van hun respectievelijke priors.

2. Empirische Prestatie-Priors

Om de priors te begrijpen, hebben de auteurs een corpus samengesteld van 700 symbolische programma's (sp) en 700 prompt-programma's (pp) over diverse domeinen (bijv. Regex, HumanEval, ARC, Lijstregels). Ze evalueerden elk programma op 100 bemonsterde instanties om de ware prestatie te schatten.

Symbolische Programma's (sp): Vertonen een "alles-of-niets" prior. De verdeling is scherp bimodaal, geconcentreerd rond $\theta=0.0$ (volledig incorrect) en $\theta=1.0$ (perfect).
Prompt-Programma's (pp): Vertonen een diffuse prior. Er is aanzienlijke massa op intermediaire prestatiewaarden, wat "bijna-correcte" programma's vertegenwoordigt die door geluk een paar tests kunnen doorstaan maar op anderen falen.

Implicatie: Voor symbolische programma's verschuiven enkele successen de posterior-massa snel naar 1.0, wat hoge zekerheid biedt. Voor prompt-programma's verschuiven dezelfde successen de diffuse prior slechts licht, waardoor de ware prestatie onzeker blijft.

3. RAP (Retrieved Approximate Prior)

Om de moeilijkheid van het voorspellen van de prestaties van prompt-programma's aan te pakken, stellen de auteurs RAP voor, een op retrieval gebaseerde methode om een taak-specifieke prior te construeren.

Input: Een doelprompt-programma ( $p_{target}$ ), een set waargenomen voorbeelden binnen het domein ( $D$ ), en een corpus van taken en prompts ( $M$ ).
Retrieval:
1. Vergelijkbare Taken: Haal de top- $n$ taken uit het corpus op die lijken op de waargenomen voorbeelden, gebruikmakend van tekstuele embeddings.
2. Vergelijkbare Prompts: Haal de top- $K$ prompt-programma's uit het corpus op die vergelijkbaar gedrag vertonen (overeenstemming over correctheid) als $p_{target}$ op de opgehaalde taken.
Constructie van Prior: De prestaties van de opgehaalde prompts op de opgehaalde taken worden gebruikt om een mengsel van Beta-verdelingen te construeren als de benaderde prior.
Update: De waargenomen uitkomsten ( $O$ ) updaten dit mengsel van priors via conjugatie.
Verfijning: RAP omvat een Component-wise Prior Strength Adjustment. Het schaalt de parameters van elke Beta-component op basis van de Earth Mover's Distance (EMD) tussen de opgehaalde component en de prior die uitsluitend is afgeleid van waarnemingen binnen het domein. Dit voorkomt dat irrelevante corpusdata de posterior vervormt wanneer data binnen het domein schaars is.

Belangrijkste Bijdragen

Formalisatie: Het artikel formaliseert prestatievoorspelling als Bayesiaanse inferentie onder een eenvoudig munt-flip model, waarbij de waarschijnlijkheid (waargenomen data) expliciet wordt gescheiden van de prior (karakteristieken van programmatype).
Empirische Ontdekking: Het biedt het eerste empirische bewijs dat symbolische programma's een "alles-of-niets" prestatie-prior hebben, terwijl prompt-programma's een diffuse prior hebben met aanzienlijke massa op intermediaire prestaties. Dit verklaart het certificeringsgat tussen deze twee programmatypen.
Algoritmische Oplossing: De introductie van RAP, een op retrieval gebaseerde methode die een benaderde domein-specifieke prior construeert uit een corpus. RAP presteert beter dan baselines die geen corpus gebruiken of het volledige corpus naïef toepassen.

Resultaten

De auteurs hebben RAP geëvalueerd op 60 prompt-programma's in verschillende settings (binnen het domein en buiten het domein) met behulp van de metrieken Probability Density at Ground Truth (SC) en Absolute Error (AE).

Superioriteit: RAP presteert consequent beter dan baselines (zonder corpus en met volledig corpus) in zowel binnen-domein als buiten-domein settings.
Voordeel Binnen het Domein: Het gebruik van voorbeelden binnen het domein in het corpus verbetert de voorspellingnauwkeurigheid aanzienlijk, met name wanneer het aantal waargenomen testgevallen klein is.
Convergentie: Naarmate het aantal waarnemingen binnen het domein toeneemt, convergeert RAP op een elegante manier naar de empirische posterior, waardoor wordt gewaarborgd dat de waarschijnlijkheidsterm uiteindelijk de prior domineert.
Robuustheid: De methode blijft robuust over verschillende keuzes van hyperparameters, corpusgroottes en LLM-backbones.

Betekenis en Claims

Het artikel claimt het eerste werk te zijn dat prestatievoorspelling voor zowel symbolische als prompt-programma's bestudeert met behulp van een unifyend Bayesiaans kader. De primaire betekenis ligt in:

Kwantificeren van Intuïtie: Het bieden van een wiskundige verklaring waarom weinig testgevallen symbolische code certificeren maar geen prompts, en dit toeschrijven aan structurele verschillen in hun prestatie-priors.
Praktische Implementatie: Het aanbieden van een methode (RAP) om de zekerheid te schatten bij het implementeren van een prompt-programma wanneer slechts beperkte testdata beschikbaar is, een kritieke behoefte voor niet-kritieke settings waar 80% prestatie waardevol is maar onzekerheid beheerst moet worden.
Beperkingen: De auteurs merken bescheiden op dat RAP een "eerste aanvalslijn" is. Ze erkennen dat het ophalen van de top- $K$ relevante paren computationeel duur wordt naarmate het corpus groeit, en suggereren toekomstig werk op het gebied van actieve query's en low-rank benaderingen van het taak-prompt corpus.