📊 statistics

Why is prompting hard? Understanding prompts on binary sequence predictors

Dit artikel onderzoekt de uitdagingen van prompting door het te kaderen als het vinden van optimale conditioneringssequenties voor sequentiepredictors, en onthult door middel van gecontroleerde experimenten en analyse van frontier-modellen dat optimale prompts vaak onintuïtief zijn, moeilijk te identificeren zelfs met een exhaustieve zoektocht, en bij het gebruik van standaard methoden op basis van demonstraties vaak suboptimaal.

Oorspronkelijke auteurs: Li Kevin Wenliang, Anian Ruoss, Jordi Grau-Moya, Marcus Hutter, Tim Genewein

Gepubliceerd 2026-05-12

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Li Kevin Wenliang, Anian Ruoss, Jordi Grau-Moya, Marcus Hutter, Tim Genewein

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente, hoogopgeleide papegaai hebt. Deze papegaai heeft miljoenen boeken gelezen, ontelbare films bekeken en naar elke ooit gemaakte radioshows geluisterd. Het weet hoe het het volgende woord in een zin beter moet voorspellen dan wie dan ook. Dit is je AI-model.

Nu wil je dat deze papegaai een specifieke truc uitvoert: een grap vertellen, een verdrietig gedicht schrijven of een wiskundeprobleem oplossen. Je doet dit door het een prompt te geven – een paar woorden met instructies of een voorbeeld om het op gang te brengen.

Dit artikel stelt een simpele maar diepe vraag: Waarom is het zo moeilijk om de perfecte woorden te vinden om aan de papegaai te geven? Soms lijken de instructies die het beste werken voor een mens volledig vreemd, onzin of zelfs "fout". Waarom werkt een prompt die eruitziet als onzin beter dan een duidelijke, logische instructie?

De auteurs besloten te stoppen met gokken en te beginnen met testen. Ze bouwden een kleine, gecontroleerde wereld om te begrijpen wat er echt gebeurt in het brein van de papegaai.

Het Experiment: De Muntflip-Papegaai

In plaats van een echte, complexe AI te gebruiken, creëerden ze een simpele "papegaai" die alleen Kop en Munt begrijpt (zoals een muntworp).

De Training: Ze leerden deze papegaai door hem duizenden muntworpen te tonen. Maar hier zit de addertje onder het gras: ze toonden hem niet alleen eerlijke munten. Ze toonden munten die op verschillende manieren waren belast. Sommige munten landden 20% van de tijd op Kop, anderen 90%, en sommige waren een mix van beide. De papegaai leerde de volgende worp te raden op basis van het patroon dat hij zag in zijn training.
De Taak: Nu wilden ze dat de papegaai zich gedroeg als een specifieke munt die 70% van de tijd op Kop landt. Ze vroegen: "Wat is de beste reeks Kop en Munt om aan de papegaai te tonen zodat hij begint te raden dat 70% Kop is?"

De Grote Verrassing: "Foute" Prompts Werken Het Best

Je zou denken dat de beste manier om de papegaai te leren 70% Kop te raden, is door hem een lange lijst te tonen van 70% Kop en 30% Munt. Dat lijkt logisch, toch?

Het artikel vond dat dit vaak fout is.

In veel gevallen was de optimale prompt (diegene die echt het beste werkt) een reeks die er helemaal niet uitzag als de taak.

De Analogie: Stel je voor dat je een student wilt leren die gewend is om in een rustige bibliotheek te studeren, om te studeren in een drukke cafetaria. Je zou denken dat het tonen van een opname van een drukke cafetaria de beste manier is om hen voor te bereiden. Maar het artikel vond dat soms de beste manier om hen klaar te maken, is om hen een reeks stilte te tonen die hun brein subtiel manipuleert om geluid te verwachten.
De Realiteit: De "beste" prompt hangt volledig af van hoe de papegaai is getraind (zijn voortrainingsverdeling). Als de papegaai is getraind op een specifieke mix van muntbelastingen, kunnen de "magische woorden" om hem een bepaald gedrag te laten vertonen, een reeks van alleen Kop zijn, of een vreemde mix van 10 Kop en 2 Munt. Voor een mens die alleen naar de taak kijkt, lijkt dit een fout. Maar voor de papegaai is het een perfecte sleutel die het juiste gedrag ontgrendelt.

Waarom Is Dit Zo Moeilijk Om Uit Te Vinden?

Het artikel benadrukt drie hoofdredenen waarom het vinden van deze "magische woorden" een nachtmerrie is:

1. Het "Verborgen Recept" Probleem
Het gedrag van de papegaai wordt gevormd door een geheim "recept" (de voortrainingsverdeling) dat we meestal niet kennen.

Analogie: Stel je voor dat je probeert een radio af te stemmen op een specifieke zender. Je weet niet hoe de zender klinkt, en je weet niet hoe de radio is gebouwd. Je draait gewoon aan de knop. Soms geeft het draaien naar de "voor de hand liggende" plek je statisch geluid. Je moet draaien naar een vreemde, willekeurige plek om helder geluid te krijgen. Zonder de interne bedrading van de radio te kennen, kun je niet uitleggen waarom die vreemde plek werkt.

2. Het "Vlak Landschap" Probleem
De auteurs visualiseerden het zoeken naar de beste prompt als het lopen over een heuvelachtig landschap.

Analogie: Je bent op zoek naar de hoogste piek (de beste prompt). In een perfecte wereld is er één scherpe bergtop, en is het makkelijk om deze te vinden. Maar in de experimenten van dit artikel is het "landschap" vaak een vlak plateau. Er zijn honderden verschillende prompts die bijna even goed zijn.
Het Gevolg: Als je probeert de beste prompt te vinden met een kleine hoeveelheid data (zoals een kleine testbatch), kun je per ongeluk een "voldoende goede" prompt kiezen die eigenlijk anders is dan de echte beste. Als je de test opnieuw uitvoert met een iets andere batch, kun je een andere "voldoende goede" prompt kiezen. Dit maakt de resultaten onbetrouwbaar en moeilijk te interpreteren.

3. De "Expert Demo" Valstrik
Een populaire manier om AI te leren, is door het voorbeelden te tonen van een expert die de taak uitvoert (bijvoorbeeld: "Hier is hoe een schaakgrootmeester speelt").

De Bevinding: Het artikel toonde aan dat het tonen van expertvoorbeelden vaak minder effectief is dan het gebruik van een vreemde, geoptimaliseerde prompt.
Analogie: Stel je voor dat je wilt dat een robot perfect schaak speelt. Je kunt het 100 partijen laten zien die door een Grootmeester zijn gespeeld. Of je kunt het een vreemde, korte code geven die zijn brein in de "Grootmeester-modus" dwingt. Het artikel vond dat de vreemde code vaak beter werkt dan de 100 partijen. De expertvoorbeelden zijn te "typisch" en houden geen rekening met de specifieke trainingsbias van de robot.

Wat Met Echte AI (Zoals Chatbots)?

De auteurs testten deze ideeën op echte Large Language Models (zoals GPT-2 en Gemma) met behulp van filmrecensies.

Ze vonden dezelfde patronen: de beste prompts om een "positieve" recensie te genereren, waren niet altijd woorden die positief klonken. Soms waren het korte, vreemde of zelfs negatief klinkende woorden die op de een of andere manier de juiste reactie teweegbrachten.
Ze ontdekten ook dat je om de beste prompt betrouwbaar te vinden, een enorme hoeveelheid data nodig hebt (duizenden voorbeelden), niet alleen de kleine batches (rond de 200) die mensen meestal gebruiken. Met kleine batches gok je gewoon.

De Conclusie

Het artikel concludeert dat prompten moeilijk is omdat we proberen een machine te sturen zonder kennis van zijn volledige geschiedenis.

De "Beste" Prompt is Relatief: Er bestaat geen universele "beste" prompt. De beste prompt hangt af van de specifieke, verborgen biases van de trainingsdata van de AI.
Intuïtie Faalt: Wat logisch lijkt voor een mens (het tonen aan de AI wat je wilt), faalt vaak omdat het geen rekening houdt met de interne "wiskunde" van de AI.
Betrouwbaarheid is Laag: Tenzij je grondig zoekt en enorme datasets gebruikt, zijn de prompts die je vindt misschien geluksvogels die niet consequent werken.

Kortom, het artikel suggereert dat de "magie" van prompten niet alleen gaat over het schrijven van goede instructies; het gaat over het hacken van de verborgen statistische biases van de AI op manieren die voor ons vaak volledig tegen-intuïtief lijken.

Technische Samenvatting: Het Begrijpen van Prompts bij Binary Sequence Predictors

Probleemstelling

Frontier-modellen, zoals Large Language Models (LLM's), kunnen via prompts worden geconditioneerd om diverse taken uit te voeren. Het vinden van effectieve prompts is echter moeilijk, en zelfs wanneer goed presterende prompts worden gevonden, zijn ze vaak niet-intuïtief of "eccentrisch". Het kernprobleem dat wordt aangepakt, is het gebrek aan fundamenteel inzicht in waarom optimale prompts tegen-intuïtief gedragen, waarom ze betrouwbaar moeilijk te identificeren zijn, en waarom gebruikelijke heuristieken (zoals het gebruik van expertdemonstraties) vaak falen.

Het artikel stelt dat prompting fundamenteel een probleem is van het vinden van de beste conditioneringsequentie op een bijna-optimale sequentiepredictor. De moeilijkheid ontstaat omdat de optimale prompt sterk afhankelijk is van de pretraining-distributie (de meta-distributie van de data waarop het model is getraind), die voor de gebruiker doorgaans onbekend is. Bijgevolg kunnen prompts die optimaal zijn voor een specifieke taak atypisch of suboptimaal lijken wanneer ze uitsluitend door de lens van de taakdistributie worden bekeken.

Methodologie

De auteurs stellen een rigoureus, gecontroleerd empirisch kader voor om prompting te bestuderen vanuit een Bayesiaans meta-leerperspectief.

Synthetische Data-generatoren (DG's): In plaats van te vertrouwen op complexe natuurlijke taaldata waar de grondwaarheid ontwijkt, ontwerpen de auteurs synthetische binaire sequentie-data-generatoren. Deze omvatten:
- Conditioneel Onafhankelijke Bernoulli DG's (CIB-DG's): Modellen waarbij sequenties worden gegenereerd op basis van een latente bias $\tau$ getrokken uit een prior-distributie $p_\tau$ .
- Complexe DG's: Inclusief schakelprocessen, hiërarchische modellen en topic-modellen om niet-i.i.d.-structuren te simuleren.
- Bandit Besluitnemer: Een twee-armige Bernoulli-bandittask waarbij het doel is om een specifiek "vaardigheidsniveau" ( $\tau$ ) in een agent te induceren om de opbrengst te maximaliseren.
Predictors: Het kader evalueert twee soorten predictors:
- Bayes Predictors: Theoretisch optimale predictors die analytisch zijn afgeleid voor de synthetische DG's.
- Neurale Predictors: Autoregressieve modellen (RNN's, LSTMs, Transformers) die via meta-learning zijn getraind op steekproeven uit de pretraining-DG's om de Bayes-predictor te benaderen.
Prompt-zoekopdracht:
- Theoretisch Optimale Prompts ( $s^*$ ): Gevonden via uitputtende zoekopdracht over de promptruimte om de verwachte log-verlies onder de taakdistributie $q$ te minimaliseren. Dit biedt een numeriek gegarandeerde grondwaarheid.
- Empirisch Optimale Prompts ( $\hat{s}$ ): Gevonden door prompts te optimaliseren op eindige datasets getrokken uit $q$ , waarmee real-world prompt-engineering-beperkingen worden gesimuleerd.
Metingen: De studie analyseert het "proportie correct" (betrouwbaarheid van het vinden van $s^*$ ), het "verlieslandschap" (vlakheid rond het optimum) en de interpreteerbaarheid van prompts ten opzichte van de taak- en pretraining-distributies.

Belangrijkste Bijdragen

Rigoureus Kader: Een formeel kader is opgezet voor het analyseren van optimale conditioneringsequenties, met definities van optimaliteit, experimentele ontwerpen en visualisatietechnieken.
Resultaten van Uitputtende Zoekopdracht: Er zijn meer dan 250.000 numeriek gegarandeerde optimale prompts verzameld. De studie onthult dat optimale prompts vaak atypisch zijn voor de taak; ze lijken niet op steekproeven uit de taakdistributie, maar zijn juist afgestemd om biases in de onbekende pretraining-distributie te benutten.
Betrouwbaarheidsanalyse: Aangetoond dat het identificeren van optimale prompts onbetrouwbaar is, zelfs met eindige datasets. Het vergroten van de datasetgrootte ( $N$ ) verbetert de betrouwbaarheid niet altijd; in sommige gevallen leidt het tot inconsistente resultaten vanwege vlakke verlieslandschappen waar veel suboptimale prompts vergelijkbare prestaties hebben.
In-Context Learning versus Optimale Prompts: Aangetoond dat prompting via expertdemonstraties (een veelgebruikte in-context learning-strategie) vaak suboptimaal is in vergelijking met theoretisch optimale prompts. In een bandittask leverden expertdemonstraties lagere opbrengsten op dan prompts die specifieke latente vaardigheidsniveaus induceerden via tegen-intuïtieve beloningspatronen.
LLM-validatie: Het kader is aangepast aan echte LLM's (GPT-2, Gemma-3, Gemini 2.5 Pro) met behulp van IMDB-filmrecensies. De bevindingen over binaire sequenties (bijvoorbeeld de moeilijkheid om optimale prompts te identificeren met kleine batchgroottes en de prevalentie van korte, niet-intuïtieve prompts) waren consistent met resultaten op echte modellen.

Belangrijkste Resultaten

Atypische Aard van Optimale Prompts: In een scenario waarin een model is getraind op een mengsel van muntbias en de taak heeft om 70% kop te genereren, was de optimale prompt geen sequentie van 70% kop. In plaats daarvan was het vaak een sequentie van allemaal enen (of andere extreme aantallen) die de posterior-credo het snelst concentreerde op de doelbias, gegeven het specifieke pretraining-mengsel.
Lengte en Zoekruimte: In tegenstelling tot de intuïtie dat langere prompts altijd beter zijn, vond de studie dat de optimale promptlengte niet monotoon toeneemt met de taaksequentielengte. Korte prompts lijken vaak optimaal omdat de zoekruimte voor langere prompts enorm is en uitputtende zoekopdrachten in de praktijk zelden worden uitgevoerd.
De Rol van de Pretraining-distributie: De interpreteerbaarheid van een prompt is afhankelijk van het kennen van de pretraining-distributie. Zonder deze kennis lijken optimale prompts als "onbegrijpelijke tekst" of eccentrische sequenties.
Expertdemonstraties zijn Suboptimaal: In het bandit-experiment presteerden prompts afgeleid van expertdemonstraties (Thompson sampling) slechter dan optimale prompts. De optimale prompts maakten gebruik van specifieke beloningspatronen (bijvoorbeeld één mislukking gevolgd door een reeks successen) om hoog vaardigheidsniveaus effectiever te signaleren dan typische experttrajecten.
Betrouwbaarheid en Batchgrootte: Empirische optimalisatie is zeer gevoelig voor de datasetgrootte. Kleine batchgroottes (bijvoorbeeld $N=200$ , gebruikelijk in de literatuur) leveren onbetrouwbare prompts op. Een veel grotere $N$ (bijvoorbeeld $N \approx 1700$ voor LLM's) is vereist om een kans van 50% te bereiken om de optimale prompt te identificeren.

Betekenis en Claims

Het artikel claimt een eerste stap te zetten naar het begrijpen van optimale prompts vanuit een statistisch en empirisch perspectief. Het betoogt dat de niet-intuïtieve aard van prompting niet slechts een gebrek aan huidige architecturen is, maar een fundamenteel gevolg van Bayesiaans meta-leer op onbekende pretraining-distributies.

Fundamenteel Inzicht: De moeilijkheid bij prompting ontstaat omdat de optimale prompt de pretraining-priors moet "hacken" om het model te sturen, in plaats van simpelweg de taakdistributie na te bootsen.
Beperkingen: De auteurs zijn bescheiden in hun claims en merken op dat binaire tokens drastische vereenvoudigingen zijn van natuurlijke taal. Hoewel de bevindingen fundamentele inzichten bieden, voorspellen ze niet definitief de exacte gedragingen van full-scale frontier-modellen. De studie richt zich op de pretraining-fase en houdt geen volledige rekening met post-training-effecten (zoals RLHF) of specifieke architecturale nuances.
Implicatie: Het werk suggereert dat huidige heuristische benaderingen voor prompt-engineering (die vertrouwen op intuïtie of zoekopdrachten op kleine schaal) waarschijnlijk de ware optimale oplossingen missen, die vaak verborgen liggen in de complexe wisselwerking tussen de taak en de verborgen pretraining-distributie.

Kortom, het artikel biedt een theoretische en empirische basis voor waarom "goede" prompts moeilijk te vinden zijn en waarom ze er vaak vreemd uitzien, en schrijft deze fenomenen toe aan de statistische noodzaak om af te stemmen op een onbekende pretraining-meta-distributie.