🤖 AI

Embedding by Elicitation: Dynamic Representations for Bayesian Optimization of System Prompts

Het artikel introduceert ReElicit, een Bayesiaanse optimalisatieframework dat gebruikmaakt van grote taalmodellen om dynamisch adaptieve, interpreteerbare feature-embeddings te eliciteren uit geaggregeerde feedback, waardoor een efficiënte optimalisatie van variabele lengte systeemprompts mogelijk wordt zonder labels per voorbeeld.

Oorspronkelijke auteurs: Zhiyuan Jerry Lin, Benjamin Letham, Samuel Dooley, Maximilian Balandat, Eytan Bakshy

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhiyuan Jerry Lin, Benjamin Letham, Samuel Dooley, Maximilian Balandat, Eytan Bakshy

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een zeer getalenteerde, maar licht koppige robot te leren vragen te beantwoorden. Je kunt niet direct met de robot praten om te zeggen: "Je hebt dit specifieke wiskundeprobleem verkeerd opgelost omdat je vergeten bent om de eenheid over te dragen." In plaats daarvan krijg je aan het einde van een lange dag slechts één getal: "Vandaag heeft de robot 85% van de vragen goed beantwoord."

Dit is het probleem dat het artikel aanpakt: Hoe verbeter je de instructies van een robot (een "systeemprompt") wanneer je alleen een vaag, algeheel cijfer krijgt en geen gedetailleerd rapport?

De auteurs, van Meta, stellen een nieuwe methode voor genaamd ReElicit. Hieronder wordt uitgelegd hoe dit werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: Het "Black Box"-Dilemma

Meestal, wanneer je een machine learning-model afstelt, heb je veel data. Je weet precies welke antwoorden goed waren en welke fout. Maar in de echte wereld (zoals een klantenservicebot) weet je misschien alleen dat "de klanttevredenheid deze week met 2% is gestegen".

Proberen de perfecte instructies te raden door zomaar woorden te veranderen en te hopen op het beste, is als proberen een specifieke naald in een hooiberg te vinden door willekeurige naalden ernaartoe te gooien. Het is te traag en inefficiënt.

2. De Oplossing: De "Vertaler"-robot

De auteurs realiseerden zich dat ze, in plaats van door miljoenen mogelijke zinnen te zoeken, een "slim" Groot Taalmodel (LLM) konden vragen om te fungeren als een vertaler.

Hier is de analogie:

Het Doel: Je wilt het perfecte cake-recept vinden, maar je krijgt na het bakken alleen een smaakcijfer (bijvoorbeeld "8/10"). Je kunt de ingrediënten niet individueel proeven.
De Oude Manier: Je raadt gewoon willekeurig nieuwe recepten.
De ReElicit-Manier: Je vraagt een meesterkok (het LLM) om naar je eerdere recepten en hun cijfers te kijken. De kok zegt: "Ik denk dat het geheim niet het meel of de suiker is; het is de balans tussen vanille en bakpoeder."

De kok maakt vervolgens een eenvoudige kaart (een "kenruimte") met slechts twee of drie assen:

Hoeveel vanille? (0 tot 1)
Hoeveel bakpoeder? (0 tot 1)

Nu zoek je niet langer door oneindige recepten, maar zoek je alleen naar de perfecte plek op deze kleine, eenvoudige kaart.

3. Het Proces: Een Drie-Stappen Dans

Het artikel beschrijft een lus waarin de computer drie dingen herhaaldelijk doet:

Elicit (Vraag de Kok): Het systeem kijkt naar de prompts die het heeft geprobeerd en hun cijfers. Het vraagt het LLM: "Wat zijn de 2 of 3 belangrijkste 'ingrediënten' (semantische kenmerken) die een prompt goed maken voor deze specifieke taak?" Het LLM bedenkt deze kenmerken onderweg (bijvoorbeeld "helderheid van redenering" of "gebruik van voorbeelden").
Optimize (De Navigator): Het systeem gebruikt een wiskundig hulpmiddel genaamd Bayesiaanse Optimalisatie. Denk hierbij aan een slimme navigator die naar de kaart kijkt en zegt: "We hebben de plek waar 'helderheid' hoog is en 'voorbeelden' gemiddeld zijn, nog niet geprobeerd. Laten we daarheen gaan." Het kiest een doelpunt op de kaart.
Realize (De Bakker): Het systeem vraagt het LLM opnieuw: "Oké, schrijf een prompt die precies dat doelpunt op onze kaart raakt." Het LLM schrijft de nieuwe instructies. Het systeem test ze, krijgt een nieuw cijfer en de lus begint opnieuw.

4. Waarom Het Speciaal Is: "Re-eliciteren"

Het slimme deel is dat de "kaart" niet statisch is. Naarmate het systeem meer prompts probeert en meer cijfers krijgt, vraagt het het LLM om de kaart opnieuw te tekenen.

Misschien dacht het LLM in het begin dat "lengte" belangrijk was.
Maar na 10 pogingen realiseert het LLM zich: "Eigenlijk maakt lengte niet uit; het gaat erom hoe de instructies zijn gestructureerd."
Dus, het LLM werkt de kaart bij om dit nieuwe inzicht te weerspiegelen. Hierdoor kan het systeem zich aanpassen naarmate het leert.

5. De Resultaten

De auteurs hebben dit getest op 10 verschillende moeilijke taken (zoals het oplossen van wiskundeproblemen of het identificeren van sarcasme). Ze gaven ReElicit een zeer krappe budget: het mocht in totaal slechts 30 verschillende prompts testen.

De Wedstrijd: Ze vergeleken ReElicit met andere methoden die gewoon prompts raden, ze evolueren als bacteriën, of ze één voor één bekritiseren.
De Winnaar: ReElicit vond consequent de beste prompts. Het was beter in het vinden van de "naald in de hooiberg" omdat het stopte met willekeurig raden en begon met navigeren op een slimme, evoluerende kaart.

Samenvatting

Kortom, ReElicit is een methode die een AI gebruikt om zijn eigen taal te bedenken om te beschrijven wat een prompt goed maakt. In plaats van te zoeken door de rommelige, oneindige wereld van tekst, vertaalt het het probleem naar een eenvoudige, schone kaart, vindt het de beste plek op die kaart, en vertaalt die plek vervolgens terug naar een perfecte set instructies. Het doet dit door voortdurend zijn eigen kaart bij te werken naarmate het leert van nieuwe resultaten.

Het artikel beweert dat dit de meest effectieve manier is om AI-instructies af te stellen wanneer je alleen een enkel, algeheel cijfer hebt om je te leiden, in plaats van een gedetailleerde lijst met fouten.

Technische Samenvatting: Embedding door Elicitatie voor Bayesiaanse Optimalisatie van Systeemprompts

Probleemstelling

Het artikel adresseert de uitdaging van het optimaliseren van systeemprompts in moderne AI-systemen onder aggregatie-feedbackbeperkingen. In veel implementatiescenario's wordt promptprestatie gemeten aan de hand van populatieniveau-metrics (bijvoorbeeld taakvoltooiingspercentages, veiligheidsincidentpercentages, gebruikerstevredenheid) in plaats van per-voorbeeld labels, foutsporen of tekstuele kritieken. De optimalisator observeert slechts één scalair cijfer voor elke ingezette promptvariant.

Deze setting transformeert promptoptimalisatie in een steekproef-beperkt black-box optimalisatieprobleem over discrete, variabele-lengte natuurlijke taal. Standaard Bayesiaanse Optimalisatie (BO) is moeilijk direct toe te passen omdat:

Representatie: BO werkt doorgaans in vaste, laag-dimensionale Euclidische ruimten, terwijl prompts complexe, gestructureerde tekstobjecten zijn.
Realisatie: Het terugkaarten van geoptimaliseerde punten in een latente ruimte naar inzetbare tekst vereist doorgaans hulp-encoders/decoders of handgemaakte kernels, die niet direct beschikbaar zijn voor willekeurige systeemprompts.
Data-schaarste: Het passen van surrogate-modellen in hoog-dimensionale tekst-embeddingruimten (bijvoorbeeld duizenden dimensies) met zeer weinig waarnemingen resulteert in niet-informatieve posterieuren.

Bestaande methoden voor Automatische Promptoptimalisatie (APO) vertrouwen vaak op gedetailleerde feedback (per-voorbeeld labels, kritieken) of veronderstellen specifieke interfaces (soft prompts, vaste kandidaatpools), waardoor ze ongeschikt zijn voor deze uitsluitend aggregatie-gebaseerde, hard-prompt setting.

Methodologie: ReElicit

De auteurs stellen ReElicit voor, een Bayesiaanse Optimalisatie-raamwerk gebaseerd op embedding door elicitation. De kerngedachte is het gebruik van een Large Language Model (LLM) niet alleen als promptgenerator, maar als een adaptieve bouwer van een semantische representatieruimte.

De optimalisatielus verloopt per iteratie in drie fasen:

Dynamische Feature-elicitation:
- Gegeven de taakbeschrijving en de geschiedenis van geëvalueerde prompts met hun scalair cijfers, stelt het LLM een reeks taakrelevante, interpreteerbare semantische feature-assen voor (bijvoorbeeld "explicietheid van redenering", "tooncontrole").
- Het LLM mapt vervolgens de historische prompts af op een compacte continue ruimte $[0, 1]^{d_t}$ op basis van deze features.
- Om robuustheid te waarborgen, worden meerdere kandidaat-featuresets gegenereerd en geëvalueerd via cross-validatie (CV) tegen de waargenomen scores. De set met de laagste CV-fout wordt geselecteerd. Als $t > 1$ , wordt de vorige feature-set opnieuw geëvalueerd op de uitgebreide geschiedenis en opgenomen als kandidaat.
Bayesiaanse Optimalisatie in Feature-ruimte:
- Een Gaussian Process (GP) surrogate-model wordt gefit op de ingebedde prompt-scores.
- Een acquisitie-functie (bijvoorbeeld $q$ -LogNoisyExpectedImprovement) selecteert doel-featurevectoren in de continue ruimte die exploratie en exploitatie in evenwicht brengen. Deze doelen vertegenwoordigen gewenste semantische eigenschappen, geen tekststrings.
Realisatie en Verfijning:
- Het LLM realiseert elke doel-featurevector als een inzetbare systeemprompt.
- Omdat de inverse mapping van continue features naar tekst verliesgevend is, voert het LLM feature-gap verfijning uit. Het analyseert het verschil tussen de doel-features en de features van de gegenereerde prompt, en wijzigt de tekst iteratief om deze kloof te verkleinen, zodat de uiteindelijke prompt overeenkomt met de door BO geselecteerde semantische richting.

Dit proces herhaalt zich, waardoor de representatie zich kan aanpassen ("her-elicitation") naarmate nieuwe prompt-score data binnenkomt, en verfijnt de semantische assen die goed en slecht presterende prompts onderscheiden.

Theoretische Analyse

Het artikel biedt een theoretische analyse van bereikbaarheid: onder welke voorwaarden correspondeert een punt dat bijna-optimale is in de geëliciteerde embedding met een goede prompt in de originele tekstruimte?

Aannames: De auteurs veronderstellen het bestaan van een "orakel" semantische embedding waarbij de objectieve functie glad is (Lipschitz-continu in de latente ruimte). Zij veronderstellen dat de geëliciteerde embedding deze orakel benadert binnen een gebonden fout $\eta_t$ .
Resultaat: Stelling 1 stelt vast dat als een prompt $\delta$ -suboptimaal is in de benaderde objectieve functie (geëliciteerde ruimte), deze $\epsilon$ -suboptimaal is in de ware objectieve functie, waarbij $\epsilon = \delta + 2BL\eta_t$ . Hierbij is $B$ de RKHS-normgrens en $L$ de Lipschitz-constante.
Implicatie: De kloof tussen de geoptimaliseerde feature-ruimte en de ware promptkwaliteit wordt begrensd door de representatiefout. Dynamische her-elicitation dient om $\eta_t$ in de loop van de tijd te verkleinen, waardoor de garantie wordt aangescherpt dat optimalisatie in de feature-ruimte leidt tot ware promptverbetering.

Experimentele Resultaten

De auteurs evalueren ReElicit op tien systeemprompt-optimalisatietaken (dekkend GSM8K, MMLU en BIG-Bench Hard) onder een strikt 30-evaluatiebudget (6 batches van 5 prompts). De feedback-interface is strikt uitsluitend aggregatie-gebaseerd (één scalair cijfer per prompt).

Baselines:
ReElicit wordt vergeleken met vier representatieve, uitsluitend aggregatie-gebaseerde baselines die zijn aangepast voor hard prompts:

APE: Geschiedenis-vrije sampling.
OPRO: Generatie geconditioneerd op op score gesorteerde geschiedenis.
PromptBreeder: Evolutionaire mutatie en recombinatie.
TextGrad-stijl: Kritiek-gebaseerde verfijning met behulp van scalair trajecten.

Belangrijkste Bevindingen:

Prestatie: ReElicit bereikt het sterkste aggregatie-prestatieprofiel. Het is ofwel de numeriek beste methode of statistisch niet te onderscheiden van de beste op alle tien de taken.
Consistentie: Het heeft de hoogste paarwijze win-of-gelijk-ratio over taak-zaad-paren, wat wijst op robuustheid in plaats van overfitting op een enkele benchmark.
Componentanalyse:
- Feature-stabiliteit: Geëliciteerde features zijn zeer stabiel onder herhaalde extractie, maar passen zich conservatief aan over iteraties (gemeten door Lineaire CKA).
- Voorspellend vermogen: Dynamische features leveren een lagere GP cross-validatie MSE op dan statische features of gemiddelde voorspellers.
- Handelbaarheid: Prompts met kleinere feature-kloven tot BO-doelen hebben een grotere kans om de tot nu toe beste score te verbeteren.
Ablaties: Het verwijderen van feature-gap verfijning of het vervangen van BO door willekeurige sampling veroorzaakt de meest significante prestatiedalingen. Het bevriezen van features (statische representatie) of onafhankelijke extractie resulteert in kleinere, vaak niet-significante degradaties, wat suggereert dat de initiële elicitation al effectief is, maar dat dynamische aanpassing verdere winst oplevert.

Betekenis en Claims

Het artikel claimt dat LLM's kunnen fungeren als adaptieve bouwers van semantische representaties, niet alleen als promptgeneratoren, voor Bayesiaanse optimalisatie over natuurlijke taal-artefacten.

Methodologische Bijdrage: ReElicit overbrugt de kloof tussen discrete tekstoptimalisatie en continue BO door het LLM te gebruiken om on-the-fly een compacte, interpreteerbare en taak-specifieke latente ruimte te construeren.
Praktische Impact: Het biedt een haalbaar pad voor het optimaliseren van systeemprompts in real-world implementatiescenario's waar uitsluitend aggregatie- en populatieniveau-metrics beschikbaar zijn, waardoor de behoefte aan per-voorbeeld labels of complexe encoder-decoder training wordt vermeden.
Generaliseerbaarheid: Het patroon "embedding door elicitation" wordt gepresenteerd als een recept voor het optimaliseren van elke taal-beschrijfbare gestructureerde artefact waar kandidaten tekst zijn, beperkingen tekstueel zijn en evaluatie een dure scalair meting is.

De auteurs blijven bescheiden wat betreft de reikwijdte, en merken op dat hun experimenten offline benchmark-nauwkeurigheid gebruiken als proxy voor implementatiemetrics (zoals gebruikerstevredenheid) en dat de efficiëntie van de methode wordt gemeten in doel-model-evaluaties in plaats van totale LLM-aanroepen. Zij benadrukken dat de aanpak een "appels-tot-appels" vergelijking is binnen de uitsluitend aggregatie-gebaseerde hard-prompt setting.