💬 NLP

Bandit-Based Prompt Design Strategy Selection Improves Prompt Optimizers

Dit artikel introduceert OPTS, een framework voor prompt-optimalisatie dat de prestaties van bestaande optimalisatoren zoals EvoPrompt verbetert door expliciete, op bandit-gebaseerde mechanismen (specifiek Thompson sampling) te implementeren om effectief prompt-ontwerpstrategieën te selecteren en toe te passen, waardoor het methoden die vertrouwen op impliciete strategie-selectie overtreft.

Oorspronkelijke auteurs: Rin Ashizawa, Yoichi Hirose, Nozomu Yoshinari, Kento Uchida, Shinichi Shirakawa

Gepubliceerd 2026-06-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Rin Ashizawa, Yoichi Hirose, Nozomu Yoshinari, Kento Uchida, Shinichi Shirakawa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme maar soms koppige robot (een Large Language Model) probeert te leren hoe hij een moeilijke puzzel moet oplossen. Je geeft de robot instructies, die "prompts" worden genoemd. Als de instructies vaag zijn, raakt de robot in de war. Als ze perfect zijn, lost de robot de puzzel direct op.

Lange tijd hebben mensen geprobeerd om deze perfecte instructies handmatig te schrijven, of hebben ze computerprogramma's gebruikt om de instructies automatisch bij te sturen totdat ze beter werken. Dit wordt Prompt Optimization genoemd.

Echter, er is een probleem: deze automatische programma's creëren vaak instructies die weliswaar functioneel zijn, maar die het "geheime ingrediënt" missen dat menselijke experts gebruiken. Ze missen bewezen trucjes zoals "denk stap voor stap" of "gedraag je als een expert".

Het Probleem: Het Slechte Gokspelletje van de Robot

Onlangs probeerde een tool genaamd APET dit op te lossen. Het gaf de robot een menu van "ontwerpstrategieën" (zoals een menu met kooktechnieken: voeg zout toe, hak fijn, laat zachtjes pruttelen). De robot zou naar het menu moeten kijken en beslissen welke trucjes hij gaat gebruiken voor de specifieke puzzel.

Maar het artikel betoogt dat de robot vragen om deze keuze te maken, hetzelfde is als een vermoeide chef vragen te raden welk specerij de soep die is aangebrand kan redden. De robot raadt vaak fout, en kiest strategieën die de instructies eigenlijk slechter maken. Het is een impliciete keuze (de robot "voelt" gewoon aan dat hij een trucje moet gebruiken), en daar is hij niet goed in.

De Oplossing: OPTS (De Slimme Sommelier)

De auteurs van dit artikel introduceren een nieuwe methode genaamd OPTS (Optimizing Prompts with sTrategy Selection).

In plaats van de robot te laten raden, werkt OPTS als een slimme sommelier (een wijnexpert) of een casinomanager die een spel van kansen runt. Zo werkt het, gebruikmakend van een eenvoudige analogie:

Stel je voor dat je een rij gokautomaten hebt (de onderzoekers noemen deze "armen").

Machine 1: Voegt "Denk stap voor stap" toe aan de instructies.
Machine 2: Vertelt de robot: "Lees de vraag opnieuw."
Machine 3: Vertelt de robot: "Gedraag je als een wiskundige expert."
Machine K+1: Doet niets (houdt de instructies precies zoals ze zijn).

In de oude methode (APET) zou de robot simpelweg een hendel willekeurig overhalen of op basis van een onderbuikgevoel.

In de nieuwe OPসের methode gebruikt het systeem een wiskundige strategie genaamd Thompson Sampling. Denk aan dit als een slimme gokker die een scorekaart bijhoudt:

Het probeert een machine (een strategie).
Als de robot de puzzel beter oplost, geeft het systeem die machine een "duim omhoog" en maakt het deze waarschijnlijker om de volgende keer gekozen te worden.
Als de robot faalt, geeft het systeem die machine een "duim omlaag" en stopt het met het kiezen van die machine.
Cruciaal is dat het ook een "Niets doen"-machine bijhoudt. Als alle trucjes de boel slechter maken, leert het systeem om de instructies gewoon met rust te laten.

Wat Ze Vonden

De onderzoekers hebben dit getest op twee verschillende robots (LLM's) met een reeks zeer moeilijke logica- en redeneerpuzzels (genaamd BIG-Bench Hard).

Het Resultaat: Door deze "slimme gokkers"-aanpak te gebruiken om de juiste strategie te kiezen, creëerde het systeem veel betere instructies dan de robots zelf zouden kunnen doen.
De Kampioen: De Thompson Sampling-methode (de slimme gokker) was de duidelijke winnaar. Het verbeterde de prestaties van de prompt optimizer met wel 50% op sommige taken.
De Vergelijking: De oude methode (APET), waarbij de robot gokte, presteerde zelfs slechter dan wanneer men simpelweg strategieën willekeurig zou kiezen. Dit bewijst dat de robot slecht is in het raden welke trucjes hij moet gebruiken, maar dat hij heel goed is in het opvolgen van instructies als wij hem vertellen welke truc hij moet gebruiken.

De Kernboodschap

Dit artikel beweert niet dat het alle AI-problemen heeft opgelost of dat het al klaar is voor medische diagnoses. Het laat simpelweg zien dat wanneer we AI proberen te leren hoe ze beter kunnen communiceren, we de AI niet moeten laten raden welke onderwijsmethode ze moeten gebruiken. In plaats daarvan moeten we een slim, op data gebaseerd systeem gebruiken (zoals Thompson Sampling) om de beste onderwijstrucjes expliciet te kiezen, net zoals een coach die de juiste tactiek kiest voor een specifieke wedstrijdsituatie.

De code voor deze "slimme coach" is nu beschikbaar voor anderen om te gebruiken.

Technische Samenvatting: Bandit-gebaseerde Strategiekeuze voor Promptontwerp

Probleemstelling

Promptoptimalisatie streeft naar het automatisch zoeken naar effectieve prompts die de prestaties van Large Language Models (LLM's) verbeteren. Hoewel bestaande discrete promptoptimalisatiemethoden (bijv. evolutionaire algoritmen) succesvol effectieve prompts hebben ontdekt, wijken deze vaak af van de geavanceerde, zorgvuldig ontworpen prompts van menselijke experts. Er bestaat een kritiek gat in het benutten van gevestigde "promptontwerpstrategieën" (best practices zoals Chain-of-Thought of Role Prompting) binnen geautomatiseerde optimalisatie.

Recente benaderingen, zoals de Autonomous Prompt Engineering Toolbox (APET), proberen deze strategieën te integreren door alle beschikbare strategiebeschrijvingen aan een LLM te voeden, die vervolgens impliciet strategieën selecteert en toepast. Deze impliciete selectie is echter gevoelig voor suboptimale prestaties omdat LLM's het selectieproces mogelijk niet effectief optimaliseren, en ongepaste strategieën de prestaties negatief kunnen beïnvloeden afhankelijk van de specifieke taak en het doel-LLM. Het kernprobleem dat wordt aangepakt, is het gebrek aan een expliciet, robuust mechanisme om de meest geschikte promptontwerpstrategieën tijdens het optimalisatieproces te selecteren.

Methodologie

De auteurs stellen OPTS (Optimizing Prompts with sTrategy Selection) voor, een framework dat expliciete selectiemechanismen introduceert voor promptontwerpstrategieën. OPTS is geïntegreerd in EvoPrompt, een bekende promptoptimizer die evolutionaire algoritmen (specifiek Genetische Algoritmen en Differential Evolution) nabootst.

Kerncomponenten

Strategie-armen: Het systeem definieert $K$ armen, die elk overeenkomen met een specifieke promptontwerpstrategie (bijv. Chain-of-Thought, Emotion Prompting, Re-Reading). Een extra $(K+1)$ -de "inaction arm" (niet-actie-arm) is opgenomen, die de optie vertegenwoordigt om geen strategiewijziging toe te passen.
Selectiemechanismen: Het paper stelt drie verschillende selectiemethoden voor en evalueert deze:
- OPTS(TS): Gebruikt Thompson Sampling, een multi-armed bandit algoritme. Het houdt een waarschijnlijkheidsverdeling (Beta-distributie priors) bij voor de verwachte beloning van elke arm. Na het evalueren van een aangepaste prompt werkt de beloning (gebaseerd op de nauwkeurigheid van het taakoplossende LLM) de distributie bij, waardoor het systeem een balans vindt tussen exploratie en exploitatie van strategieën.
- OPTS(US): Gebruikt Uniform Sampling, waarbij elke arm (inclusief de inaction arm) met gelijke waarschijnlijkheid wordt gekozen, wat dient als baseline voor willekeurige strategie-toepassing.
- OPTS(APET): Gebaseerd op de APET-methode, waarbij een LLM impliciet strategieën uit een lijst selecteert. Deze versie bevat een expliciete kans van 50% om de "inaction arm" te kiezen om het gedrag van APET na te bootsen, terwijl een controle voor niet-modificatie wordt toegevoegd.
Integratiewerkwijze:
- EvoPrompt genereert een nieuwe kandidaat-prompt via crossover en mutatie.
- De OPTS-module selecteert een strategie (of niet-actie) op basis van het gekozen mechanisme.
- Als een strategie is geselecteerd, wordt de beschrijving ervan samen met een meta-prompt en de kandidaat-prompt naar een "Prompt-ontwerpend LLM" gestuurd.
- Het Prompt-ontwerpende LLM wijzigt de prompt om de geselecteerde strategie te incorporeren.
- De aangepaste prompt wordt geëvalueerd door het "Taakoplossende LLM", en de resulterende score wordt gebruikt om de selectieverdeling bij te werken (in het geval van TS) en de populatie van de volgende generatie te bepalen.

Belangrijkste Bijdragen

Expliciete Strategiekeuze: Het paper introduceert de eerste expliciete selectiemechanismen voor promptontwerpstrategieën binnen promptoptimalisatie, waarmee wordt afgeweken van de impliciete selectie die in eerdere werken zoals APET werd gebruikt.
Integratie van Thompson Sampling: De auteurs stellen een Thompson sampling-gebaseerde aanpak voor (OPTS(TS)) en tonen empirisch aan dat deze superieur is in het selecteren van geschikte strategieën voor specifieke taken en LLM's.
Prestatieverbetering: De studie demonstreert dat het integreren van expliciete strategiekeuze de prestaties van de EvoPrompt-optimizer aanzienlijk verbetert.
Uitgebreide Evaluatie: De methoden worden geëvalueerd over 27 uitdagende taken uit BIG-Bench Hard (BBH) met behulp van twee verschillende taakoplossende LLM's (Llama-3-8B-Instruct en GPT-4o mini) en twee verschillende evolutionaire algoritmen (GA en DE).

Experimentele Resultaten

Experimenten werden uitgevoerd met BIG-Bench Hard taken. De taakoplossende LLM's waren Llama-3-8B-Instruct (alle 27 taken) en GPT-4o mini (3 taken).

Algehele Verbetering: Alle drie de OPTS-varianten (TS, US, APET) verbeterden de gemiddelde prestaties van de baseline EvoPrompt(DE) met ongeveer 4,5% tot 7,5%.
Superioriteit van Thompson Sampling: OPTS(TS) behaalde de beste algehele resultaten. Wanneer GPT-4o mini werd gebruikt voor zowel de promptgeneratie als het oplossen van de taak, verbeterde OPTS(TS) de prestaties van EvoPrompt met tot wel 50% op specifieke taken (bijv. "logical deduction five objects"). Gemiddeld over de BBH-taken met Llama-3-8B-Instruct presteerde OPTS(TS) ongeveer 1,7% beter dan OPTS(US) en ongeveer 2,7% beter dan OPTS(APET).
Vergelijking met APET: OPOPTS(APET) presteerde slechter dan OPTS(US), wat suggereert dat LLM's biases hebben die leiden tot onjuiste impliciete strategiekeuze.
Taakvariabiliteit: De verbetering varieerde per taak. Voor taken zoals "ruin names" verbeterde OPTS(TS) de prestaties met ~40% ten opzichte van de baseline. In sommige gevallen namen de prestaties licht af, maar de "inaction arm" zorgde ervoor dat de degradatie minimaal bleef vergeleken met de winsten.
Kostenefficiëntie: Onder een vaste beperking van 500 API-aanroepen presteerde OPTS(TS) nog steeds beter dan de baseline EvoPrompt, wat duidt op een hogere kosteneffectiviteit.

Betekenis en Claims

Het paper claimt dat de expliciete selectie van promptontwerpstrategieën een cruciale stap is in de vooruitgang van promptoptimalisatie. Door gebruik te maken van bestaande kennis van prompt engineering (strategieën zoals Chain-of-Thought) via een bandit-gebaseerd selectieproces, stelt OPTS optimizers in staat om prompts te ontdekken die niet alleen effectief zijn, maar ook structureel in lijn liggen met menselijke best practices.

De auteurs benadrukken dat:

Expliciete selectie superieur is aan impliciete selectie: Het vermogen van een LLM om strategieën impliciet te kiezen (zoals in APET) is suboptimaal vergeleken met de datagedreven selectie van Thompson Sampling.
Strategieën kunnen worden gecombineerd: Hoewel OPTS(TS) één strategie tegelijk selecteert, vertonen de resulterende geoptimaliseerde prompts vaak een combinatie van strategieën (bijv. Chain-of-Thought die Re-Reading incorporeert), wat suggereert dat de optimizer effectief leert om deze technieken te combineren.
Generaliseerbaarheid: De aanpak is effectief, ongeacht het specifieke taakoplossende LLM (Llama-3 of GPT-4o) of het onderliggende evolutionaire algoritme (GA of DE).

De auteurs hanteren een bescheiden standpunt door te wijzen op beperkingen zoals de formulering van OPTS(TS) als een Bernoulli-bandit (die verfijnd kan worden), het gebrek aan testen op andere optimizers dan EvoPrompt, en de potentiële variabiliteit van resultaten op basis van de specifieke set voorbereide strategieën. Zij concluderen dat hun werk het belang onderstreept van het expliciet benutten en selecteren van bestaande kennis over promptontwerp om de prestaties van LLM's te verbeteren.