💻 computer science

SAGE: Stochastic Prompt Optimization via Agent-Guided Exploration

Dit artikel introduceert SAGE, een stochastisch prompt-optimalisatiekader dat gebruikmaakt van multi-agent exploratie en diagnostische code-executie om open eind open-einde taakgerichte dialoogsystemen effectief te verbeteren, waarbij statistisch robuuste winsten in gebruikersretentie worden aangetoond door middel van continue, door agenten geleide A/B-testen.

Oorspronkelijke auteurs: Ziyi Zhu, Luka Smyth, Saki Shinoda, Jinghong Chen

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ziyi Zhu, Luka Smyth, Saki Shinoda, Jinghong Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme maar licht koppige robot probeert te leren hoe hij een goed gesprek voert. Je geeft hem een reeks instructies (een "prompt"), maar hij blijft fouten maken. Het doel van dit artikel is om uit te zoeken wat de beste manier is om die instructies te herschrijven zodat de robot beter wordt, zonder de robot zelf opnieuw te hoeven trainen.

De auteurs noemen hun nieuwe methode SAGE (Stochastic Prompt Optimization via Agent-Guided Exploration). Zo werkt het, onderverdeeld in eenvoudige concepten:

Het Probleem: De "Blinde Wandelaar"

Denk aan de ruimte van alle mogelijke instructies als een gigantisch, mistig berglandschap. De top van de berg is de "perfecte" set instructies.

Oude methoden waren als een wandelaar die stap voor stap vooruitgaat en alleen naar de grond kijkt direct voor hem. Als hij een stap zette en het voelde iets beter, ging hij zo door. Maar dit leidde vaak tot het vastlopen op een kleine, lokale heuvel, waarbij hij dacht dat dit de top was, terwijl er net over de volgende rand een veel hogere berg lag.
De Realiteit: Het artikel beargumenteert dat je geen wiskundige "gradiënten" kunt gebruiken (zoals een gladde helling afdalen) om de top te vinden, omdat de instructies bestaan uit woorden, niet uit getallen. Het landschap is "ruizig" en hobbelig.

De Oplossing: Een Team van Ontdekkingsreizigers

De auteurs testten drie verschillende manieren om deze berg te beklimmen:

De "Gokker" (SPO-RS): Deze methode is als het gooien met dobbelstenen. Het neemt de huidige instructies, voegt wat willekeurige chaos toe (hoge temperatuur) en vraagt de AI om een nieuwe versie te raden. Het is snel en willekeurig, maar het denkt niet echt na over waarom de vorige versie faalde.
De "Fokker" (SPO-GA): Dit is als een genetisch algoritme. Het neemt de twee beste versies van de instructies, mengt ze samen (crossover) en maakt kleine aanpassingen (mutatie). Het is slimmer dan de Gokker, maar vertrouwt nog steeds grotendeels op de AI die raadt wat er moet veranderen.
Het "Detective Team" (SAGE): Dit is de ster van het artikel. In plaats van alleen maar te gokken, werkt SAGE als een team van detectives.
- De Analist: Kijkt naar alle fouten die de robot heeft gemaakt en draait code om patronen te vinden. (bijv. "Hé, de robot faalt elke keer als de gebruiker over geld vraagt.")
- De Onderzoeker: Graaft dieper in specifieke voorbeelden om te bewijzen dat het patroon echt is.
- De Generator: Schrijft een nieuwe set instructies die specifiek is ontworpen om dat exacte patroon te herstellen.

Het Belangrijkste Verschil: De eerste twee methoden "proberen gewoon dingen". SAGE diagnosticeert eerst het probleem en schrijft dan een recept voor de genezing. Het gebruikt computercode om de fouten te analyseren, in plaats van alleen de eigen mening van de AI.

De Resultaten: One Size Does Not Fit All

De onderzoekers testten deze methoden op drie verschillende soorten taken:

Financiële Wiskunde: Een taak met complexe, kettingreactie-fouten. Hier won het Detective Team (SAGE) omdat het de wortel van de verwarring kon traceren.
Naam-tagging: Een simpelere taak. Hier werkten de Fokker of zelfs simpele willekeurige gokken net zo goed. Het Detective Team was eigenlijk te ingewikkeld voor deze simpele baan.
App-besturing: Een taak waarbij de robot apps moet gebruiken. De Fokker deed hier verrassend goed het werk.

De Les: Er is niet één methode die altijd het beste is. Als de fouten simpel zijn, werkt een simpele zoektocht. Als de fouten complex en kettingreactie-achtig zijn (zoals een kaartenhuis dat instort), heb je de diepe analyse van het Detective Team nodig.

De Praktijktest: De Mentale Gezondheid Chatbot

Om te bewijzen dat dit in de echte wereld werkt, zetten ze SAGE in op een chatbot voor mentale gezondheid (genaamd "Ash") die met echte mensen praat.

De Uitdaging: Je kunt niet eenvoudig meten of een chatbot "behulpzaam" is met een simpele wiskundige score. Het signaal is ruizig.
De Strategie: Ze lieten de chatbot acht weken lang draaien. Elke week gebruikten ze SAGE om de gesprekken te analyseren, een iets betere versie van de instructies te genereren en een snelle test (A/B-test) uit te voeren om te zien of de nieuwe versie gebruikers de volgende dag weer liet terugkomen.
De Magie: Individueel waren de meeste van deze wekelijkse tests te klein om statistisch iets te bewijzen. Maar door ze aan elkaar te ketenen, telden de kleine verbeteringen op tot iets groters.
Het Resultaat: Over acht cycli heen verbeterde het vermogen van de chatbot om gebruikers de volgende dag weer te laten terugkomen met 29%.

De Grote Conclusie

Het artikel concludeert dat voor open eind-taken (zoals praten met een mens), je kwalitatieve diagnose (mensen of agenten die kijken naar waarom dingen misgingen) moet combineren met kwantitatieve validatie (het controleren van de cijfers).

SAGE werkt omdat het niet alleen maar blind gokt; het gebruikt code om als een microscoop te fungeren, de specifieke barsten in de instructies te vinden en ze te repareren, waardoor vele kleine, ruisige verbeteringen worden omgezet in één groot, robuust succes.

Technische Samenvatting: SAGE (Stochastic Prompt Optimization via Agent-Guided Exploration)

Probleemstelling

Het artikel behandelt de uitdaging van Automatic Prompt Optimization (APO), specifiek binnen het domein van Context Engineering—het optimaliseren van de informatieve context rondom Large Language Model (LLM) queries zonder de modelparameters bij te werken.

De auteurs stellen dat het vakgebied een verenigend theoretisch perspectief mist. Hoewel recent werk (Melcer et al., 2025) heeft vastgesteld dat APO fundamenteel een black-box zoekprobleem is (omdat tekstuele gradiënten niet functioneren als echte gradiënten), lijden bestaande benaderingen onder twee primaire beperkingen:

Myope Zoektocht (Myopic Search): Per-sample methoden verwerken één trainingsvoorbeeld tegelijk en accumuleren bewerkingen op een gulzige wijze. Dit is computationeel duur en gevoelig voor lokale optima.
Oppervlakkige Analyse: De meeste methoden beperken optimalisatie tot LLM-only redeneren. Zelfs multi-agent benaderingen die codetools gebruiken, gebruiken deze vaak voor procedurele artefactconstructie in plaats van voor diagnostische analyse van foutpatronen.

Het prompt-landschap wordt gekarakteriseerd als een ruisend, black-box optimalisatieprobleem met dure evaluaties, een lage effectieve dimensionaliteit en een rijke lokale structuur. De effectiviteit van een optimalisatiestrategie hangt af van de interactie tussen de structuur van het landschap (ruwheid) en het specifieke type fouten dat aanwezig is.

Methodologie: SPO Framework

De auteurs introduceren SPO (Stochastic Prompt Optimization), een framework dat APO formaliseert als stochastisch hill climbing over een gestructureerde prompt-ruimte. De kernlus genereert $Q$ kandidaat-prompts per iteratie en adopteert alleen de beste indien deze de huidige prompt strikt verbetert (monotone selectie).

Het paper vergelijkt drie strategieën van toenemende complexiteit binnen dit framework:

1. SPO-RS (Residual Search)

Mechanisme: Genereert $Q$ kandidaten via high-temperature ( $\tau=0.9$ ) LLM sampling.
Input: Geconditioneerd op de huidige beste prompt en een samenvatting van de fouten ervan.
Aard: Weerspiegelt fout-geïnformeerde verfijning, maar vertrouwt op stochastische perturbatie in plaats van gestructureerde operatoren.

2. SPO-GA (Genetic Algorithm)

Mechanisme: Past evolutionaire operatoren toe (crossover en mutatie) op een populatie van top- $P$ prompts.
Input: Crossover combineert twee ouders en hun fout-samenvattingen; mutatie richt zich op verbetering van een enkele ouder (lagere temperatuur $\tau=0.7$ ).
Aard: Volgt het "LLM-als-evolutionaire-operator" paradigma, waarbij een deel van de diversiteit wordt ingeruild voor gerichte verbetering.

3. SAGE (Agent-Guided Exploration)

Mechanisme: Een multi-agent pipeline waarbij agents diagnostische code schrijven en uitvoeren om prompt-bewerkingen te informeren.
Workflow:
1. Analyzer: Voert scripts uit op evaluatieresultaten om $H$ door bewijs ondersteunde hypothesen over foutpatronen naar boven te brengen.
2. Orchestrator: Prioriteert hypothesen naar $I$ onderzoekrichtingen.
3. Investigators: Duiken parallel diep in de materie om hypothesen te verifiëren met exacte tellingen en trace-analyse, en leveren implementatieklare oplossingen aan.
4. Generators: Produceren herziene prompts op basis van de onderzoeksrapporten.
Cruciaal onderscheid: In tegenstelling tot eerder werk waar code artefacten construeert, gebruikt SAGE code-executie voor statistische diagnose (het clusteren van fouten, het uitvoeren van statistische tests, het identificeren van oververtegenwoordigde foutpatronen) binnen een vaste procedure.

Experimentele Opstelling

Het framework werd geëvalueerd op drie benchmarks en één productie-implementatie:

XBRL Formula: Financiële redenering (500 train / 200 test).
FiNER: Financiële Named Entity Recognition (1.000 train / 441 test).
AppWorld: Autonome agent-taken waarbij API-begrip en codegeneratie betrokken zijn.
Productie-implementatie: "Ash," een chatbot voor mentale gezondheid door Slingshot AI, geoptimaliseerd onder een continu optimalisatieparadigma.

Baselines: De methoden werden vergeleken met Base LLM, In-Context Learning (ICL), MIPROv2, GEPA, Dynamic Cheatsheet en ACE offline. Het doel-LLM was DeepSeek-V3.1; het meta-model dat de bewerkingen voorstelde was Claude Sonnet 4.6.

Belangrijkste Resultaten

Benchmark Prestaties

Geen enkele strategie domineerde over alle taken heen; de effectiviteit hing af van de interactie tussen de landschapsstructuur en het type fout:

Formula (Rugged, Cascading Errors): SAGE leidde, omdat de analytische diepte werd beloond voor het diagnosticeren van cascade-redeneerfouten.
FiNER (Smooth Landscape): SAGE behaalde de hoogste trainingsnauwkeurigheid, maar simpelere strategieën (SPO-GA) generaliseerden beter naar de testset. Het landschap was glad (gecorreleerd over grote afstanden), waardoor diepe analyse minder kritisch was voor generalisatie.
AppWorld (Rugged, Procedural Errors): Alle SPO-varianten versloegen de baselines. SAGE behaalde de hoogste trainingsnauwkeurigheid, maar de validatienauwkeurigheid fluctueerde door de kleine evaluatieset. SPO-GA behaalde de hoogste testnauwkeurigheid, wat suggereert dat voor procedurele, per-taak gerelateerde fouten, simpelere zoektocht volstaat.

Landschapsanalyse

Met behulp van semivariogrammen uit de geostatistiek hebben de auteurs de landschapsruwheid gekwantificeerd:

Formula en AppWorld: Decorreleerden binnen kleine semantische buurten (rugged/ruig).
FiNER: Bleven gecorreleerd over $\sim4\times$ de afstand (smooth/glad).
Bevinding: Ruggedness (ruwheid) alleen voorspelt de winnende strategie niet. De beslissende factor is de foutenstructuur: cascade-redeneerfouten profiteren van de root-cause analyse van SAGE, terwijl procedurele fouten opwegen tegen simpelere zoektochten.

Productie-implementatie (Mental Health Chatbot)

SAGE werd gedurende acht continue optimalisatiecycli ingezet voor de "Ash" chatbot.

Proces: Elke cyclus omvatte het inzetten van de beste prompt, het draaien van SAGE op verzamelde conversaties, het A/B-testen van kandidaten, en het promoten van de winnaar.
Resultaat: Zeven van de acht cycli produceerden een positieve winnende arm. Hoewel individuele cycli vaak statistisch insignificant waren (ruis), resulteerde het koppelen van de per-cyclus delta's in een cumulatieve relatieve verbetering van +29,4% in de volgende-dag (D1) retentie met niet-parametrische significantie.
Betekenis: Dit toont aan dat individueel ruizige A/B-tests kunnen cumuleren tot een statistisch robuuste winst wanneer ze worden gekoppeld aan continue optimalisatie.

Bijdragen en Betekenis

Het paper claimt drie primaire bijdragen:

Black-box Optimalisatie Framework: SPO formaliseert APO als een ruizige black-box zoektocht over een gestructureerd landschap, wat een gecontroleerde ablatie biedt om de waarde van analytische diepte en exploratie-diversiteit te isoleren.
Diagnostische Code-executie: SAGE is het eerste APO-framework waarbij code-executie dient voor statistische diagnose (het analyseren van foutpatronen) in plaats van voor de procedurele constructie van artefacten of LLM-only redeneren.
Productie-implementatie: Het paper introduceert een continu optimalisatieparadigma voor open-ended dialoog. Het demonstreert dat het koppelen van kwalitatieve diagnose (via agents) met kwantitatieve validatie (via A/B-testen) effectieve optimalisatie mogelijk maakt in domeinen waar heldere correctheidssignalen ontbreken (zoals mentale gezondheid), waar traditionele benchmarks falen.

De auteurs stellen dat deze "mixed qualitative–quantitative agentic optimization" de sleutel is tot het verbeteren van open-ended taakgerichte dialoogsystemen waar correctheid niet vooraf gedefinieerd kan worden. Zij merken beperkingen op, waaronder de afhankelijkheid van geautomatiseerde evaluatiefuncties, potentiële distributieverschuivingen in continue optimalisatie, en de begrensde nieuwheid van agent-gestuurde verfijning (die bestaand gedrag verfijnt in plaats van geheel nieuwe zaken uitvindt zonder externe richting).