🤖 machine learning

Stabilizing Black-Box Prompt Optimization with Textual Regularization and Signal Aggregation

Dit artikel introduceert TRAS, een plug-and-play framework dat black-box prompt-optimalisatie stabiliseert door tekstuele regularisatie van succesvolle voorspellingen te combineren met Monte Carlo-signaalaggregatie om ruis te filteren, waardoor de nauwkeurigheid, convergentiesnelheid en robuustheid tegen modelmigratie worden verbeterd in vergelijking met bestaande methoden.

Oorspronkelijke auteurs: MohammadReza Davari, Utkarsh Garg, Weixin Cai, Eugene Belilovsky

Gepubliceerd 2026-06-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: MohammadReza Davari, Utkarsh Garg, Weixin Cai, Eugene Belilovsky

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar licht onvoorspelbare robot probeert te leren hoe hij puzzels moet oplossen. Je kunt niet in zijn brein kijken (het is een "black box"), dus je kunt alleen met hem communiceren door instructies te schrijven, genaamd prompts.

Lama tijd was de beste manier om deze instructies te verbeteren een methode genaamd Automatic Prompt Optimization (APO). Denk hierbij aan een student die een toets maakt, een vraag fout beantwoordt, en vervolgens aan de docent vraagt: "Waarom heb ik dit fout gedaan?" De docent geeft een kritiek (een "textuele gradiënt"), en de student past zijn antwoordblad aan om die specifieke fout te herstellen.

De paper betoogt dat deze "fix de fouten"-aanpak een groot gebrek heeft: het is te gefocust op wat er misging en negeert wat er goed ging.

Het Probleem: De "Over-Correctie" Valstrik

Stel je voor dat je een radio afstemt om een helder station te vinden.

De Oude Manier (Alleen Fouten): Elke keer als je ruis hoort (een fout), draai je de knop wild rond om het te herstellen. Maar omdat je alleen naar de ruis luistert, draai je de knop misschien wel voorbij het heldere station, of wis je een instelling die eigenlijk perfect werkte. Je draait in cirkels, waardoor het signaal slechter wordt voordat het beter wordt. In termen van de paper wordt dit semantische drift genoemd — je herstelt een kleine fout, maar verwijdert per ongeluk een cruciale instructie die je in het algemeen hielp.

De Oplossing: TRAS

De auteurs stellen een nieuw framework voor genaamd TRAS (Textual Regularization with Aggregated Signals). Het is alsof je de student twee soorten feedback geeft in plaats van slechts één.

1. Het "Raak dat niet aan!" Signaal (Textuele Regularisatie)

In plaats van alleen te vragen: "Wat is er mis?", vraagt TRAS ook: "Wat werkt er wel?"

De Analogie: Stel je voor dat je een stoofpot kookt. De oude methode vertelt je alleen: "Deze wortel is te hard, snijd hem kleiner!" TRAS zegt ook: "Hé, het zoutgehalte is perfect en de bouillon is rijk — verander die niet!"
Hoe het werkt: Wanneer het model een antwoord goed heeft, analyseert TRAS waarom het goed was en creëert een "regularizer" (een regel) die zegt: "Houd deze delen van de instructie precies zoals ze zijn." Dit voorkomt dat de robot per ongeluk de goede dingen verwijdert terwijl hij probeert de slechte dingen te herstellen.

2. De "Commissie van Experts" (Monte Carlo Signaal Aggregatie)

LLM's zijn een beetje zoals mensen; als je ze twee keer dezelfde vraag stelt, kunnen ze net iets andere antwoorden geven. Soms zijn ze luidruchtig of in de war.

De Analogie: Stel je voor dat je aan één persoon de weg vraagt, en die zegt: "Sla linksaf bij de grote eik." Je vraagt een tweede persoon, en die zegt: "Sla linksaf bij de grote eik." Je vraagt een derde persoon, en die zegt: "Sla linksaf bij de grote eik." Je bent vol vertrouwen. Maar als je een vierde persoon vraagt en die zegt: "Sla rechtsaf bij het tankstation," dan weet je dat die vierde persoon een uitschieter is of in de war is.
Hoe het werkt: TRAS vraagt niet slechts één keer om feedback aan het model. Het vraagt meerdere keren (het bemonsteren van meerdere "gradiënten" en "regularizers"). Vervolgens fungeert het als een wijze commissievoorzitter die naar alle meningen luistert en het gemeenschappelijke, consistente advies vindt. Het negeert de vreemde, luidruchtige uitschieters en geeft de robot één enkele, duidelijke, betrouwbare instructie.

De Bonus: "Verhuizen" (Automatic Prompt Migration)

De paper behandelt ook een praktisch probleem genaamd Automatic Prompt Migration (APM).

Het Scenario: Je hebt wekenlang gewerkt aan het perfectioneren van een reeks instructies voor "Model A" (zoals GPT-3.5). Nu wil je diezelfde instructies gebruiken voor "Model B" (zoals GPT-4o).
Het Risico: Als je simpelweg je perfecte instructies neemt en probeert ze te "her-optimaliseren" voor het nieuwe model met de oude "fix de fouten"-methode, kan het nieuwe model in de war raken en per ongeluk de delen van de instructies verwijderen die eigenlijk wel werkten. Het is alsoal je je meubels naar een nieuw huis verplaatst en, in je enthousiasme om alles opnieuw in te richten, de stukken weggooit die perfect pasten.
De Fix van TRAS: Bij het overstappen naar een nieuw model activeert TRAS onmiddellijk het "Raak dat niet aan!"-signaal. Het behandelt de oude, werkende instructies als een kostbaar fundament en maakt slechts kleine, veilige aanpassingen om aan het nieuwe model te voldoen, zodat je de "expert"-kennis die je al hebt opgebouwd niet verliest.

De Resultaten

De paper heeft dit getest op diverse logica- en redeneertaken.

Betere Nauwkeurigheid: De robot lost meer problemen correct op.
Sneller Leren: De robot draait niet langer in cirkels om de juiste instellingen te vinden; hij komt er sneller.
Goedkoper: Omdat de robot sneller leert en minder fouten maakt, gebruikt hij minder "API-calls" (wat geld kost).
Stabiliteit: De resultaten waren consistenter; er waren geen wilde schommelingen tussen goed en slecht presteren.

Kortom, TRAS leert ons dat om een black-box AI goed te onderwijzen, je niet alleen tegen haar moet schreeuwen wanneer ze faalt. Je moet ook tegen haar fluisteren wanneer ze slaagt, door precies aan te geven wat ze moet behouden, en je moet advies vragen aan een groep om er zeker van te zijn dat je niet luistert naar een verwarde stem.

Technische Samenvatting: Stabiliseren van Black-Box Prompt Optimalisatie met Textuele Regularisatie en Signaalaggregatie

1. Probleemstelling

Het artikel behandelt de uitdagingen van Automatic Prompt Optimization (APO) voor Large Language Models (LLMs) die via black-box API's worden geraadpleegd, waarbij interne modeltoestanden (gradiënten, verborgen toestanden) ontoegankelijk zijn. Hoewel recente APO-methoden prompts iteratief verfijnen met behulp van door het model gegenereerde kritieken (textuele gradiënten) afgeleid van fouten, identificeren de auteurs twee cruciale beperkingen:

Onderbenutting van Succes: Bestaande methoden optimaliseren voornamelijk op basis van foutcorrectie, waarbij de informatie die in succesvolle voorspellingen besloten ligt over welke promptcomponenten effectief zijn, wordt genegeerd.
Instabiliteit en Semantische Drift: Het uitsluitend vertrouwen op foutgestuurde updates kan leiden tot "semantische drift", waarbij wijzigingen die bedoeld zijn om lokale fouten te herstellen, onbedoeld globaal gunstige promptcomponenten wissen. Dit dwingt de optimizer in kostbare "verwijder-en-herontdek"-cycli.
Automatic Prompt Migration (APM) Falen: In scenario's waar een expert-prompt die geoptimaliseerd is voor één model (bijv. GPT-3.5-turbo) moet worden aangepast aan een ander (bijv. GPT-4o), resulteert naïeve heroptimalisatie vaak in instructieverlies, waarbij dragende instructies van de bronprompt worden overschreven tijdens het aanpassingsproces.

2. Methodologie: TRAS Framework

De auteurs stellen TRAS voor (Textual Regularization with Aggregated Signals), een feedback-gecentreerd framework dat ontworpen is om plug-and-play te werken met bestaande APO-zoekbackbones (bijv. MCTS-gebaseerde strategieën zoals PromptAgent). TRAS werkt via drie kernmechanismen:

A. Dual-Signal Generatie

In plaats van alleen te vertrouwen op foutsignalen, genereert TRAS twee complementaire textuele signalen bij elke optimalisatiestap $t$ :

Textuele Gradiënt (Correctief Signaal): Afgeleid van fouten ( $B_t^-$ ). Een kritiekbeleid $\pi_g$ analyseert incorrecte voorspellingen om natuurlijke taalinstructies te genereren over wat er moet veranderen (bijv. ontbrekende restricties, formatteringsproblemen).
Textuele Regularisatie (Preservatie Signaal): Afgeleid van successen ( $B_t^+$ $B_{t}^{+}$ ). Een attributiebeleid $\pi_r$ $π_{r}$ analyseert correcte voorspellingen om te identificeren welke promptcomponenten hebben bijgedragen aan succes. Dit genereert een regularisator $r_t$ $r_{t}$ die "niet-verwijderen", "ongewijzigd houden" of "versterken" restricties voorschrijft om gunstige structuren te behouden.
- Warm-up Schema: Om te voorkomen dat men verankerd raakt aan slechte initialisaties, wordt het regularisatiesignaal uitgeschakeld voor de eerste $\tau_{warmup}$ iteraties, waardoor de optimizer vrij kan exploreren voordat hij stabiliseert.

B. Monte Carlo Signaalaggregatie (MCSA)

Aangezien zowel de textuele gradiënt als de regularisator stochastische LLM-outputs zijn, kunnen ze ruis bevatten. TRAS gebruikt MCSA om variantie te verminderen:

Het systeem samplet $K$ onafhankelijke signalen voor zowel de gradiënt als de regularisator.
Een aggregatieoperator (LLM-samenvatter) consolideert deze $K$ samples tot enkele actiegerichte instructies ( $\bar{g}_t, \bar{r}_t$ ).
Dit proces legt de nadruk op consistente, actiegerichte adviezen terwijl uitschieters worden gefilterd. De auteurs merken een trade-off op: het verhogen van $K$ vermindert de variantie, maar brengt het risico op "verwatering" (generieke samenvattingen) met zich mee als er te veel signalen worden gecomprimeerd.

C. Prompt Update en Migratie

De volgende prompt $p_{t+1}$ wordt gegenereerd door een updatebeleid dat de geaggregeerde correctieve wijzigingen toepast terwijl de preservatie-restricties worden gerespecteerd.

Voor APM: Wanneer een prompt van een bronmodel naar een doelmodel wordt gemigreerd, activeert TRAS de textuele regularisatie onmiddellijk ( $\tau_{warmup} = 0$ ) en gebruikt een kleiner aantal samples $K$ (vanwege de lagere variantie van warm-gestarte expert-prompts). Dit zorgt ervoor dat doelspecifieke mismatches worden gecorrigeerd via $\bar{g}_t$ , terwijl de overdraagbare structuur van de expert-prompt wordt behouden via $\bar{r}_t$ .

3. Belangrijkste Bijdragen

Het artikel formaliseert en draagt het volgende bij:

Formalisering van Automatic Prompt Migration (APM): De auteurs definiëren APM als het praktische probleem van het aanpassen van expert-prompts over modelversies of providers heen, terwijl "instructieverlies" expliciet wordt vermeden.
Textuele Regularisatie: De introductie van een succes-geconditioneerd signaal dat de preservatie van gunstige promptcomponenten aanmoedigt, wat de optimalisatiet traject stabiliseert.
Monte Carlo Signaalaggregatie (MCSA): Een techniek om meerdere stochastische signalen te aggregeren om variantie te verminderen en de verwatering van actiegericht advies te beheersen.
TRAS Framework: Een verenigde methode die deze elementen combineert om robuustheid te verbeteren in zowel standaard APO als APM scenario's.

4. Experimentele Resultaten

De auteurs evalueerden TRAS op vijf redeneertaken (Causal Judgment, Geometric Shapes, Penguins, Biosses, CB) met behulp van GPT-3.5-turbo voor standaard APO en GPT-4o voor APM (migratie van GPT-3.5-turbo).

Standaard APO (GPT-3.5-turbo):
- TRAS bereikte consistente en statistisch significante nauwkeurigheidsverbeteringen ten opzichte van de baseline (PromptAgent), variërend van 4,9% tot 21,5% over de taken.
- Het verminderde de standaarddeviatie over willekeurige seeds, wat duidt op een stabielere optimalisatie.
- Het verminderde het aantal LLM API-aanroepen met 0,5% tot 3,3% door inefficiënte "verwijder-en-herontdek"-cycli te vermijden.
Automatic Prompt Migration (GPT-3.5-turbo $\to$ GPT-4o):
- Naïeve heroptimalisatie van expert-prompts erodeerde vaak de initiële winst door instructieverlies.
- TRAS verbeterde de uiteindelijke nauwkeurigheid consequent ten opzichte van de baseline, met winsten variërend van 2,2% tot 16,0%.
- Opmerkelijke verbeteringen werden gezien in Geometric Shapes (+12,5%) en Biosses (+16,0%), waar het behoud van domeinspecifieke structuur cruciaal was.
- TRAS verminderde het totaal aantal API-aanroepen met 4,2% tot 6,2% in de migratie-setting.
Ablatie-studies:
- Warm-up: De prestaties piekten wanneer de regularisatie na 3–4 iteraties werd geactiveerd; te vroege activatie verankerde zwakke prompts, terwijl te late activatie drift toeliet.
- Aggregatie-aantal ( $K$ ): De nauwkeurigheid verbeterde tot $K \approx 6$ (reductie van variantie), maar verslechterde bij grotere $K$ door signaalverwatering.

5. Betekenis en Claims

Het artikel beweert dat TRAS een robuuste oplossing biedt voor de instabiliteit die inherent is aan black-box prompt optimalisatie. Door te verschuiven van een puur foutgestuurd paradigma naar een feedback-gecentreerde aanpak die correctie balanceert met preservatie, biedt TRAS:

Stabiliseert Optimalisatie: Vermindert semantische drift en variantie in het prompt-zoektraject.
Maakt Effectieve Migratie Mogelijk: Lost het praktische probleem op van het aanpassen van prompts over modelversies heen zonder kritieke instructies te verliezen, een faalmodus die gebruikelijk is bij naïeve heroptimalisatie.
Verbetert Efficiëntie: Behaalt hogere nauwkeurigheid met minder API-aanroepen door betrouwbaarder te convergeren en redundante cycli te vermijden.

De auteurs positioneren TRAS als orthogonaal aan zoekstrategieën, wat betekent dat het diverse bestaande APO-backbones kan verbeteren. Ze suggereren dat toekomstig werk alternatieve aggregatiemechanismen, adaptieve regularisatieschema's en extensies naar multi-turn of continue deployment settings kan verkennen.