Technische Samenvatting: MAGE – Begrip van de Stabiliteit–Prestatie-afruil in Multi-component Prompt Optimalisatie

1. Probleemstelling

Het artikel adresseert een fundamentele kloof in automatische prompt-optimalisatie (APO): hoewel recente methoden zoals GEPA hebben aangetoond dat reflectieve prompt-evolutie kan concurreren met reinforcement learning, blijft de interactiedynamiek tussen meerdere optimalisatiecomponenten binnen één systeem slecht begrepen. De meeste eerdere werken rapporteren een piekprestatie op basis van een enkele seed, waarbij optimalisatie impliciet als deterministisch wordt behandeld. Echter, in de echte wereld combineren pipelines geheugen, selectie en evaluatie in iteratieve lussen, wat resulteert in gekoppelde stochastische systemen waarbij het gemiddelde prestatieniveau en de variantie gezamenlijk worden bepaald door componentinteractie.

De auteurs stellen dat het analyseren van componenten in isolatie faalt om het systeemgedrag te voorspellen. Specifiek onderzoeken zij hoe het combineren van meerdere stochastische optimalisatiesignalen (episodisch geheugen, multi-objective selectie en adaptieve evaluatie) zowel de prestaties als de stabiliteit beïnvloedt. Er wordt ook een cruciale praktische vraag opgeworpen: presteren geoptimaliseerde prompts in scenario's met weinig data daadwerkelijk beter dan sterke, goed ontworpen vaste prompts, of domineert het "scaffold" (de promptstructuur) de "optimizer"?

2. Methodologie: Het MAGE-framework

De auteurs introduceren MAGE (Memory-Augmented Goal-directed Prompt Evolution) niet als een superieure optimizer in absolute zin, maar als een gecontroleerd analyseframework om componentinteractie te bestuderen. MAGE bouwt voort op de GEPA-backbone (die gebruikmaakt van failure-grounded reflectie) en integreert drie specifieke mechanismen om hun effecten te isoleren:

1. Episodisch Geheugen: Houdt een opslag bij van taak-embeddings, de beste gevonden prompts, reflectie-traces en score-vectoren. Voor een nieuwe taak worden de top-$\kappa$ entries opgehaald via cosine similarity om in-context voorbeelden aan de proposer te bieden, wat zorgt voor cross-task regularisatie.
2. Multi-objective Pareto Selectie: Vervangt scalaire doelstellingen door een multi-objective benadering die optimaliseert voor nauwkeurigheid, beknoptheid (negatieve token count) en veiligheid. Het systeem onderhoudt bij elke iteratie een non-dominated front. De auteurs identificeren een kritische Pareto diversiteitsdrempel: een kandidaat-poolgrootte ($n$) van 3 is onvoldoende voor betekenisvolle Pareto-druk, terwijl $n=5$ een informatieve front creëert.
3. Ensemble-Anchored Adaptive Evaluator: Om evaluator-drift over iteraties heen te voorkomen, kalibreert het systeem een adaptieve evaluator ($E_{adp}$) tegen een vaste evaluator ($E_{fix}$) met behulp van een exponentieel vervallende anchor ($\alpha_t$). Dit beperkt de accumulatie van bias terwijl het systeem de ruimte krijgt om zich aan te passen aan specifieke taaknuances.

Experimentele Opzet:

• Benchmarks: GSM8K-Hard (80 voorbeelden, 30 train/50 test) en BBH-Logic-Hard (80 voorbeelden, 30 train/50 test).
• Modellen: Primaire experimenten op gpt-4o-mini; validatie op Llama 3.1 8B en een on-device deepseek-r1:1.5b.
• Baselines: OPRO (score-only), Self-Refine (abstracte kritiek), MIPROv2+CoT (Bayesiaanse optimizer op een scaffold) en GEPA (failure-grounded reflectie).
• Controles: Vaste prompt upper bounds (bijv. CoT-math) worden geëvalueerd om de winst van de scaffold te scheiden van de winst van de optimizer.

3. Belangrijkste Bevindingen en Bijdragen

Het Prompt Optimization Coupling Effect (POCE)

De centrale ontdekking is het Prompt Optimization Coupling Effect (POCE): wanneer meerdere stochastische optimalisatiesignalen opereren binnen een gesloten reflectieve lus, interageren ze op niet-additieve manieren. Deze interactie verbetert zowel de prestaties als de variantie op manieren die niet voorspeld kunnen worden door componenten in isolatie te analyseren.

• Bewijs: Het vergroten van de kandidaat-pool van $n=3$ naar $n=5$ verbeterde de gemiddelde nauwkeurigheid met +21,6%, maar verhoogde de variantie met 3,7×.
• Implicatie: Variantie is niet louter ruis; het is een structurele eigenschap van het gekoppelde systeem. Het rapporteren van de gemiddelde nauwkeurigheid alleen is systematisch misleidend.

Noodzakelijkheid van Componenten en Foutmodi

• Failure-Grounded Reflection is Essentieel: Methoden die uitsluitend vertrouwen op scores (OPRO) of abstracte kritiek (Self-Refine) falen in het verbeteren van prompts. OPRO blijft steken bij de seed prompt, terwijl Self-Refine de prestaties actief verslechtert (een daling van 33,3% naar 16,7% op GSM8K-Hard) omdat ongegronde kritieken geldige strategieën overschrijven in plaats van fouten te herstellen.
• Scaffold Dominantie: In scenario's met weinig data ($N_{train}=30$) presteren sterke vaste prompts (bijv. CoT-math met 70,0%) beter dan alle reflectieve optimizers. Zelfs MIPROv2, toegepast op een CoT-scaffold, veroorzaakte een regressie van -2,2%, wat aangeeft dat de keuze van de scaffold belangrijker is dan de keuze van de optimizer in deze settings.
• Headroom Afhankelijkheid: POCE is afhankelijk van de optimalisatie-headroom. Op Llama 3.1 8B, waar de seed-nauwkeurigheid al hoog was (~70%), verdween de variantie-amplificatie en convergeerden optimizers naar identieke prompts.

Prestatieresultaten

• GSM8K-Hard: MAGE (volledig) bereikte 46,4% ± 7,3%, wat significant beter is dan de 34,0% ± 7,0% van GEPA (+12,4%, $P=0,998$).
• BBH-Logic-Hard: MAGE-varianten presteerden consequent beter dan GEPA, waarbij MAGE-E een score van 81,6% behaalde (vs. GEPA's 79,2%) met de laagste variantie onder de MAGE-configuraties.
• On-Device Validatie: Toegepast op een 1.5B model voor tool-selectie, convergeerde MAGE in 2,0 ± 0,0 iteraties (100% convergentiepercentage) met een tool-selectie nauwkeurigheid van 0,95 ± 0,03, waarbij adversariële prompts succesvol werden opgelost.

4. Betekenis en Claims

Het artikel betoogt dat prompt-optimalisatiesystemen geëvalueerd moeten worden als gekoppelde stochastische processen in plaats van deterministische algoritmen.

• Verschuiving in Evaluatiemetriek: De auteurs claimen dat variantie als een primaire evaluatiemetriek moet worden behandeld naast de gemiddelde nauwkeurigheid. Het rapporteren van een enkele seed riskeert het vastleggen van een "gelukkige piek" in plaats van een betrouwbaar gemiddelde. Zij bevelen een minimum van 5 seeds aan voor evaluatie.
• Praktische Richtlijnen: Het paper biedt een deployment-gids (Tabel 3) die specifieke MAGE-varianten koppelt aan scenario's:
  • MAGE-E voor hoge stabiliteit en lage rekenkracht-behoeften.
  • MAGE (volledig) voor maximale gemiddelde prestaties waar een gematigde variantie acceptabel is.
  • MAGE-P alleen wanneer de kandidaat-pools groot zijn ($n \ge 5$) om Pareto-druk te triggeren.
• Bescheidenheid in Claims: De auteurs verklaren expliciet dat MAGE niet beweert in alle contexten sterke vaste scaffolds te overtreffen. Sterker nog, zij benadrukken dat in scenario's met weinig data, goed ontworpen vaste prompts vaak beter presteren dan reflectieve optimizers, een bevinding die zij juist naar voren brengen in plaats van te minimaliseren. De primaire bijdrage is de gecontroleerde analyse van componentinteractie en de karakterisering van de POCE, in plaats van het voorstellen van een universeel superieure optimizer.

Samenvattend demonstreert het paper dat de stabiliteit-prestatie afruil in prompt-optimalisatie een niet-lineaire functie is van componentinteractie, wat een verschuiving vereist in hoe deze systemen worden ontworpen, geëvalueerd en ingezet.