Technische Samenvatting: SePO (Self-Evolving Prompt Optimization)

1. Probleemstelling

Huidige methoden voor systeemprompt-optimalisatie beogen het gedrag van agenten te verbeteren zonder de onderliggende modelgewichten aan te passen, waarbij menselijk leesbare, model-agnostische instructies worden geproduceerd. Er bestaat echter een kritieke asymmetrie in bestaande frameworks: terwijl de systeemprompt van de taakagent wordt behandeld als een optimalisatiedoel, blijft de prompt-agent (de entiteit die verantwoordelijk is voor het verfijnen van de prompt van de taakagent) handmatig ontworpen en vaststaand.

Bestaande benaderingen, zoals evolutionaire zoektocht of tekstuele-gradiëntframeworks, vertrouwen op een prompt-agent die niet verbetert naarmate deze meer taken tegenkomt. Bijgevolg is het optimalisatieproces begrensd door het initiële menselijke ontwerp van de prompt-agent en kan het geen ervaring accumuleren of optimalisatievaardigheden generaliseren over verschillende domeinen. Het kernproblebu is dat de "optimizer" zelf niet geoptimaliseerd wordt.

2. Methodologie: SePO

De auteurs stellen Self-Evolving Prompt Optimization (SePO) voor, een framework dat de eigen systeemprompt van de prompt-agent behandelt als een optimalisatiedoel naast de prompt van de taaskagent. Dit wordt bereikt door een zelfreferentieel ontwerp en een tweestaps trainingspipeline.

2.1 Zelfreferentieel Ontwerp

SePO definieert een "prompt-taak" waarbij de prompt-agent fungeert als een speciale taakagent. Het doel ervan is om de prompts van andere taaskagents te verbeteren. Door dezelfde optimalisatieprocedure toe te passen op de eigen systeemprompt van de prompt-agent ($\tilde{p}$) als op de prompt van de taaskagent ($p$), creëert SePO een "zelfreferentiële afsluiting."

• Mechanisme: De prompt-agent verfijnt een kopie van zichzelf.
• Evolutionaire Zoektocht: Het proces maakt gebruik van een open einde evolutionaire zoektocht over een populatie van kandidaat-prompts. Het houdt een archief bij van kandidaat-prompts, waardoor eerdere, succesvolle prompts kunnen dienen als "stapstenen" voor latere verbeteringen, wat voorkomt dat de zoektocht vastloopt in lokale optima.

2.2 Tweestaps Trainingspipeline

In navolging van het standaard pre-training en fine-tuning paradigma, organiseert SePO de optimalisatie in twee afzonderlijke fasen:

1. Fase 1: Pre-training (Self-Evolving Prompt Agent)

   • Doel: De systeemprompt van de prompt-agent ($\tilde{p}$) evolueren om brede, generaliseerbare prompt-optimalisatievaardigheden te verwerven.
   • Proces: De prompt-agent ondergaat een evolutionaire zoektocht op een multi-task pool.
   • Configuraties:
     • SePO-Generalist (Standaard): Traint op een diverse mix van taken om robuustheid en generalisatie te maximaliseren.
     • SePO-Specialist: Traint op een enkele taak die identiek is aan de doelstelling van de fine-tuning taak.
   • Resultaat: Een enkele, geëvolueerde prompt-agent ($\tilde{p}^*$) die in staat is om prompts in diverse scenario's te optimaliseren.

2. Fase 2: Fine-tuning (Optimaliseer Doel-Taaskagent)

   • Doel: De systeemprompt ($p$) optimaliseren voor een specifieke doel-taaskagent.
   • Proces: De geëvolueerde prompt-agent (uit Fase 1) is vastgesteld en wordt gebruikt om de evolutionaire zoektocht voor de prompt van de doel-taaskagent te begeleiden.
   • Efficiëntie: De kosten van het zelf-evolueren van de prompt-agent worden afgeschreven over vele fine-tuning taken, aangezien de voorgetrainde prompt-agent wordt hergebruikt.

3. Belangrijkste Bijdragen

• Het sluiten van de optimalisatiecyclus: SePO is de eerste methode die de prompt-agent zelf als een leerbaar component behandelt, waardoor de afhankelijkheid van een vaste, handmatig ontworpen optimizer wordt weggenomen.
• Zelfreferentiële Evolutie: Het introduceert een mechanisme waarbij dezelfde procedure zowel de taaskagent als de prompt-agent verfijnt, wat de accumulatie van optimalisatievaardigheden mogelijk maakt.
• Tweestaps Training: Door pre-training (vaardigheidsverwerving) te scheiden van fine-tuning (taaktoepassing), ontkoppelt de methode de kosten van het ontwikkelen van de optimizer van de toepassing ervan op specifieke taken.
• Archief-gebaseerde Zoektocht: Het gebruik van een archief stelt het systeem in staat om historische successen als stapstenen te gebruiken, wat open einde evolutie faciliteert in plaats van eenvoudige iteratieve verfijning.

4. Experimentele Resultaten

De auteurs hebben SePO geëvalueerd op vijf diverse benchmarks: AIME'25 (wiskunde), ARC-AGI-1 (abstract redeneren), GPQA (wetenschappelijke graad op universitair niveau), MBPP (codegeneratie) en Sudoku (logische puzzels).

• Prestaties: SePO presteerde consequent beter dan drie baselines:
  • Manual-CoT: Handmatig gecreëerde prompts met Chain-of-Thought.
  • TextGrad: Een tekstuele-gradiënt framework met een vaste prompt-optimizer.
  • MetaSPO: Een meta-learning benadering met een vaste meta-optimizer.
• Nauwkeurigheidswinst: SePO-Generalist behaalde de hoogste nauwkeurigheid op alle vijf de taken, met een verbetering van de gemiddelde nauwkeurigheid met 4,49 punten vergeleken met Manual-CoT.
• Generalisatie:
  • De geleerde prompt-optimalisatievaardigheden tijdens de pre-training generaliseerden naar taken buiten de pre-training mix (bijv. Sudoku zat niet in de pre-training set, maar de nauwkeurigheid verbeterde aanzienlijk).
  • De methode demonstreerde robuustheid over verschillende modelparen (het wisselen van DeepSeek-V3.2 en Gemini 3.1 Pro Preview voor Gemini 3.1 Flash-Lite en Claude Opus 4.6).
• Kostenefficiëntie: Hoewel pre-training kosten met zich meebrengt, amortiseert SePO-Generalist deze over meerdere taken, wat resulteert in een lagere kosten per taak vergeleken met het trainen van een specialist voor elke taak of het gebruiken van methoden zoals TextGrad die de training van de optimizer niet afschrijven.

5. Betekenis en Claims

Het artikel beweert dat SePO de systeemprompt-optimalisatie fundamenteel verschuift van een vaste tool naar een leerbare vaardigheid. Door de prompt-agent toe te staan zichzelf te verbeteren, doorbreekt het framework het plafond dat door menselijke handmatige engineering wordt opgelegd.

• Bescheiden Claims: De auteurs stellen expliciet dat SePO alleen werkt op de natuurlijke taal systeemprompt, waarbij modelgewichten, tools en workflows onveranderd blijven. Ze erkennen dat hoewel het huidige werk zich richt op prompts, het zelfreferentiële ontwerp theoretisch ook uitgebreid kan worden naar tools en architecturen in toekomstig werk, maar zij beweren dit nog niet geïmplementeerd te hebben.
• Kerninzicht: De primaire betekenis ligt in het aantonen dat prompt-optimalisatie niet louter een zoekprobleem is voor een enkele taak, maar een vaardigheid die verworven en overgedragen kan worden. De "prompt-agent" is niet langer een statisch onderdeel, maar een evoluerend component dat sterker wordt door ervaring.

De auteurs concluderen dat SePO verdere research stimuleert naar zelf-evoluerende agenten die de reikwijdte van hun eigen zelfverbetering continu kunnen verbreden.