Technische Samenvatting: CAPO – Constraint-Aware Prompt Optimization voor LLM Agents

1. Probleemformulering

Large Language Models (LLM's) worden steeds vaker ingezet als agents die vertrouwen op systeem-prompts om taken uit te voeren met behulp van externe tools. Hoewel deze agents taken succesvol kunnen voltooien, voldoen ze vaak niet aan de eisen voor implementatie vanwege operationele beperkingen zoals excessief toolgebruik, onnodige menselijke escalatie, te lange prompts, of schendingen van veiligheids- en formateringsbeleid.

Bestaande methoden voor automatische prompt-optimalisatie falen doorgaans in het effectief aanpakken van deze beperkingen omdat ze vertrouwen op:

• Statische Gewogen Scores: Het toekennen van vaste coëfficiënten aan beperkingen vóór de zoektocht begint, wat niet kan worden aangepast wanneer de "bindende beperking" (de meest overtreden vereiste) verandert over verschillende domeinen of optimalisatierondes.
• Pareto-rangschikking: Het identificeren van Pareto-optimale prompts zonder te garanderen dat ze specifieke implementatiedrempels voldoen, wat potentieel alle kandidaten buiten de haalbare regio laat.
• Post-Training: Het vereisen van toegang tot modelgewichten en gesuperviseerde data, wat vaak onhaalbaar is voor bevroren of API-only modellen.

Het artikel formuleert het probleem als een drempel-beperkte optimalisatie:
$$\max_{p \in \mathcal{P}_{text}} R(p) \quad \text{s.t.} \quad C_i(p) \leq \tau_i, \quad i = 1, \dots, m$$
waarbij $R(p)$ de taakbeloning is, $C_i(p)$ de kosten van beperking $i$ is, en $\tau_i$ het expliciete budget is. Het doel is om een prompt te vinden die de taakprestaties maximaliseert terwijl alle beperkingen gelijktijdig worden voldaan.

2. Methodologie

Het artikel introduceert CAPO (Constraint-Aware Prompt Optimization), een primal–dual methode die prompt-optimalisatie behandelt als een beperkt zoekprobleem met behulp van adaptieve Lagrangiaanse multipliers.

2.1 CAPO: Primal–Dual Zoektocht met een Bevroren Rewriter

CAPO werkt in rondes, waarbij afgewisseld wordt tussen een primal stap (het herschrijven van prompts) en een duale stap (het bijwerken van beperkingsgewichten).

• Lagrangiaanse Rangschikking: Voor een set multipliers $\lambda_i \geq 0$, definieert de methode een Lagrangiaanse doelstelling:
  $$J(p, \lambda) = R(p) - \sum_{i=1}^m \lambda_i (C_i(p) - \tau_i)$$
  Prompts worden gerankt door $J(p, \lambda)$. Deze rangschikking stuurt de selectie van ouders voor herschrijving aan en bepaalt welke prompts worden behouden in de pool.
• Benaderde Primal Rewrites: Een bevroren "critic" LLM vat taalfouten en schendingen van beperkingen samen. Een bevroren "rewriter" LLM genereert vervolgens nieuwe prompts op basis van dit bewijs en de huidige duale staat (multipliers). De instructie voor herschrijving bevat expliciet de gewichten $(1, \lambda_1, \dots, \lambda_m)$ om prioriteit te geven aan beperkingen met grotere multipliers.
• Residu-gestuurde Duale Updates: Na het evalueren van de uitgebreide pool worden de multipliers bijgewerkt met een geprojecteerde subgradiëntstap op basis van het empirische residu van de beste kandidaten:
  $$\lambda_i \leftarrow \Pi_{[0, \lambda_{max}]} \left[ \lambda_i + \beta \left( \frac{1}{|P_{best}|} \sum_{p_j \in P_{best}} \hat{\rho}_{i,j} - \tau_i \right) \right]$$
  Als een beperking wordt overtreden ($\hat{\rho} > \tau$), neemt de multiplier toe, waardoor het gewicht in toekomstige rangschikking en herschrijving toeneemt. Als er speling is, neemt de multiplier af.
• Prompt Pool: Een pool van behouden prompts bewaart sterke kandidaten, waardoor succesvolle herschrijvingen toekomstige rondes kunnen initiëren.

2.2 DCAPO: Dynamisch Getrainde CAPO

Om de efficiëntie en aanpasbaarheid te verbeteren, introduceren de auteurs DCAPO, die een feedback- en dual-geconditioneerd rewriter-beleid ($\pi_\theta$) leert in plaats van te vertrouwen op een bevroren LLM.

• Training: DCAPO gebruikt pool-gebaseerde GRPO (Group Relative Policy Optimization). Het samplet ouders uit de evoluerende prompt-pool, genereert groepen kind-prompts, evalueert deze met de bevroren taakagent, en werkt het rewriter-beleid bij op basis van de adaptieve Lagrangiaanse scores.
• Conditionering: De rewriter is geconditioneerd op de ouder-prompt, de vorige herschrijving in een dieptesequentie, gedrags-trajecten (tool calls, fouten) en de huidige duale staat $\lambda_t$.
• Scheiding van Zaken: De ingezette taakagent blijft bevroren; alleen de rewriter wordt getraind.

2.3 Theoretische Analyse

Het artikel biedt een surrogaat-analyse die de convergentie van de methode karakteriseert. Het modelleert de discrete tekstuele herschrijvingen als een inexacte ascentsstap in een continue surrogaatruimte. De analyse stelt een primal–dual grens vast die rekening houdt met:

1. Finit-pool benaderingsfouten.
2. Discrete-rewrite residuen (het gat tussen de discrete tekstuele herschrijving en de ideale continue ascensie).
3. Standaard duale optimalisatiefouten.
   De grens toont aan dat onder specifieke aannames (sterke convexiteit, begrensde gradiënten), de methode convergeert naar een haalbare oplossing naarmate de stapgroottes verdwijnen.

3. Belangrijkste Bijdragen

1. Constraint-Aware Prompt Optimization: De ontwikkeling van een pool-gebaseerde primal–dual procedure die gebruikmaakt van gesigneerde residuen om beperkingen adaptief te wegen, waarmee verder wordt gegaan dan statische scalarisatie of Pareto-rangschikking.
2. Consistente Empirische Haalbaarheid: Het aantonen dat CAPO betrouwbaar bereikpunten bereikt waar elke operationele budget wordt voldaan over diverse domeinen (Airline, Retail, Telecom) en modelgroottes, terwijl statische baselines (APO, GEPA, MOPO) dit in de meeste settings niet doen.
3. Een Geleerde Rewriter (DCAPO): Het introduceren van een methode om een herschrijfbeleid te trainen met pool-gebaseerde GRPO. DCAPO produceert haalbare prompts over domeinen en evenaart of overtreft de nauwkeurigheid van baselines terwijl de taakagent bevroren blijft.
4. Surrogaat-analyse: Het bieden van een theoretische karakterisering van hoe finite-pool en discrete-rewrite fouten door de inexacte primal–dual procedure propageren.

4. Experimentele Resultaten

De evaluatie bestrijkt drie hoofdgebieden: TAU2-BENCH (tool-gebruikende agents), Chatbot/Privacy benchmarks, en Coding agents.

4.1 Agentic Tool Use (TAU2-BENCH)

• Haalbaarheid: Over zes combinaties van drie domeinen (Airline, Retail, Telecom) en twee taakmodellen (GPT-5-mini, GPT-5.1), was CAPO de enige methode die in elke setting aan alle beperkingen voldeed.
  • Baselines (Initial, APO, GEPA, MOMO) bereikten haalbaarheid in maximaal één combinatie.
  • CAPO bereikte haalbaarheid in alle zes de combinaties terwijl de taaknauwkeurigheid gelijk bleef aan of verbeterde ten opzichte van de initiële prompt.
  • Opmerking: Hoewel CAPO(EA) (een variant die gelijke eligibility voor ouders gebruikt) haalbaarheid bereikte in 5 van de 6 settings, was de standaard CAPO-variant de enige methode die haalbaarheid in alle 6 de settings bereikte.
• Open-Weight Modellen: Wanneer toegepast op Ministral-8B, was CAPO de enige geëvalueerde methode die in alle drie de domeinen aan alle beperkingen voldeed, wat robuustheid aantoont zelfs bij modellen met lagere baseline instructie-volgende capaciteiten.
  • Opmerking: Hoewel APO haalbaarheid bereikte in de Airline en Retail domeinen voor Ministral-8B, faalde het in het Telecom domein, terwijl CAPO succesvol was in alle drie.

4.2 Assistent en Privacy Beperkingen

• Chatbot Suite: CAPO-varianten voldeden aan alle vier de budgetten (GSM8K nauwkeurigheid, responslengte, veiligheid, over-refusal) en evenaarden de nauwkeurigheid van onhaalbare baselines.
• Privacy Delegatie (PUPA–IFBench): CAPO behaalde de hoogste objectieve score onder alle haalbare methoden, wat aantoont dat het framework verder reikt dan tool-gebruik kosten naar veiligheid, formattering en instructie-volgende beperkingen.

4.3 DCAPO Prestaties

• Haalbaarheid: DCAPO produceerde haalbare prompts in elk geëvalueerd domein en taak-agent formaat (Qwen3-8B en Qwen3-32B).
• Vergelijking met RL: In tegenstelling tot Agent-GRPO (die de taakagent bijwerkt met vaste straffen) of StablePrompt, voldeed DCAPO consistent aan de beperkingen over alle domeinen.
• Ablaties:
  • Feedback Bron: Online gedragsfeedback (met behulp van volledige trajecten) bleek cruciaal voor haalbaarheid vergeleken met enkel samenvattende feedback.
  • Rewrite Diepte: Het gebruik van een tweede herschrijfstap (D=2) behield over het algemeen de haalbaarheid en verbeterde de nauwkeurigheid.

4.4 Robuustheid en Transfer

• Gevoeligheid voor Ruis: CAPO bleef haalbaar onder milde ruis in de duale feedback voor het Retail domein, hoewel striktere domeinen (Airline, Telecom) gevoeligheid vertoonden, wat het belang van nauwkeurige kosteninschatting benadrukt.
• Taakcluster Verschuiving: CAPO behield de haalbaarheid op een via embeddings gedefinieerde verschoven taakcluster, wat generalisatie binnen een domein aantoont.
• Zero-Shot Transfer: Een rewriter getraind op één domein (Telecom) kon het toolgebruik in andere domeinen (Retail, Airline) verminderen, maar bereikte geen volledige haalbaarheid zonder doel-domein adaptatie, wat wijst op de noodzaak van domeinspecifieke fine-tuning voor strikte beperkingen.

5. Betekenis en Claims

Het artikel claimt dat CAPO een significante verschuiving biedt in de benadering van prompt-optimalisatie voor ingezette agents:

• Van Statisch naar Adaptief: Het vervangt vaste beperkingsgewichten door een feedbackloop waarbij gemeten beperkingsresiduen dynamisch bepalen welke fouten aandacht krijgen tijdens de zoektocht.
• Haalbaarheid als Primair Doel: De methode geeft prioriteit aan het vinden van prompts die aan alle implementatiedrempels voldoen, in plaats van het optimaliseren van een gewogen som die kritieke beperkingen kan schenden.
• Toepasbaarheid op Bevroren Modellen: Door de systeem-prompt te optimaliseren in plaats van de modelgewichten, is CAPO toepasbaar op API-only en bevroren modellen, een cruciale vereiste voor veel real-world implementaties.
• Leerbare Herschrijving: DCAPO demonstreert dat het herschrijvingsproces zelf geleerd kan worden van gedragsfeedback, wat efficiënte adaptatie mogelijk maakt zonder de taakagent opnieuw te trainen.

De auteurs concluderen dat implementatie-eisen niet slechts als finale evaluatiecriteria moeten dienen, maar als het actieve feedbacksignaal dat de zoektocht stuurt. Deze aanpak biedt een betrouwbaarder pad voor het inzetten van LLM agents die zowel bekwaam als compliant zijn met operationele beperkingen.