Technische Samenvatting: MO-CAPO: Multi-Objective Cost-Aware Prompt Optimization

1. Probleemstelling

Grote Taalmodellen (LLMs) tonen sterke prestaties over diverse taken, maar blijven zeer gevoelig voor promptontwerp, wat automatische promptoptimalisatie noodzakelijk maakt. Waar bestaande methoden zich voornamelijk richten op het maximaliseren van prestaties, negeren ze vaak concurrerende doelstellingen zoals inferentiekosten en latentie. Bovendien is het optimalisatieproces zelf duur, omdat het talrijke LLM-aanroepen vereist.

Huidige benaderingen staan voor twee hoofdbeperkingen:

1. Enkelvoudige Doelstelling: De meeste optimalisatoren (bijv. CAPO, GEPA) optimaliseren alleen voor prestaties of gebruiken scalarisatie met een vaste, vooraf gekozen afwegingsgewicht om promptlengte te bestraffen. Deze aanpak faalt in het vastleggen van het volledige spectrum van prestatie-kostenevenwichten en vereist dat gebruikers gewichten handmatig afstemmen, wat niet triviaal is.
2. Inefficiënte Multi-Objective Methodes: Bestaande multi-objective promptoptimalisatoren vertrouwen doorgaans op kant-en-klare algoritmen zoals NSGA-II. Deze methoden missen vaak kostenefficiëntie in hun optimalisatieprocedures, waarbij kandidaten worden geëvalueerd op volledige datasets zonder mechanismen om veelbelovende oplossingen vroegtijdig te verwerpen. Bovendien gebruiken ze vaak promptlengte als proxy voor kosten, waarbij ze de verschillende rekenprofielen van input- versus outputtokens in moderne LLMs negeren (waarbij outputgeneratie aanzienlijk duurder is).

Het kernprobleem is het ontwikkelen van een promptoptimalisatiealgoritme dat prestaties en inferentiekosten gezamenlijk optimaliseert, een diverse reeks Pareto-optimale oplossingen (het Pareto-front) ontdekt, en dit doet op een efficiënte manier binnen een beperkt evaluatiebudget.

2. Methodologie: MO-CAPO

De auteurs stellen MO-CAPO (Multi-Objective Cost-Aware Prompt Optimization) voor, een algoritme dat de evolutionaire strategie van CAPO uitbreidt om expliciet met meerdere doelstellingen om te gaan, terwijl het budgettoewijzingsmechanismen integreert.

2.1 Kostendoelstelling

MO-CAPO introduceert een op implementatie gerichte kostendoelstelling die het volledige rekenprofiel van LLM-inferentie in aanmerking neemt. In tegenstelling tot eerdere methoden die alleen promptlengte bestraffen, definieert MO-CAPO kosten als een gewogen som van input- en outputtokens:
$$c_\Phi(p, x) = w_{in} \cdot tok_{in}(p; x) + w_{out} \cdot tok_{out}(p; x)$$
Waarbij $w_{in}$ en $w_{out}$ model-specifieke gewichten zijn die zijn afgeleid van API-prijzen of latentie-metrieken. Deze formulering weerspiegelt de realiteit dat outputtokens doorgaans duurder zijn vanwege sequentiële autoregressieve decoding.

2.2 Algoritmisch Kader

MO-CAPO werkt als een genetisch algoritme met een populatie van prompts bestaande uit instructies en few-shot voorbeelden. Het integreert concepten uit NSGA-II en de multi-objective automatische algoritmeconfiguratiemethode MO-SMAC.

• Incumbent Set & Populatie: Het algoritme onderhoudt een populatie ($P_\mu$) en een dedicate incumbent set ($P_{inc}$) die de huidige benadering van het Pareto-front vertegenwoordigt.
• Ouderselectie: In tegenstelling tot de willekeurige selectie van CAPO, gebruikt MO-CAPO een binair toernooiselectie aangepast voor heterogene evaluatieniveaus. Het geeft de voorkeur aan incumbents (oplossingen op het Pareto-front) en gebruikt 'crowding distance' (CD) om diversiteit te behouden. Voor niet-incumbents met verschillende evaluatieniveaus past het een zwakker dominantiecriterium toe om eerlijke vergelijking te waarborgen.
• Intensivering (Budgettoewijzing): Dit is het kernmechanisme voor efficiëntie. In plaats van elke kandidaat op de volledige ontwikkelset te evalueren, worden challengers progressief geëvalueerd op datablokken.
  • Een challenger wordt vergeleken met de dichtstbijzijnde incumbent in de objectieve ruimte.
  • Als de challenger door de incumbent wordt gedomineerd op het tot nu toe geëvalueerde subset van data, wordt de evaluatie voortijdig beëindigd ('verworpen'), wat budget bespaart.
  • Als hij overleeft, wordt hij op meer blokken geëvalueerd totdat hij óf een incumbent domineert óf de evaluatie op alle gedeelde blokken heeft voltooid.
  • Overlevende challengers worden toegevoegd aan de populatie en potentieel aan de incumbent set.
• Milieuselectie: Om de populatiegrootte te behouden, worden gedomineerde kandidaten verwijderd. Als kandidaten heterogene evaluatieniveaus hebben, worden die met minder evaluaties eerst verworpen om bias te voorkomen.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

1. MO-CAPO Algoritme: Een nieuw multi-objective promptoptimalisatiealgoritme dat volledige benaderingen van het Pareto-front ontdekt die prestaties en inferentiekosten in evenwicht brengen, terwijl het kostenefficiëntie behoudt via een intensiveringsmechanisme.
2. Realistische Kostendoelstelling: Een nieuwe doelfunctie die input- en outputtokens apart weegt, waardoor een realistische maatstaf voor implementatiekosten voor moderne LLMs wordt geboden, verdergaand dan eenvoudige proxy's voor promptlengte.
3. Rigoureuze Evaluatieprotocollen: De eerste grootschalige evaluatie van multi-objective promptoptimalisatie die generalisatie en robuustheid overweegt met behulp van:
   • Noisy R2 (nR2): Meet selectierobuustheid door gebruikerspreferentie-selectie op de ontwikkelset te simuleren en te evalueren op de testset.
   • Benaderingsgap: Kwantificeert het verschil tussen optimistische (niet-gedomineerd op testset) en pessimistische (niet-gedomineerd op ontwikkelset) Pareto-fronts.
   • Empirische Bereikoppervlakken (EAS): Visualiseert prestatiestabiliteit over meerdere runs.
4. Uitgebreide Benchmarking: Een vergelijking met state-of-the-art enkelvoudige doelstellingsoptimalisatoren (CAPO, GEPA, EvoPromptGA) en een op NSGA-II gebaseerde baseline over drie LLM's en vier taken, waarbij superioriteit wordt aangetoond in multi-objective metrieken en efficiëntie.

4. Experimentele Resultaten

De auteurs evalueerden MO-CAPO op drie LLM's (GPT-OSS-120B, Qwen3-30B, Mistral-3.2-24B) en vier taken (AG News, GSM8K, Subj, MBPP) met een tokenbudget van 7,5 miljoen.

• Multi-Objective Prestaties: MO-CAPO presteerde beter dan de op NSGA-II gebaseerde baseline in 8 van de 12 model-datasetcombinaties wat betreft de noisy R2-metriek. Het identificeerde consequent sterke, robuuste en diverse benaderingen van het Pareto-front.
• Efficiëntie: MO-CAPO toonde aanzienlijk hogere efficiëntie. Het vond concurrerende oplossingssets bij veel lagere budgetten (vaak minder dan 1/3 van het budget nodig om 80% van de uiteindelijke prestatie te bereiken) in vergelijking met NSGA-II-PO. Het intensiveringsmechanisme stelde MO-CAPO in staat tot 5,7 keer meer kandidaten te evalueren dan de baseline.
• Diversiteit van Oplossingen: De ontdekte oplossingssets besloegen diverse prestatie-kostenevenwichten, inclusief laagkostenoplossingen die door enkelvoudige doelstellingsoptimalisatoren werden overgeslagen en hoogpresterende oplossingen. De prompts varieerden in instructiedetail, aantal few-shot voorbeelden en input/output-tokenverhoudingen.
• Concurrentievermogen met Enkelvoudige Doelstellingsmethodes: Ondanks optimalisatie voor kosten, bleven de top-presterende kandidaten gevonden door MO-CAPO concurrerend met state-of-the-art enkelvoudige doelstellingsoptimalisatoren. Qua nauwkeurigheidsranks was MO-CAPO in veel instellingen statistisch niet te onderscheiden van CAPO en GEPA en presteerde het aanzienlijk beter dan EvoPrompt en initiële instructies.
• Ablatiestudies:
  • Intensivering: Het verwijderen van dit mechanisme (terugkeren naar NSGA-II-PO) resulteerde in langzamere convergentie en hoger tokenverbruik.
  • Kostengewichten: Het inputtokengewicht ($w_{in}$) bleek de dominante drijver voor het beheersen van promptkosten. Het verwijderen ervan leidde tot een dramatische toename in inputtokengebruik en verslechterde optimalisatiekwaliteit (nR2).

5. Betekenis en Claims

Het artikel claimt dat MO-CAPO practitioners in staat stelt te kiezen uit een efficiënt ontdekte set van meerdere prompts die verschillende afwegingen tussen prestaties en kosten bieden, in plaats van gedwongen te worden tot een enkele oplossing of een handmatig afgestelde scalarisatie.

Belangrijke claims met betrekking tot betekenis zijn:

• Efficiëntie: De integratie van multi-objective budgettoewijzing (intensivering) in evolutionaire promptoptimalisatie maakt de ontdekking van robuuste Pareto-fronts mogelijk onder strakke rekenbudgetten.
• Realisme: Door expliciet input- en outputtokenkosten te modelleren, biedt de methode een nauwkeurigere weergave van real-world implementatiekosten dan lengte-gebaseerde proxy's.
• Robuustheid: Het gebruik van benaderingsgaps en noisy R2-metrieken biedt een realistischere beoordeling van oplossingskwaliteit, rekening houdend met generalisatiefouten en stochastische variabiliteit die vaak worden gemaskeerd door standaardmetrieken zoals Hypervolume.
• Praktisch Nut: De methode biedt een diverse reeks levensvatbare laagkostenalternatieven die door prestatie-only methoden worden genegeerd, waarmee de praktische realiteit wordt aangepakt dat marginale nauwkeurigheidswinsten vaak geen substantiële toename in inferentiekosten rechtvaardigen.

De auteurs positioneren dit werk als de eerste grondige evaluatie van multi-objective optimalisatie voor machine learning die voorlopige methodologieën uitbreidt naar promptoptimalisatie, met de nadruk op de behoefte aan robuuste, generalisatie-bewuste metrieken in dit domein.