💬 NLP

CRAFT: Cost-aware Refinement And Front-aware Tuning of Prompts

CRAFT is een Pareto-front prompt optimizer die de beperkingen van scalarisatie-instorting vermijdt door validatie-oproepen te behandelen als een schaars middel om efficiënt een diverse set prompts te ontdekken die optimale nauwkeurigheid-kosten-afwegingen bieden over verschillende taken heen.

Oorspronkelijke auteurs: Shanu Kumar, Shubhanshu Khandelwal, Akhila Yesantarao Venkata, Parag Agrawal, Yova Kementchedjhieva, Manish Gupta

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shanu Kumar, Shubhanshu Khandelwal, Akhila Yesantarao Venkata, Parag Agrawal, Yova Kementchedjhieva, Manish Gupta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar dure robot probeert te leren hoe hij een specifieke taak moet uitvoeren. Je doet dit door een reeks instructies voor hem te schrijven, een prompt genoemd.

Het probleem is een soort catch-22:

Als je lange, gedetailleerde instructies schrijft, doet de robot de taak meestal goed (hoge nauwkeurigheid), maar kost het veel geld om uit te voeren omdat hij elk woord moet lezen.
Als je korte, krachtige instructies schrijft, is het goedkoop om uit te voeren, maar kan de robot in de war raken en fouten maken (lage nauwkeurigheid).

De meeste mensen proberen dit op te lossen door vooraf een "middelweg" te kiezen. Ze zeggen: "Ik wil 50% nauwkeurigheid en 50% kostenbesparing," en ze zoeken naar de ene perfecte prompt die aan die specifieke mix voldoet. De auteurs van dit artikel noemen deze aanpak "Scalarization Collapse". Het is alsof je probeert de perfecte temperatuur voor een douche te vinden door alleen water te testen dat precies lauw is. Je zou een plek kunnen missen die iets warmer is maar veel comfortabeler, of iets koeler maar veel verfrissender.

Ontmoet CRAFT: De Slimme Shopper

Het artikel introduceert een nieuwe methode genaamd CRAFT (Cost-aware Refinement And Front-aware Tuning). In plaats van te zoeken naar één "perfecte" prompt, zoekt CRAFT naar het volledige menu van de beste opties.

Denk aan een slimme shopper die een auto probeert te kopen.

De Oude Manier: Je vertelt de verkoper: "Ik wil een auto die precies $ 30.000 kost en precies 30 mijl per gallon verbruikt." Hij laat je één auto zien. Als je later van gedachten verandert, moet je opnieuw beginnen.
De CRAFT-Manier: CRAFTS zegt: "Laat me alle auto's zien die de best mogelijke deal zijn." Het bouwt een lijst met opties:
- Optie A: Super snel, maar duur.
- Optie B: Super goedkoop, maar een beetje traag.
- Optie C: Een geweldige balans van beide.
- Optie D: Een vreemde mix die geld bespaart maar verrassend snel is.

CRAFT dwingt je er niet toe om vooraf een balans te kiezen voordat je begint met zoeken. Het vindt de hele "Pareto Front"—een chique term voor de best mogaanbare trade-offs waarbij je niet beter kunt krijgen zonder meer te betalen, of goedkoper zonder slechter te worden.

Hoe CRAFTS werkt (De Keuken-analogie)

CRAFT runt een keuken met twee chefs die aan hetzelfde recept werken, maar met verschillende doelen:

De "Refiner" Chef (De Perfectionist): Deze chef heeft als enige taak om het gerecht fantastisch te laten smaken. Hij blijft kruiden toevoegen, instructies verduidelijken en maakt het recept langer en gedetailleerder. Hij geeft niet om de kosten van de ingrediënten.
De "Condenser" Chef (De Minimalist): Deze chef heeft als enige taak om het recept korter en goedkoper te maken. Hij snijdt de franje weg, verwijdert overbodige stappen en versimpelt de taal. Hij geeft er niet om of het gerecht wat smaak verliest, zolang het maar eetbaar is.

De Proefsessie (Het Selectieproces):
Elke ronde maken deze twee chefs nieuwe versies van het recept. Maar hier komt de crux: het proeven van het eten kost geld (het vereist het aanroepen van de dure robot). Je kunt niet elke versie proeven.

Daarom gebruikt CRAFT een slimme strategie om te beslissen wat er geproefd wordt:

Het kijkt naar het "menu" van de tot nu toe gemaakte recepten.
Het vraagt zich af: "Welke van deze nieuwe recepten heeft de grootste kans om een nieuwe beste optie te zijn?"
Het kiest de recepten die ofwel zeer waarschijnlijk heerlijk zijn (hoge nauwkeurigheid), of zeer waarschijnlijk goedkoop zijn, of recepten die een gat vullen in het menu waar momenteel geen goede optie bestaat.

Het Eindmenu:
Aan het einde van het proces geeft CRAFT je niet slechts één recept. Het geeft je een verspreid menu van opties.

Als je een groot budget hebt, kies je het "Perfectionist"-recept.
Als je op een strikt budget zit, kies je het "Minimalist"-recept.
Als je een balans wilt, kies je een van het midden.

Waarom dit ertoe doet

Het paper heeft dit getest op zes verschillende taken (zoals het sorteren van e-mails, het oplossen van logische puzzels en het detecteren van fouten). Ze vergeleken CRAFT met:

Nauwkeurigheid-alleen methoden (die lange, dure prompts maakten).
Kosten-alleen methoden (die korte, verwarrende prompts maakten).
Gewogen som methoden (die probeerden een middenweg te vinden maar vastliepen in een nauwe plek).

Het Resultaat:
CRAFT was de enige methode die erin slaagde om zowel de hoge-nauwkeurigheid, hoge-kosten opties als de lage-kosten, redelijke-nauwkeurigheid opties te vinden. Het kwam niet vast te zitten in het midden. Het gaf de gebruiker de vrijheid om de juiste trade-off te kiezen nadat de zoekopdracht was voltooid, in plaats van de trade-off te moeten raden voordat de zoekopdracht begon.

Kortom, CRAFT zorgt ervoor dat je niet de prijs van een perfect maaltijd hoeft te raden voordat je zelfs maar het menu hebt gezien. In plaats daarvan bereidt het het hele menu van de beste deals voor, zodat jij kunt kiezen wat past bij je portemonnee en je honger.

Technische Samenvatting: CRAFT (Cost-aware Refinement And Front-aware Tuning of Prompts)

1. Probleemformulering

Het artikel behandelt het multi-objectieve optimalisatieprobleem dat inherent is aan het afstemmen van natuurlijke taal-prompts voor Large Language Models (LLMs). Hoewel langere, gestructureerde prompts vaak een hogere taaknauwkeurigheid opleveren, brengen ze hogere inferentiekosten (token-aantallen) met zich mee bij elke modeloproep. Omgekeerd vermindert agressieve compressie de kosten, maar brengt het risico met zich mee dat de prestaties verslechteren.

De auteurs stellen dat het optimaliseren voor één enkel objectief (nauwkeurigheid of kosten) of het samenvoegen ervan in een vaste gewogen som (scalarisatie) suboptimaal is. Dergelijke benaderingen slagen er vaak niet in de volledige Pareto-front te herstellen—de verzameling prompts waarbij geen enkele andere prompt zowel nauwkeuriger als korter is. Het artikel identificeert een specifieke foutmodus genaamd scalarization collapse (scalarisatie-instorting), waarbij zoekstrategieën met vaste gewichten slechts een smal gebied van het trade-off-oppervlak herstellen, waardoor hoog-nauwkeurige/lage-kosten of laag-nauwkeurige/hoge-kosten extremen worden gemist, afhankelijk van het gekozen gewicht. Bovendien maken de discrete aard van de prompt-ruimte en de niet-convexe relatie tussen prompttekst, nauwkeurigheid en kosten, vaste scalaire beloningen ontoereikend.

De kernuitdaging is dat het evalueren van de werkelijke nauwkeurigheid van een kandidaat-prompt dure validatie-oproepen naar het doel-LLM vereist. Aangezien de optimizer werkt onder een vast budget van deze oproepen per ronde, moet deze beslissen welke kandidaten geëvalueerd moeten worden zonder hun werkelijke positie op het Pareto-front te kennen.

2. Methodologie: Het CRAFT-framework

CRAFT (Cost-aware Refinement And Front-aware Tuning) is een Pareto-front prompt-optimizer die validatie-oproepen naar het doel-LLM behandelt als een schaars middel. Het werkt in iteratieve rondes, waarbij een populatie van prompts wordt onderhouden en wordt vormgegeven om het nauwkeurigheid-kosten Pareto-front te benaderen.

2.1 Componenten van de kernlus

Elke ronde bestaat uit drie afzonderlijke stappen:

Kandidaatgeneratie (Refiner en Condenser):
- CRAFT maakt gebruik van twee complementaire generatoren met tegengestelde biases om wijzigingen voor te stellen aan de huidige populatie.
- Refiner (Nauwkeurigheidsgericht): Gebruikt een structuurbewuste optimizer (standaard SCULPT) om prompts te parsen in hiërarchische bomen en wijzigingen toe te passen (herordenen, elaboreren, verhelderen) om de taaknauwkeurigheid te maximaliseren.
- Condenser (Kostengericht): Gebruikt een structuurbewuste compressor (genaamd DISTILL) om de geparste promptboom te bewerken door redundante knopen te verwijderen of secties samen te voegen, met als doel lagere token-aantallen te bereiken terwijl taalkritische instructies behouden blijven.
- Deze duale generatiestrategie zorgt ervoor dat de kandidaat-pool beide uiteinden van het trade-off-spectrum verkent.
Pareto-gap acquisitie (Validatieallocatie):
- In plaats van alle kandidaten te scoren of een scalaire score te gebruiken,alloceert CRAFT het per-ronde validatiebudget aan kandidaten die waarschijnlijk de huidige front-benadering zullen verbeteren.
- Het berekent een Upper Confidence Bound (UCB) score ( $p^+ = \mu + \beta\sigma$ ) voor elke kandidaat op basis van gedeeltelijke validatiegeschiedenis, waarbij een balans wordt gevonden tussen exploratie (hoge onzekerheid) en exploitatie (hoge gemiddelde score).
- Deze optimistische scores worden gekoppeld aan genormaliseerde kosten om een optimistisch kandidaat-front ( $F^+_t$ ) te vormen.
- De Pareto-gap ( $g_i$ ) wordt berekend als de Manhattan-afstand van een kandidaat tot het dichtstbijzijnde punt op dit optimistische front. Kandidaten met kleinere gaten (die het dichtst bij of op het front liggen) krijgen prioriteit voor volledige validatie. Dit zorgt ervoor dat het budget wordt besteed aan kandidaten die het bekende front kunnen uitbreiden.
NSGA-II Retentie (Populatieselectie):
- Na validatie behoudt de selector een populatie van grootte $k$ voor de volgende ronde.
- Het gebruikt de logica van het Non-dominated Sorting Genetic Algorithm II (NSGA-II) om kandidaten te verdelen in niet-gedomineerde fronten ( $F_1, F_2, \dots$ ).
- Om diversiteit te waarborgen, wordt als de rand-front gedeeltelijk moet worden geselecteerd om de populatie aan te vullen, een maximin spread regel toegepast. Dit selecteert iteratief kandidaten die de minimale Euclidische afstand maximaliseren tot reeds geselecteerde kandidaten in de genormaliseerde nauwkeurigheid-kostenruimte, wat ervoor zorgt dat de behouden populatie het trade-off-oppervlak gelijkmatig dekt in plaats van te clusteren in één regio.

3. Belangrijkste Bijdragen

Formalisering: Het artikel formaliseert kostenbewuste prompt-optimalisatie als een budgetgestuurde Pareto-front zoektocht over nauwkeurigheid en prompt-tokenkosten, waarbij expliciet rekening wordt gehouden met de beperking dat validatie-oproepen naar het doel-LLM bepalen welke trade-offs geobserveerd kunnen worden.
CRAFT Framework: Het stelt een front-bewuste optimalisatielus voor die de kandidaatgeneratie loskoppelt van de validatieallocatie. Belangrijke innovaties zijn:
- Complementaire nauwkeurigheidsgerichte en kostengerichte generatoren.
- Pareto-gap acquisitie om het validatiebudget optimistisch toe te wijzen.
- NSGA-II retentie om een diverse, gespreide populatie te behouden.
Empirisch Bewijs: De auteurs laten zien dat standaard baselines (alleen nauwkeurigheid, alleen kosten, en gewogen-som scalarisatie) lijden aan scalarisatie-instorting, waarbij ze zich concentreren in smalle regio's van het front. In tegen plaats slaagt CRAFT erin om zowel hoog-nauwkeurige als laag-kosten prompts te behouden.

4. Experimentele Resultaten

De auteurs hebben CRAFT geëvalueerd op zes Engelse classificatie- en redeneerbenchmarks: BeaverTails, GoEmotions, en vier BIG-Bench Hard taken (DisambiguationQA, Causal Judgement, Formal Fallacies, Salient Translation).

Prestaties: CRAFT behaalde de hoogste composite rank over alle metrieken (frontkwaliteit, score en kosten). Hoewel het niet elke individuele metriek won (bijv. kosten-georiënteerde baselines behaalden soms lagere token-aantallen), was het de enige methode die consistent beide uiteinden van het Pareto-front dekte.
Baselines:
- Single-axis baselines (SCULPT voor nauwkeurigheid, DISTILL/LLMLingua voor kosten) excelleerden in hun specifieke domein maar faalden op het andere.
- Gewogen-som baselines (WPRO) stortten in naar smalle regio's bepaald door hun vaste gewichten, waardoor ze er niet in slaagden het volledige trade-off-oppervlak te vatten.
Ablaties: Het verwijderen van ofwel de refiner of de condenser verslechterde de prestaties, wat bevestigt dat beide modules noodzakelijk zijn om de diversiteit te bieden die vereist is voor front-extensie.
Cross-LLM Transfer: De winst van CRAFT was robuust over verschillende optimizer-LLM's (GPT-5.5, GPT-5.4, DeepSeek, Kimi), wat aangeeft dat het framework niet gebonden is aan een specifiek optimizer-model.
Efficiëntie: De methode bereikte prestatieplateaus rond de 8 optimaliserundes, wat wijst op een efficiënt gebruik van het validatiebudget.

5. Betekenis en Claims

Het artikel claimt dat de nauwkeurigheid-kosten trade-off in prompt engineering behandeld moet worden als een post-zoek keuze in plaats van een pre-zoek gewicht. Door direct het Pareto-front te optimaliseren, stelt CRAFT beoefenaars in staat om de optimale prompt te selecteren voor een specifiek deployment-budget nadat de zoektocht is voltooid, in plaats van gedwongen te worden om vooraf het juiste gewicht te raden.

De auteurs positioneren CRAFT als een oplossing voor het "scalarization collapse" probleem, en bieden een betrouwbaardere aanpak voor scenario's waarin de optimale balans tussen nauwkeurigheid en kosten onbekend is of varieert over verschillende deployment-contexten.

6. Beperkingen

Het artikel erkent verschillende beperkingen:

Reikwijdte: De evaluatie is beperkt tot Engelse classificatie en korte antwoord-redeneringen. Generalisatie naar open-ended generatie (samenvatting, code, dialoog) of meertalige instellingen is ongetest.
Modelfamilies: Experimenten gebruikten voornamelijk OpenAI-modellen (GPT-5 familie) als doel-modellen. Evaluatie op niet-OpenAI doel-modellen (bijv. Claude, Gemini, Llama, Qwen) blijft toekomstig werk.
Initiële Prompts: De methode gaat uit van een minimaal taakrelevante initiële prompt; het gedrag onder zwakke of adversariële initiële prompts is niet onderzocht.
Generatoren: De studie gebruikte een specifieke set generatoren (SCULPT, DISTILL, OPRO, EvoPrompt). Hoewel het framework modulair is, werd de prestatie van alternatieve typen generatoren (bijv. geschiedenisbewuste compressors) niet volledig onderzocht.