💬 NLP

CRAFT: Cost-aware Refinement And Front-aware Tuning of Prompts

CRAFT ist ein Pareto-Front-Prompt-Optimizer, der die Einschränkungen des Scalarization Collapse vermeidet, indem er Validierungsaufrufe als knappe Ressource behandelt, um effizient eine diverse Menge an Prompts zu entdecken, die optimale Genauigkeits-Kosten-Abwägungen über verschiedene Aufgaben hinweg bieten.

Ursprüngliche Autoren: Shanu Kumar, Shubhanshu Khandelwal, Akhila Yesantarao Venkata, Parag Agrawal, Yova Kementchedjhieva, Manish Gupta

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shanu Kumar, Shubhanshu Khandelwal, Akhila Yesantarao Venkata, Parag Agrawal, Yova Kementchedjhieva, Manish Gupta

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber teuren Roboter eine spezifische Aufgabe beizubringen. Dies tun Sie, indem Sie ihm eine Reihe von Anweisungen schreiben, die man einen Prompt nennt.

Das Problem ist ein gewisses Dilemma:

Wenn Sie lange, detaillierte Anweisungen schreiben, erledigt der Roboter den Job meistens richtig (hohe Genauigkeit), aber es kostet viel Geld, ihn laufen zu lassen, da er jedes einzelne Wort lesen muss.
Wenn Sie kurze, prägnante Anweisungen schreiben, ist es günstig im Betrieb, aber der Roboter könnte verwirrt werden und Fehler machen (geringe Genauigkeit).

Die meisten Menschen versuchen dies zu lösen, indem sie vorab einen „Mittelweg“ wählen. Sie sagen: „Ich möchte 50 % Genauigkeit und 50 % Kosteneinsparung“ und suchen nach dem einen perfekten Prompt, der genau diese Mischung erfüllt. Die Autoren dieser Arbeit nennen diesen Ansatz „Scalarization Collapse“ (Skalarisierungs-Kollaps). Es ist wie der Versuch, die perfekte Wassertemperatur für eine Dusche zu finden, indem man nur Wasser testet, das exakt lauwarm ist. Man könnte dabei einen Punkt übersehen, der etwas heißer, aber viel komfortabler ist, oder etwas kühler, aber viel erfrischender.

Hier kommt CRAFT ins Spiel: Der kluge Einkäufer

Das Paper stellt eine neue Methode namens CRAFT (Cost-aware Refinement And Front-aware Tuning) vor. Anstatt nach dem einen „perfekten“ Prompt zu suchen, sucht CRAFT nach dem gesamten Menü der besten Optionen.

Denken Sie an einen klugen Einkäufer, der ein Auto kaufen möchte.

Der alte Weg: Sie sagen dem Verkäufer: „Ich möchte ein Auto, das exakt 30.000 $ kostet und exakt 30 Meilen pro Gallone verbraucht.“ Er zeigt Ihnen ein einziges Auto. Wenn Sie Ihre Meinung später ändern, müssen Sie von vorne anfangen.
Der CRAFT-Weg: CRAFT sagt: „Zeigen Sie mir alle Autos, die der bestmögliche Deal sind.“ Es erstellt eine Liste von Optionen:
- Option A: Super schnell, aber teuer.
- Option B: Super günstig, aber ein bisschen langsam.
- Option C: Eine großartige Balance aus beidem.
- Option D: Ein seltsamer Mix, der Geld spart, aber überraschend schnell ist.

CRAFT zwingt Sie nicht dazu, sich vorab für eine Balance zu entscheiden. Es findet die gesamte „Pareto-Front“ – ein schicker Begriff für die bestmöglichen Kompromisse, bei denen man nicht besser werden kann, ohne mehr zu bezahlen, oder günstiger werden kann, ohne schlechter zu werden.

Wie CRAFT funktioniert (Die Küchen-Analogie)

CRAFT betreibt eine Küche mit zwei Köchen, die am selben Rezept arbeiten, aber unterschiedliche Ziele verfolgen:

Der „Refiner“-Koch (Der Perfektionist): Dieser Kochs einzige Aufgabe ist es, das Gericht köstlich zu machen. Er fügt immer wieder Gewürze hinzu, präzisiert die Anweisungen und macht das Rezept länger und detaillierter. Ihm ist der Preis der Zutaten egal.
Der „Condenser“-Koch (Der Minimalist): Dieser Kochs einzige Aufgabe ist es, das Rezept kürzer und billiger zu machen. Er streicht unnötiges Beiwerk, entfernt redundante Schritte und vereinfacht die Sprache. Ihm ist es egal, ob das Gericht etwas an Geschmack verliert, solrem es noch essbar ist.

Die Verkostung (Der Auswahlprozess):
In jeder Runde erstellen diese beiden Köche neue Versionen des Rezepts. Aber hier ist der Haken: Das Essen zu probieren, kostet Geld (es erfordert den Aufruf des teuren Roboters). Man kann nicht jede einzelne Version probieren.

Deshalb nutzt CRAFT eine kluge Strategie, um zu entscheiden, was verkostet wird:

Es schaut sich das bisherige „Menü“ der Rezepte an.
Es fragt sich: „Welches dieser neuen Rezepte hat die beste Chance, eine neue Top-Option zu sein?“
Es wählt diejenigen aus, die entweder sehr wahrscheinlich köstlich sind (hohe Genauigkeit), oder sehr wahrscheinlich günstig sind, oder solche, die eine Lücke im Menü füllen, wo bisher keine gute Option existierte.

Das fertige Menü:
Am Ende des Prozesses gibt CRAFT Ihnen nicht nur ein einzelnes Rezept. Es liefert Ihnen eine verstreute Auswahl an Optionen.

Wenn Sie ein großes Budget haben, wählen Sie das „Perfektionisten“-Rezept.
Wenn Sie ein knappes Budget haben, wählen Sie das „Minimalisten“-Rezept.
Wenn Sie eine Balance wollen, wählen Sie eines aus der Mitte.

Warum das wichtig ist

Das Paper hat dies bei sechs verschiedenen Aufgaben getestet (wie etwa das Sortieren von E-Mails, das Lösen von Logikrätseln oder das Erkennen von Fehlern). Sie haben CRAFT mit folgenden Methoden verglichen:

Genauigkeits-orientierten Methoden (die lange, teure Prompts erstellten).
Kosten-orientierten Methoden (die kurze, verwirrende Prompts erstellten).
Gewichtete Summen-Methoden (die versuchten, einen Mittelweg zu finden, aber in einer engen Nische stecken blieben).

Das Ergebnis:
CRAFT war die einzige Methode, die erfolgreich sowohl die hochgenauen, teuren Optionen als auch die kostengünstigen, akzeptabel genauen Optionen fand. Es blieb nicht in der Mitte stecken. Es gab dem Nutzer die Freiheit, den richtigen Kompromiss erst nach Abschluss der Suche zu wählen, anstatt den Kompromiss schon vor Beginn der Suche erraten zu müssen.

Kurz gesagt: CRAFT verhindert, dass Sie den Preis für ein perfektes Essen erraten müssen, bevor Sie überhaupt die Speisekarte sehen. Stattdessen bereitet es das gesamte Menü der besten Angebote zu, damit Sie wählen können, was zu Ihrem Geldbeutel und Ihrem Hunger passt.

Technisches Resümee: CRAFT (Cost-aware Refinement And Front-aware Tuning of Prompts)

1. Problemformulierung

Das Paper adressiert das Problem der Multi-Ziel-Optimierung, das bei der Abstimmung von natürlichen Sprach-Prompts für Large Language Models (LLMs) inhärent ist. Während längere, strukturierte Prompts oft eine höhere Aufgabengenauigkeit (Accuracy) erzielen, verursachen sie bei jedem Modellaufruf höhere Inferenzkosten (Token-Anzahl). Umgekehrt reduziert eine aggressive Komprimierung die Kosten, birgt aber das Risiko einer Verschlechterung der Leistung.

Die Autoren argumentieren, dass die Optimierung auf ein einzelnes Ziel (Genauigkeit oder Kosten) oder deren Zusammenfassung in eine feste gewichtete Summe (Skalarisierung) suboptimal ist. Solche Ansätze scheitern oft daran, die vollständige Pareto-Front zu rekonstruieren – also die Menge an Prompts, bei denen kein anderer Prompt sowohl genauer als auch kürzer ist. Das Paper identifiziert einen spezifischen Ausfallmodus namens Skalarisierungs-Kollaps (scalarization collapse), bei dem Strategien mit festen Gewichten nur eine schmale Region der Trade-off-Oberfläche rekonstruieren und je nach gewähltem Gewicht die Extreme von hoher Genauigkeit/niedrigen Kosten oder niedriger Genauigkeit/hohen Kosten verpassen. Darüber hinaus machen die diskrete Natur des Prompt-Raums und die nicht-konvexe Beziehung zwischen Prompt-Text, Genauigkeit und Kosten eine feste Skalar-Belohnung unzureichend.

Die Kernherausforderung besteht darin, dass die Evaluierung der wahren Genauigkeit eines Kandidaten-Prompts teure Validierungsaufrufe am Ziel-LLM erfordert. Da der Optimizer unter einem festen Budget dieser Aufrufe pro Runde arbeitet, muss er entscheiden, welche Kandidaten evaluiert werden sollen, ohne deren wahre Position auf der Pareto-Front zu kennen.

2. Methodik: Das CRAFT-Framework

CRAFT (Cost-aware Refinement And Front-aware Tuning) ist ein Pareto-Front-Prompt-Optimizer, der Validierungsaufrufe am Ziel-LLM als knappe Ressource behandelt. Es operiert in iterativen Runden, wobei es eine Population von Prompts unterhält und diese umgestaltet, um die Genauigkeits-Kosten-Pareto-Front zu approximieren.

2.1 Komponenten des Kern-Loops

Jede Runde besteht aus drei distinkten Schritten:

Kandidatengenerierung (Refiner und Condenser):
- CRAFT setzt zwei komplementäre Generatoren mit gegensätzlichen Biases ein, um Änderungen an der aktuellen Population vorzuschlagen.
- Refiner (Genauigkeitsorientiert): Verwendet einen struktur-bewussten Optimizer (standardmäßig SCULPT), um Prompts in hierarchische Bäume zu zerlegen und Edits (Umordnung, Ausarbeitung, Klärung) anzuwenden, um die Aufgaben-Genauigkeit zu maximieren.
- Condenser (Kostenorientiert): Verwendet einen struktur-bewussten Kompressor (namens DISTILL), um den zerlegten Prompt-Baum durch Löschen redundanter Knoten oder Zusammenführen von Abschnitten zu bearbeiten, mit dem Ziel, die Token-Anzahl zu senken und gleichzeitig aufgabenkritische Instruktionen zu bewahren.
- Diese duale Generierungsstrategie stellt sicher, dass der Kandidatenpool beide Enden des Trade-off-Spektrums exploriert.
Pareto-Gap-Akquisition (Validierungsallokation):
- Anstatt alle Kandidaten zu bewerten oder einen skalaren Score zu verwenden, alloziert CRAFT das pro Runde verfügbare Validierungsbudget an Kandidaten, die wahrscheinlich die aktuelle Front-Approximation verbessern.
- Es berechnet einen Upper Confidence Bound (UCB) Score ( $p^+ = \mu + \beta\sigma$ ) für jeden Kandidaten basierend auf der partiellen Validierungshistorie, um zwischen Exploration (hohe Unsicherheit) und Exploitation (hoher Mittelwert) abzuwägen.
- Diese optimistischen Scores werden mit normalisierten Kosten kombiniert, um eine optimistische Kandidaten-Front ( $F^+_t$ ) zu bilden.
- Der Pareto-Gap ( $g_i$ ) wird als Manhattan-Distanz von einem Kandidaten zur nächsten Punkt auf dieser optimistischen Front berechnet. Kandidaten mit kleineren Gaps (diejenigen, die der Front am nächsten liegen oder darauf liegen) werden priorisiert für die vollständige Validierung. Dies stellt sicher, dass das Budget für Kandidaten aufgewendet wird, die die bekannte Front erweitern können.
NSGA-II Retention (Populationsselektion):
- Nach der Validierung behält der Selektor eine Population der Größe $k$ für die nächste Runde.
- Er verwendet die Logik des Non-dominated Sorting Genetic Algorithm II (NSGA-II), um Kandidaten in nicht-dominierte Fronten ( $F_1, F_2, \dots$ ) zu partitionieren.
- Um Diversität zu gewährleisten, wird, falls die Grenzfront teilweise ausgewählt werden muss, um die Population zu füllen, eine Maximin-Spread-Regel angewendet. Diese wählt iterativ Kandidaten aus, die die minimale euklidische Distanz zu bereits ausgewählten Kandidaten im normalisierten Genauigkeits-Kosten-Raum maximieren, wodurch sichergestellt wird, dass die behaltene Population die Trade-off-Oberfläche gleichmäßig abdeckt, anstatt in einer Region zu clustern.

3. Kernbeiträge

Formalisierung: Das Paper formalisiert die kostenbewusste Prompt-Optimierung als budgetiertes Pareto-Front-Suchverfahren über Genauigkeit und Prompt-Token-Kosten und modelliert explizit die Beschränkung, dass Validierungsaufrufe am Ziel-LLM bestimmen, welche Trade-offs beobachtet werden können.
CRAFT-Framework: Es schlägt einen front-bewussten Optimierung-Loop vor, der die Kandidatengenerierung von der Validierungsallokation entkoppelt. Zu den zentralen Innovationen gehören:
- Komplementäre genauigkeitsorientierte und kostenorientierte Generatoren.
- Pareto-Gap-Akquisition zur optimistischen Allokation des Validierungsbudgets.
- NSGA-II Retention zur Aufrechterhaltung einer diversen, weit gestreuten Population.
Empirische Evidenz: Die Autoren zeigen, dass Standard-Baselines (nur Genauigkeit, nur Kosten und gewichtete Summen-Skalarisierung) unter Skalarisierungs-Kollaps leiden und sich in engen Regionen der Front konzentrieren. Im Gegensatz dazu gelingt es CRAFT, über beide Enden der Pareto-Front hinweg praktikable Prompts zu erhalten.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CRAFT auf sechs englischen Klassifikations- und Reasoning-Benchmarks: BeaverTails, GoEmotions und vier BIG-Bench Hard Tasks (DisambiguationQA, Causal Judgement, Formal Fallacies, Salient Translation).

Leistung: CRAFT erreichte den höchsten Composite Rank über alle Metriken hinweg (Front-Qualität, Score und Kosten). Obwohl es nicht jede einzelne Metrik gewann (z. B. erreichten kostenorientierte Baselines manchmal niedrigere Token-Zahlen), war es die einzige Methode, die konsistent beide Enden der Pareto-Front abdeckte.
Baselines:
- Single-Axis-Baselines (SCULPT für Genauigkeit, DISTILL/LLMLingua für Kosten) glänzten in ihrem jeweiligen Fachbereich, versagten jedoch auf der jeweils anderen Seite.
- Gewichtete Summen-Baselines (WPRO) kollabierten in schmale Regionen, die durch ihre festen Gewichte bestimmt wurden, und scheiterten daran, die vollständige Trade-off-Oberfläche zu erfassen.
Ablationen: Das Entfernen entweder des Refiners oder des Condensers verschlechterte die Leistung, was bestätigt, dass beide Module notwendig sind, um die erforderliche Diversität für die Front-Erweiterung bereitzustellen.
Cross-LLM Transfer: Die Gewinne von CRAFT waren robust über verschiedene Optimizer-LLMs hinweg (GPT-5.5, GPT-5.4, DeepSeek, Kimi), was zeigt, dass das Framework nicht an ein spezifisches Optimizer-Modell gebunden ist.
Effizienz: Die Methode erreichte Plateaus in der Leistung nach etwa 8 Optimierungsrunden, was auf eine effiziente Nutzung des Validierungsbudgets hindeutet.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass der Genauigkeits-Kosten-Trade-off im Prompt Engineering als eine Post-Search-Entscheidung und nicht als eine Pre-Search-Gewichtung behandelt werden sollte. Durch die direkte Optimierung der Pareto-Front ermöglicht CRAFT Praktikern, den optimalen Prompt für ein spezifisches Deployment-Budget erst nach Abschluss der Suche auszuwählen, anstatt gezwungen zu sein, die korrekte Gewichtung im Voraus zu erraten.

Die Autoren positionieren CRAFT als Lösung für das Problem des "Skalarisierungs-Kollapses" und bieten einen zuverlässigeren Ansatz für Szenarien, in denen das optimale Gleichgewicht zwischen Genauigkeit und Kosten unbekannt ist oder je nach Deployment-Kontext variiert.

6. Limitationen

Das Paper räumt mehrere Limitationen ein:

Umfang: Die Evaluierung beschränkt sich auf englische Klassifikation und kurze Antwort-Reasoning. Die Generalisierbarkeit auf Open-Ended Generation (Zusammenfassung, Code, Dialog) oder mehrsprachige Settings ist ungetestet.
Modellfamilien: Die Experimente verwendeten primär OpenAI-Modelle (GPT-5 Familie) als Targets. Die Evaluierung auf Nicht-OpenAI-Targets (z. B. Claude, Gemini, Llama, Qwen) bleibt zukünftige Arbeit.
Initial-Prompts: Die Methode setzt einen minimal aufgabenrelevanten Initial-Prompt voraus; das Verhalten unter schwachen oder adversen Initial-Prompts ist ungeklärt.
Generatoren: Die Studie verwendete einen spezifischen Satz von Generatoren (SCULPT, DISTILL, OPRO, EvoPrompt). Obwohl das Framework modular ist, wurde die Performance alternativer Generatortypen (z. B. geschichtsbewusste Kompressoren) nicht vollständig untersucht.