🤖 machine learning

MO-CAPO: Multi-Objective Cost-Aware Prompt Optimization

MO-CAPO ist ein neuartiger multi-objektiver Prompt-Optimierungsalgorithmus, der die Leistung von großen Sprachmodellen und die Inferenzkosten durch effiziente Budgetallokation gemeinsam optimiert, indem er diverse und robuste Leistungs-Kosten-Abwägungen entdeckt und dabei die Kosteneffizienz beibehält, wodurch er bestehende Methoden übertrifft.

Ursprüngliche Autoren: Jan Büssing, Moritz Schlager, Timo Heiß, Tom Zehle, Matthias Feurer

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jan Büssing, Moritz Schlager, Timo Heiß, Tom Zehle, Matthias Feurer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, aber teuren Roboterassistenten (ein Large Language Model oder LLM). Sie möchten, dass er eine bestimmte Aufgabe erledigt, wie etwa das Schreiben einer Geschichte oder das Lösen eines Matheproblems. Um den Roboter zu seinem Besten zu bewegen, müssen Sie ihm eine Reihe von Anweisungen geben, die als „Prompt" bezeichnet werden.

Das Problem ist, dass das manuelle Schreiben des perfekten Prompts wie der Versuch ist, die Gewinnzahlen des Lottos zu erraten: Es ist schwierig, zeitaufwendig und oft unzuverlässig. Außerdem verlangt der Roboter für jedes gelesene Wort (Eingabe) und jedes geschriebene Wort (Ausgabe) Geld. Wenn Ihr Prompt zu lang ist oder den Roboter zu viel Nachdenken erfordert, steigt Ihre Rechnung.

Der alte Weg: „Mehr ist besser"

Früher versuchten Forscher, dieses Problem zu lösen, indem sie automatische Werkzeuge zum Schreiben besserer Prompts entwickelten. Diese Werkzeuge hatten jedoch einen wesentlichen Blindspot: Sie kümmerten sich nur darum, wie gut der Roboter performte. Ihnen war nicht wichtig, wie viel es kostete.

Das war wie die Einstellung eines Lieferfahrers, dem nur daran liegt, das Paket schnell zu bringen, dem aber egal ist, ob er eine Umfahrt nimmt, die zusätzlichen Benzinverbrauch verursacht. Sie erhalten vielleicht einen großartigen Prompt, aber er könnte so teuer im Betrieb sein, dass er für den realen Einsatz unbrauchbar ist.

Andere Forscher versuchten, Leistung und Kosten mit einem „Küchenwaschbecken"-Ansatz (ein Algorithmus namens NSGA-II) auszubalancieren. Sie warfen alles an die Wand, um zu sehen, was hängen bleibt. Doch dies war langsam und verschwenderisch, wie der Versuch, das beste Rezept zu finden, indem man jedes denkbare Gericht der Welt zubereitet, sogar die eindeutig schlechten, bevor man weitermacht.

Die neue Lösung: MO-CAPO

Die Autoren dieses Papers stellen MO-CAPO vor (Multi-Objective Cost-Aware Prompt Optimization). Betrachten Sie MO-CAPO als einen klugen, budgetbewussten Koch, der versucht, das perfekte Menü zu finden.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Die zwei Ziele (Leistung vs. Kosten)
Anstatt nur nach dem „besten" Gericht zu suchen, sucht MO-CAPO nach den besten Kompromissen.

Ziel A: Das Gericht schmeckt fantastisch (Hohe Leistung).
Ziel B: Die Lebensmittelrechnung bleibt niedrig (Niedrige Kosten).
MO-CAPO gibt Ihnen nicht nur eine Antwort. Es bietet Ihnen ein Menü an Optionen:
Option 1: Ein billiges, einfaches Gericht, das zu 80 % so gut schmeckt wie das beste.
Option 2: Ein etwas teureres Gericht, das zu 90 % so gut schmeckt.
Option 3: Das teuerste, Gourmet-Gericht, das zu 100 % so gut schmeckt.
Dies ermöglicht es einem Benutzer, die Option zu wählen, die zu seinem spezifischen Budget und seinen Bedürfnissen passt.

2. Der „Racing"-Mechanismus (Geld sparen)
Die größte Innovation ist, wie MO-CAPO während der Suche nach diesen Prompts Geld spart.
Stellen Sie sich vor, Sie testen 100 neue Rezepte. Eine traditionelle Methode würde jedes einzelne von Anfang bis Ende kochen, um zu sehen, welches das beste ist. Das verschwendet viel Gas und Zutaten.
MO-CAPO verwendet eine „Racing"-Strategie:

Es beginnt, alle 100 Rezepte zu kochen, aber nur für ein paar Minuten.
Wenn ein Rezept nach 5 Minuten eindeutig schlecht schmeckt, hört es sofort auf, es zu kochen, und wirft es weg.
Es gibt nur die volle Zeit und das volle Geld für die Rezepte aus, die vielversprechend aussehen.
Das bedeutet, dass MO-CAPO viel schneller und mit weit weniger Geld gute Lösungen findet als die alten Methoden.

3. Jedes Token zählen (Tatsächliche Kosten)
Alte Methoden zählten oft nur, wie lang die Anweisung war (wie das Zählen der Wörter in einem Brief). MO-CAPO ist intelligenter. Es weiß, dass in der Welt der KI das, was der Roboter schreibt, mehr kostet als das, was Sie ihm zum Lesen geben.

Lesen (Eingabe): Wie das Hören eines Podcasts. Es ist relativ günstig.
Schreiben (Ausgabe): Wie das Tippen eines langen Aufsatzes durch den Roboter. Das ist teuer.
MO-CAPO berechnet die Kosten basierend auf beidem und stellt sicher, dass die finalen Prompts für den realen Einsatz wirklich kosteneffektiv sind.

Die Ergebnisse: Was sie fanden

Die Forscher testeten MO-CAPO an drei verschiedenen „Robotern" (KI-Modellen) und vier verschiedenen Aufgaben (wie Mathematik, Nachrichtenklassifizierung und Programmieren).

Bessere Effizienz: MO-CAPO fand hochwertige Lösungen mit viel weniger Geld als die alte „Küchenwaschbecken"-Methode. In einigen Fällen erreichte es die gleiche Qualität mit nur einem Bruchteil des Budgets.
Mehr Auswahl: Im Gegensatz zu Werkzeugen mit einem einzigen Ziel, die Ihnen nur einen „besten" Prompt geben, bot MO-CAPO ihnen ein ganzes Spektrum an Möglichkeiten. Sie konnten genau sehen, wie viel zusätzliches Geld Sie ausgeben müssten, um ein wenig mehr Genauigkeit zu erhalten.
Genau so gut: Obwohl MO-CAPO darauf fokussiert war, Geld zu sparen, waren die „besten" Prompts, die es fand, genauso gut wie die, die von den teuren Werkzeugen mit einem einzigen Ziel gefunden wurden. Es opferte keine Qualität, um Kosten zu sparen; es fand einfach die Sweet Spots.

Das Fazit

MO-CAPO ist ein Werkzeug, das Menschen hilft, KI intelligenter einzusetzen. Es beendet den Ansatz „alles an die Wand werfen" und ersetzt ihn durch eine strategische, budgetbewusste Suche. Es bietet Benutzern eine Pareto-Front – ein ausgefallener Begriff für ein „Menü an Kompromissen" –, damit sie die perfekte Balance zwischen einem großartigen Ergebnis und einem glücklichen Geldbeutel wählen können.

Technische Zusammenfassung: MO-CAPO: Multi-Objective Cost-Aware Prompt Optimization

1. Problemstellung

Large Language Models (LLMs) zeigen starke Leistungen bei vielfältigen Aufgaben, bleiben jedoch hochsensibel gegenüber dem Prompt-Design, was eine automatische Prompt-Optimierung erforderlich macht. Während bestehende Methoden sich primär auf die Maximierung der Leistung konzentrieren, ignorieren sie häufig konkurrierende Ziele wie Inferenzkosten und Latenz. Darüber hinaus ist der Optimierungsprozess selbst kostspielig und erfordert zahlreiche LLM-Aufrufe.

Aktuelle Ansätze stehen vor zwei Hauptbeschränkungen:

Fokus auf einzelne Ziele: Die meisten Optimierer (z. B. CAPO, GEPA) optimieren ausschließlich die Leistung oder verwenden eine Skalarisierung mit einem fest vorgegebenen, vorab gewählten Trade-off-Gewicht, um die Prompt-Länge zu bestrafen. Dieser Ansatz erfasst das gesamte Spektrum der Leistung-Kosten-Trade-offs nicht vollständig und erfordert, dass Benutzer Gewichte manuell anpassen, was nicht trivial ist.
Ineffiziente Multi-Objective-Methoden: Bestehende Multi-Objective-Prompt-Optimierer verlassen sich typischerweise auf Standardalgorithmen wie NSGA-II. Diese Methoden sind in ihren Optimierungsverfahren oft nicht kosteneffizient, da sie Kandidaten auf vollständigen Datensätzen bewerten, ohne Mechanismen zu haben, vielversprechende Lösungen frühzeitig auszuschließen. Zudem verwenden sie häufig die Prompt-Länge als Proxy für Kosten und ignorieren die unterschiedlichen Rechenprofile von Eingabe- versus Ausgabetokens in modernen LLMs (wobei die Generierung von Ausgabetokens deutlich teurer ist).

Das Kernproblem besteht darin, einen Prompt-Optimierungsalgorithmus zu entwickeln, der Leistung und Inferenzkosten gemeinsam optimiert, eine vielfältige Menge pareto-optimaler Lösungen (die Pareto-Front) entdeckt und dies unter einem begrenzten Evaluierungsbudget effizient tut.

2. Methodik: MO-CAPO

Die Autoren schlagen MO-CAPO (Multi-Objective Cost-Aware Prompt Optimization) vor, einen Algorithmus, der die evolutionäre Strategie von CAPO erweitert, um mehrere Ziele explizit zu behandeln, während er Budget-Allokationsmechanismen integriert.

2.1 Kostenziel

MO-CAPO führt ein deploymentsorientiertes Kostenziel ein, das das vollständige Rechenprofil der LLM-Inferenz berücksichtigt. Im Gegensatz zu früheren Methoden, die nur die Prompt-Länge bestrafen, definiert MO-CAPO Kosten als gewichtete Summe aus Eingabe- und Ausgabetokens:
$c_\Phi(p, x) = w_{in} \cdot tok_{in}(p; x) + w_{out} \cdot tok_{out}(p; x)$
Wobei $w_{in}$ und $w_{out}$ modellspezifische Gewichte sind, die aus API-Preisen oder Latenzmetriken abgeleitet werden. Diese Formulierung spiegelt die Realität wider, dass Ausgabetokens aufgrund der sequenziellen autoregressiven Dekodierung typischerweise teurer sind.

2.2 Algorithmischer Rahmen

MO-CAPO arbeitet als genetischer Algorithmus mit einer Population von Prompts, die aus Anweisungen und Few-Shot-Beispielen bestehen. Es integriert Konzepte aus NSGA-II und der Multi-Objective-automatischen Algorithmus-Konfigurationsmethode MO-SMAC.

Inzumbentenmenge und Population: Der Algorithmus unterhält eine Population ( $P_\mu$ ) und eine dedizierte Inzumbentenmenge ( $P_{inc}$ ), die die aktuelle Annäherung an die Pareto-Front darstellt.
Elternauswahl: Im Gegensatz zur zufälligen Auswahl bei CAPO verwendet MO-CAPO eine binäre Turnierausswahl, die an heterogene Evaluierungsniveaus angepasst ist. Sie bevorzugt Inzumbenten (Lösungen auf der Pareto-Front) und verwendet den Crowding-Distance (CD)-Wert, um die Vielfalt zu erhalten. Für Nicht-Inzumbenten mit unterschiedlichen Evaluierungsniveaus wird ein schwächeres Dominanzkriterium angewendet, um einen fairen Vergleich zu gewährleisten.
Intensivierung (Budget-Allokation): Dies ist der Kernmechanismus für Effizienz. Anstatt jeden Kandidaten auf dem gesamten Entwicklungssatz zu bewerten, werden Herausforderer progressiv auf Datenblöcken evaluiert.
- Ein Herausforderer wird mit dem nächsten Inzumbenten im Zielraum verglichen.
- Wenn der Herausforderer vom Inzumbenten auf dem bisher evaluierten Teil des Datensatzes dominiert wird, wird seine Evaluierung vorzeitig beendet („abgelehnt"), was Budget spart.
- Überlebt er, wird er auf weiteren Blöcken evaluiert, bis er entweder einen Inzumbenten dominiert oder die Evaluierung auf allen gemeinsamen Blöcken abgeschlossen hat.
- Überlebende Herausforderer werden zur Population und potenziell zur Inzumbentenmenge hinzugefügt.
Umweltauswahl: Um die Populationsgröße zu erhalten, werden dominierte Kandidaten entfernt. Wenn Kandidaten heterogene Evaluierungsniveaus aufweisen, werden diejenigen mit weniger Evaluierungen zuerst verworfen, um Verzerrungen zu verhindern.

3. Hauptbeiträge

Die Arbeit skizziert vier primäre Beiträge:

MO-CAPO-Algorithmus: Ein neuartiger Multi-Objective-Prompt-Optimierungsalgorithmus, der vollständige Annäherungen an die Pareto-Front entdeckt, die Leistung und Inferenzkosten ausbalancieren, und dies durch einen Intensivierungsmechanismus kosteneffizient tut.
Realistisches Kostenziel: Eine neue Zielfunktion, die Eingabe- und Ausgabetokens separat gewichtet und ein realistisches Maß für Deploymentskosten moderner LLMs bietet, das über einfache Prompt-Längen-Proxy-Maße hinausgeht.
Strenge Evaluierungsprotokolle: Die erste groß angelegte Evaluierung der Multi-Objective-Prompt-Optimierung, die Generalisierung und Robustheit unter Verwendung folgender Metriken berücksichtigt:
- Noisy R2 (nR2): Misst die Selektionsrobustheit, indem die Benutzerpräferenzselektion auf dem Entwicklungssatz simuliert und auf dem Testsatz evaluiert wird.
- Approximationslücke: Quantifiziert den Unterschied zwischen optimistischen (auf dem Testsatz nicht-dominierten) und pessimistischen (auf dem Entwicklungssatz nicht-dominierten) Pareto-Fronten.
- Empirische Erreichungsflächen (EAS): Visualisiert die Leistungsstabilität über mehrere Durchläufe hinweg.
Umfassendes Benchmarking: Ein Vergleich mit state-of-the-art Single-Objective-Optimierern (CAPO, GEPA, EvoPromptGA) und einer auf NSGA-II basierenden Baseline über drei LLMs und vier Aufgaben, der eine Überlegenheit in Multi-Objective-Metriken und Effizienz demonstriert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten MO-CAPO auf drei LLMs (GPT-OSS-120B, Qwen3-30B, Mistral-3.2-24B) und vier Aufgaben (AG News, GSM8K, Subj, MBPP) mit einem Token-Budget von 7,5 Millionen.

Multi-Objective-Leistung: MO-CAPO schnitt in 8 von 12 Modell-Datensatz-Kombinationen bezüglich der noisy-R2-Metrik besser ab als die auf NSGA-II basierende Baseline. Es identifizierte konsistent starke, robuste und diverse Annäherungen an die Pareto-Front.
Effizienz: MO-CAPO zeigte eine signifikant höhere Effizienz. Es fand wettbewerbsfähige Lösungsmengen bei deutlich niedrigeren Budgets (oft weniger als 1/3 des Budgets erforderlich, um 80 % der finalen Leistung zu erreichen) im Vergleich zu NSGA-II-PO. Der Intensivierungsmechanismus ermöglichte es MO-CAPO, bis zu 5,7-mal mehr Kandidaten als die Baseline zu evaluieren.
Vielfalt der Lösungen: Die entdeckten Lösungsmengen umfassten diverse Leistung-Kosten-Trade-offs, einschließlich kostengünstiger Lösungen, die von Single-Objective-Optimierern ausgelassen wurden, sowie Hochleistungs-Lösungen. Die Prompts variierten in Anweisungsdetailgrad, Anzahl der Few-Shot-Beispiele und Verhältnissen von Eingabe- zu Ausgabetokens.
Wettbewerbsfähigkeit mit Single-Objective-Methoden: Trotz der Optimierung für Kosten blieben die von MO-CAPO gefundenen Top-Leistungskandidaten mit state-of-the-art Single-Objective-Optimierern wettbewerbsfähig. In Bezug auf Genauigkeitsrangfolgen war MO-CAPO in vielen Settings statistisch nicht von CAPO und GEPA unterscheidbar und schnitt EvoPrompt sowie initiale Anweisungen signifikant ab.
Ablationsstudien:
- Intensivierung: Das Entfernen dieses Mechanismus (Rückkehr zu NSGA-II-PO) führte zu einer langsameren Konvergenz und einem höheren Token-Verbrauch.
- Kostengewichte: Das Eingabetoken-Gewicht ( $w_{in}$ ) wurde als dominanter Treiber zur Kontrolle der Prompt-Kosten identifiziert. Das Entfernen führte zu einem dramatischen Anstieg der Eingabetoken-Nutzung und einer Verschlechterung der Optimierungsqualität (nR2).

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass MO-CAPO Praktikern ermöglicht, aus einer effizient entdeckten Menge mehrerer Prompts auszuwählen, die unterschiedliche Trade-offs zwischen Leistung und Kosten bieten, anstatt in eine einzelne Lösung oder eine manuell abgestimmte Skalarisierung gezwungen zu werden.

Zu den wichtigsten Behauptungen bezüglich der Bedeutung gehören:

Effizienz: Die Integration der Multi-Objective-Budget-Allokation (Intensivierung) in die evolutionäre Prompt-Optimierung ermöglicht die Entdeckung robuster Pareto-Fronten unter engen Rechenbudgets.
Realismus: Durch die explizite Modellierung der Kosten für Eingabe- und Ausgabetokens bietet die Methode eine genauere Darstellung der realen Deploymentskosten als längenbasierte Proxy-Maße.
Robustheit: Die Verwendung von Approximationslücken und noisy-R2-Metriken liefert eine realistischere Bewertung der Lösungsqualität, die Generalisierungsfehler und stochastische Variabilität berücksichtigt, die oft durch Standardmetriken wie Hypervolume maskiert werden.
Praktischer Nutzen: Die Methode bietet eine vielfältige Menge an brauchbaren kostengünstigen Alternativen, die von rein leistungsorientierten Methoden ignoriert werden, und adressiert die praktische Realität, dass marginale Genauigkeitsgewinne oft keine substantiellen Erhöhungen der Inferenzkosten rechtfertigen.

Die Autoren positionieren diese Arbeit als die erste gründliche Evaluierung der Multi-Objective-Optimierung für maschinelles Lernen, die vorläufige Methodologien auf die Prompt-Optimierung erweitert und die Notwendigkeit robuster, generalisierungsorientierter Metriken in diesem Bereich betont.