🤖 machine learning

Efficient Multi-objective Prompt Optimization via Pure-exploration Bandits

Dieser Beitrag adressiert die vielschichtige Natur der Prompt-Leistung, indem er die Prompt-Auswahl als ein Multi-Objective-Pure-Exploration-Bandit-Problem formuliert und neuartige Algorithmen zur Wiederherstellung der Pareto-Menge sowie zur Identifizierung des besten zulässigen Prompts vorschlägt, die theoretisch garantiert und empirisch validiert sind, um bestehende Baselines über mehrere große Sprachmodelle hinweg zu übertreffen.

Ursprüngliche Autoren: Donghao Li, Chengshuai Shi, Weijuan Ou, Cong Shen, Jing Yang

Veröffentlicht 2026-05-15

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Donghao Li, Chengshuai Shi, Weijuan Ou, Cong Shen, Jing Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Koch, der versucht, das perfekte Rezept für ein neues Gericht zu finden. Sie haben ein riesiges Kochbuch mit Tausenden potenzieller Rezepte (Prompts), aber nur eine begrenzte Menge an Zeit und Zutaten (ein „Budget"), um sie zu testen.

In der Welt der Large Language Models (LLMs) sind diese „Rezepte" die Anweisungen, die wir der KI geben. Das Problem ist, dass ein „gutes" Rezept nicht nur nach Geschmack (Genauigkeit) geht; es muss auch schnell zubereitet werden können (Kürze), gesund sein (Sicherheit) und günstig herzustellen sein (Kosten). Die meisten früheren Methoden versuchten, das beste Rezept zu finden, indem sie nur eine Sache betrachteten, wie den Geschmack. Im echten Leben müssen Sie jedoch oft Kompromisse ausbalancieren: Das schmackhafteste Gericht könnte zu lange zum Kochen brauchen, oder das schnellste könnte fade schmecken.

Diese Arbeit mit dem Titel „Efficient Multi-Objective Prompt Optimization via Pure-Exploration Bandits" schlägt einen intelligenteren Weg vor, um die besten Anweisungen für KI zu finden, wenn Sie gleichzeitig mehrere Ziele verfolgen müssen, während Ihnen die Zeit davonläuft.

Hier ist die Aufschlüsselung ihres Ansatzes mit einfachen Analogien:

1. Das Problem: Das Dilemma „Geschmack vs. Geschwindigkeit"

Die Autoren weisen darauf hin, dass die Bewertung eines KI-Prompts wie das Beurteilen eines Autos ist. Man kann nicht nur darauf schauen, wie schnell es fährt (Genauigkeit); man muss auch prüfen, wie viel Benzin es verbraucht (Kürze) oder ob es sicher ist (Randbedingungen).

Der alte Weg: Frühere Methoden versuchten, all diese Faktoren in eine einzige Punktzahl zu kombinieren (wie zu sagen: „Geschwindigkeit minus Kraftstoffkosten"). Dies übersieht oft die Nuancen. Manchmal möchte man das schnellste Auto, auch wenn es viel Benzin verbraucht, solange es nicht explodiert (Sicherheitsrandbedingung).
Das neue Ziel: Die Arbeit möchte zwei spezifische Dinge finden:
1. Der beste machbare Prompt: Das absolut beste Rezept, das trotzdem eine strenge Sicherheits- oder Geschwindigkeitsgrenze einhält (z. B. „Finden Sie das schmackhafteste Gericht, das unter 10 Minuten dauert").
2. Die Pareto-Menge: Eine Speisekarte der „bestmöglichen Kompromisse". Dies sind Rezepte, bei denen man eine Sache (Geschmack) nicht verbessern kann, ohne eine andere Sache (Geschwindigkeit) zu verschlechtern. Es ist eine Liste der Top-Kandidaten, die das beste Gleichgewicht darstellen.

2. Die Lösung: Die „Degustationsmenü"-Strategie (Bandits)

Die Autoren behandeln dieses Problem wie eine Spielshow namens „Multi-Armed Bandit". Stellen Sie sich eine Reihe von Spielautomaten (die Prompts) vor. Sie haben eine begrenzte Anzahl an Münzen (das Budget), um die Hebel zu ziehen. Sie wollen den besten Automaten finden, ohne alle Ihre Münzen an die Verlierer zu verschwenden.

Sie stellen zwei neue Algorithmen vor, um dieses Spiel zu managen:

A. GENSEC: Das „Eliminationsspiel" für Randbedingungen

Stellen Sie sich dies als Turnierbaum zur Suche nach dem besten machbaren Prompt vor.

Funktionsweise: Sie beginnen mit allen 100 Rezepten. Sie probieren jeweils ein paar davon.
Der Twist: In jeder Runde werfen Sie sofort die Rezepte weg, die eindeutig zu langsam sind (Verletzung der Randbedingung) oder eindeutig schlechter schmecken als der aktuelle Anführer.
Die Magie: Anstatt jedes Rezept als völlig einzigartiges, unzusammenhängendes Item zu behandeln, bemerkt dieser Algorithmus, dass Rezepte oft „Zutaten" (Merkmale) teilen. Wenn Rezept A und Rezept B beide „Knoblauch" verwenden und Sie aus Rezept A etwas über Knoblauch lernen, können Sie etwas über Rezept B vermuten. Dies ermöglicht ihnen, schneller zu lernen, wie ein Koch, der weiß, dass, wenn ein knallheller Knoblauchgericht zu salzig ist, ein anderes knallhelles Knoblauchgericht wahrscheinlich auch zu salzig sein wird.
Ergebnis: Sie stellten fest, dass diese Methode 80–90% des potenziellen „perfekten" Scores wiederherstellt, während alte Methoden (nur zufälliges Probieren) nur 20–50% erreichten.

B. GENPSI: Der „Kartenmacher" für Kompromisse

Dieser Algorithmus ist darauf ausgelegt, die Pareto-Menge (die Speisekarte der besten Kompromisse) zu finden.

Funktionsweise: Anstatt nach einem Gewinner zu suchen, versucht er, die „Grenze" der Möglichkeiten zu kartieren. Er fragt: „Welche Rezepte sind so gut, dass man eine Metrik nicht verbessern kann, ohne eine andere zu verletzen?"
Die Strategie: Er verwendet einen ähnlichen Eliminationsprozess, betrachtet aber die „Lücke" zwischen den Rezepten. Wenn ein Rezept eindeutig von einem anderen dominiert wird (in jeder Hinsicht schlechter), wird es gestrichen. Wenn es ein einzigartiger Kompromiss ist (große Geschwindigkeit, okayer Geschmack), bleibt er erhalten.
Ergebnis: Diese Methode stellte über 90% des „Hypervolumens" (eine ausgefallene Art zu sagen, die Gesamtfläche guter Kompromisse) im Vergleich zur Ground Truth wieder her, während Baseline-Methoden nur etwa 80% schafften.

3. Die „Geheimsauce": Lernen aus Verbindungen

Ein wesentlicher Teil ihres Erfolgs ist die Erkenntnis, dass Prompts nicht zufällig sind; sie sind miteinander verbunden.

Die Analogie: Stellen Sie sich vor, Sie testen 100 verschiedene Autos. Wenn Sie ein rotes Sportauto testen und feststellen, dass es schnell ist, müssen Sie nicht jedes rote Sportauto von Grund auf neu testen. Sie wissen, dass sie einen Motortyp teilen.
Der Ansatz der Arbeit: Sie verwenden eine „Feature-Karte" (wie ein Fingerabdruck für den Prompt), um diese Verbindungen zu sehen. Indem sie ein neuronales Netzwerk (MLP) verwenden, um diese gemeinsamen Muster zu verstehen, lernen ihre Algorithmen viel schneller als Methoden, die jeden Prompt als isolierte Insel behandeln.

4. Der Beweis: Der Küchentest

Die Autoren testeten dies in einer echten Küche (unter Verwendung echter KI-Modelle wie Llama-3 und Gemma) mit echten Rezepten (Zusammenfassen von Nachrichtenartikeln).

Das Setup: Sie mussten Nachrichten zusammenfassen (Genauigkeit), während sie die Zusammenfassung kurz hielten (Kürze).
Das Ergebnis: Ihre „Bandit"-Köche (GENSEC und GENPSI) fanden konsistent bessere, sicherere und ausgewogenere Prompts als der „Zufällige Tester" (Uniform) oder andere Standardmethoden, insbesondere wenn sie sehr wenig Zeit (Budget) zum Testen hatten.

Zusammenfassung

Kurz gesagt sagt diese Arbeit: „Hören Sie auf, zufällig zu raten und hören Sie auf, nur auf eine Zahl zu schauen."

Indem Sie die Prompt-Auswahl als strategisches Spiel behandeln, bei dem Sie schlechte Optionen früh eliminieren und aus den Ähnlichkeiten zwischen verschiedenen Prompts lernen, können Sie das perfekte Gleichgewicht zwischen Genauigkeit, Geschwindigkeit und Sicherheit viel schneller und mit weniger Versuchen finden. Es ist wie ein intelligenter Sous-Chef, der weiß, dass, wenn ein Gericht zu salzig ist, das nächste wahrscheinlich auch zu salzig sein wird, und Sie so davor bewahrt, jedes einzelne Gericht im Kochbuch zu probieren.

Technische Zusammenfassung: Effiziente Multi-Objective Prompt-Optimierung durch reine Explorations-Banditen

Problemformulierung

Prompt-Engineering ist zentral für die Nutzung von Large Language Models (LLMs), doch bestehende Methoden konzentrieren sich überwiegend auf die Optimierung eines einzelnen Ziels (z. B. Aufgabenkorrektheit). In realen Anwendungen ist die Leistung von Prompts inhärent vielschichtig und beinhaltet Zielkonflikte zwischen konkurrierenden Metriken wie Kohärenz, Treue, Flüssigkeit und Sicherheit. Ein einzelner Prompt dominiert selten über alle Dimensionen hinweg. Darüber hinaus ist die Prompt-Evaluierung kostspielig und erfordert ein begrenztes Budget an Abfragen an ein LLM.

Dieser Beitrag adressiert das Problem der Multi-Objective Prompt-Auswahl unter einem festen Evaluierungsbudget $B$ . Die Autoren formalisieren zwei spezifische Ziele:

Identifikation des besten zulässigen Prompts: Identifikation eines Prompts, der ein primäres Ziel (z. B. Korrektheit) maximiert, während er Einschränkungen bei anderen Zielen (z. B. Schwellenwerte für Sicherheit oder Kürze) erfüllt.
Identifikation der Pareto-Prompt-Menge: Wiederherstellung der Menge der nicht-dominierten Prompts (die Pareto-Front), die die optimalen Zielkonflikte zwischen allen Zielen repräsentieren.

Das Problem wird im Rahmen der Multi-Objective Bandits mit reiner Exploration formuliert. Die Menge der Kandidaten-Prompts $\mathcal{X}$ wird als Menge von Armen behandelt. Das Ziehen eines Arms entspricht der Evaluierung eines Prompts auf einem gesampelten Eingabewert, was einen stochastischen Belohnungsvektor liefert. Die Herausforderung besteht darin, den optimalen Arm (bzw. die optimalen Arme) angesichts der hohen Evaluierungskosten und der komplexen Struktur der Multi-Objective-Zielkonflikte effizient zu identifizieren.

Methodik

Die Autoren schlagen ein allgemeines Framework vor, das die inhärenten Korrelationen zwischen Prompts nutzt, um die Stichprobeneffizienz zu verbessern, und dabei über die Behandlung jedes Prompts als unabhängigen Arm hinausgeht.

Allgemeines Framework

Der Ansatz verwendet eine rundenbasierte Arm-Eliminierungsstrategie. Der Prozess umfasst $R$ Runden mit einem Gesamtbudget $B$ . In jeder Runde:

Budgetzuweisung: Prompts werden basierend auf einem Allokator (z. B. gleichmäßige Stichprobenziehung oder G-optimaler Entwurf) zur Evaluierung ausgewählt.
Evaluierung: Prompts werden gegenüber dem LLM abgefragt, und Belohnungsvektoren werden beobachtet.
Belohnungsschätzung: Ein Schätzer aktualisiert den erwarteten Leistungsvektor $\hat{\mu}(x)$ für aktive Prompts. Das Framework unterstützt allgemeine Belohnungsfunktionen $g_\theta(\phi(x))$ , wobei $\phi(x)$ eine Feature-Einbettung des Prompts und $\theta$ ein unbekannter Parameter ist, der über alle Prompts hinweg geteilt wird.
Arm-Eliminierung: Prompts werden basierend auf spezifischen Kriterien, die vom Zielproblem abhängen, rangiert und eliminiert.

Algorithmen

Zwei spezifische Algorithmen werden auf Basis dieses Frameworks vorgestellt:

GENSEC (Generalized Successive Elimination under Constraints):
- Ziel: Identifikation des besten zulässigen Prompts.
- Mechanismus: Es wird eine empirische zulässige Menge basierend auf Schwellenwerten für Einschränkungen konstruiert. Arme werden zunächst nach Zulässigkeit, dann nach der Schätzung des primären Ziels rangiert. Die besten $l_r$ Arme werden für die nächste Runde beibehalten.
- Theoretische Garantie: Für lineare Belohnungsszenarien ( $\mu(x) = \phi(x)^\top \theta$ ) beweisen die Autoren, dass die Wahrscheinlichkeit, den optimalen zulässigen Prompt nicht zu identifizieren, mit dem Budget $B$ exponentiell abnimmt. Bemerkenswert ist, dass die Fehlerschranke von $\log_2 K$ (wobei $K$ die Anzahl der Prompts ist) und nicht von $K^3$ abhängt, was die Skalierbarkeit im Vergleich zu früheren Ergebnissen stochastischer Banditen erheblich verbessert.
GENPSI (Generalized Pareto Set Identification):
- Ziel: Identifikation der Pareto-Prompt-Menge.
- Mechanismus: Es wird die Empirische Pareto-Lücke als Metrik für die Eliminierung verwendet. Diese Lücke misst die Schwierigkeit, einen Arm als Pareto-optimal oder suboptimal zu klassifizieren. Der Algorithmus vereint und verallgemeinert bestehende Bandit-Algorithmen (wie EGE und GEGE) sowohl für Standard- als auch für lineare Szenarien.

Feature-Nutzung

Um große Prompt-Mengen effizient zu handhaben, nutzt die Methode eine Feature-Karte $\phi: \mathcal{X} \to \mathbb{R}^d$ . Im linearen Szenario ermöglicht dies dem Algorithmus, den geteilten Parameter $\theta$ über alle Prompts hinweg zu lernen und die Konvergenz zu beschleunigen. In Experimenten wurden Prompt-Einbettungen mit GPT-3.5-turbo extrahiert und mittels PCA reduziert.

Experimentelle Ergebnisse

Die Autoren bewerteten GENSEC und GENPSI an zwei Zusammenfassungs-Benchmarks (XSum und CNN/DailyMail) unter Verwendung von LLaMA-3-8B und Gemma-7B. Die Ziele waren ROUGE-L (Qualität) und Brevity Score (Länge).

Identifikation des besten zulässigen Prompts:
- Die auf Bandits basierenden Algorithmen (CSR- und MLP-CSR-Varianten) schnitten deutlich besser ab als Baselines mit gleichmäßiger Stichprobenziehung.
- Unter eingeschränkten Budgets erzielten die vorgeschlagenen Methoden 80–90 % des Nutzens des optimalen zulässigen Prompts, während Baselines nur 20–50 % erreichten.
- Die MLP-CSR-Variante, die eine geteilte Struktur über einen neuronalen Netzwerkschätzer nutzt, übertraf konsistent die unabhängige Arm-CSR-Variante und demonstrierte den Vorteil der Ausnutzung von Prompt-Korrelationen.
Identifikation der Pareto-Menge:
- Unter Verwendung von Hypervolume (HV) als Metrik erzielten GENPSI-basierte Algorithmen (EGE und MLP-EGE) >90 % des Hypervolumens der Ground-Truth-Pareto-Menge.
- Baselines blieben im niedrigen bis mittleren Bereich von 80 %.
- MLP-EGE zeigte einen besonderen Vorteil in Regimen mit niedrigem Budget, was die Effizienz des Lernens geteilter Parameter unterstreicht.

Hauptbeiträge

Formalisierung: Diese Arbeit stellt die erste Formalisierung der Multi-Criteria-Prompt-Auswahl als Problem der Multi-Objective-Pure-Exploration-Bandits vor.
Algorithmische Innovation: Die Einführung von GENSEC und GENPSI, die bestehende Bandit-Algorithmen verallgemeinern, um Einschränkungen und Pareto-Optimalität zu handhaben, während sie geteilte Strukturen zwischen Prompts ausnutzen.
Theoretische Garantien: Der Beitrag liefert theoretische Fehlerschranken für GENSEC im linearen Szenario und zeigt eine signifikante Verbesserung der Abhängigkeit von der Anzahl der Prompts ( $K$ ) im Vergleich zu früheren Arbeiten.
Empirische Validierung: Umfassende Experimente zeigen, dass Bandit-basierte Ansätze prinzipiell und effizient sind und erhebliche Verbesserungen gegenüber Baselines bei der Wiederherstellung optimaler zulässiger Prompts und Pareto-Fronten unter strengen Evaluierungsbudgets bieten.

Bedeutung und Behauptungen

Die Arbeit behauptet, ein „prinzipiell und effizientes Framework" für die Multi-Objective-Prompt-Optimierung zu etablieren. Durch die Verknüpfung von Prompt-Engineering mit Multi-Objective-Bandits argumentieren die Autoren, dass es möglich ist, über ad-hoc- oder Single-Metric-Strategien hinauszugehen. Die Arbeit adressiert die praktische Realität, dass die Prompt-Leistung inhärente Zielkonflikte beinhaltet, die allein durch skalarisierte Metriken nicht erfasst werden können. Die Autoren positionieren ihre Methoden als Lösung für Szenarien, in denen Evaluierungsbudgets begrenzt sind, wie etwa in regulierten Domänen oder im Umgang mit teurer LLM-Inferenz. Der Beitrag schließt, dass dieses Framework neue Möglichkeiten für eine skalierbare Prompt-Optimierung unter komplexen Evaluierungskriterien eröffnet, wobei jedoch zukünftige Arbeiten erforderlich sind, um diese Methoden auf vielfältigere Aufgaben zu erweitern und reichhaltigere Metriken wie Fairness und Effizienz einzubeziehen.