💬 NLP

Bandit-Based Prompt Design Strategy Selection Improves Prompt Optimizers

Dieses Paper stellt OPTS vor, ein Framework zur Prompt-Optimierung, das die Leistung bestehender Optimierer wie EvoPrompt durch die Implementierung expliziter, Bandit-basierter Mechanismen (speziell Thompson-Sampling) verbessert, um Prompt-Design-Strategien effektiv auszuwählen und anzuwenden, wodurch es Methoden übertrifft, die auf impliziter Strategieauswahl beruhen.

Ursprüngliche Autoren: Rin Ashizawa, Yoichi Hirose, Nozomu Yoshinari, Kento Uchida, Shinichi Shirakawa

Veröffentlicht 2026-06-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Rin Ashizawa, Yoichi Hirose, Nozomu Yoshinari, Kento Uchida, Shinichi Shirakawa

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber manchmal eigensinnigen Roboter (einem Large Language Model) beizubringen, wie man ein schwieriges Rätsel löst. Sie geben dem Roboter Anweisungen, sogenannte „Prompts“. Wenn die Anweisungen vage sind, wird der Roboter verwirrt. Wenn sie perfekt sind, löst der Roboter das Rätsel sofort.

Lange Zeit haben Menschen versucht, diese perfekten Anweisungen von Hand zu schreiben oder Computerprogramme verwendet, um die Anweisungen automatisch so lange anzupassen, bis sie besser funktionieren. Dies nennt man Prompt-Optimierung.

Es gibt jedoch ein Problem: Diese automatischen Programme erstellen oft Anweisungen, die zwar funktional sind, aber nicht die „Geheimzutat“ besitzen, die menschliche Experten verwenden. Sie übersehen bewährte Tricks wie „Denke Schritt für Schritt“ oder „Handle wie ein Experte“.

Das Problem: Das schlechte Ratespiel des Roboters

Kürzlich versuchte ein Tool namens APET, dies zu beheben. Es gab dem Roboter ein Menü aus „Design-Strategien“ (wie ein Menü aus Kochtechniken: Salz hinzufügen, fein hacken, langsam köcheln lassen). Der Roboter sollte das Menü betrachten und entscheiden, welche Tricks er für das spezifische Rätsel verwendet.

Aber das Paper argumentt, dass es dem Roboter zu sagen, diese Wahl zu treffen, so ist, als würde man einen müden Koch fragen, welches Gewürz die Suppe retten wird, die gerade angebrannt ist. Der Roboter rät oft falsch und wählt Strategien, die die Anweisungen tatsächlich schlechter machen. Es ist eine implizite Entscheidung (der Roboter „fühlt“ einfach, dass er einen Trick verwenden sollte), und darin ist er nicht besonders gut.

Die Lösung: OPTS (Der kluge Sommelier)

Die Autoren dieses Papers stellen eine neue Methode vor: OPTS (Optimizing Prompts with sTrategy Selection).

Anstatt den Roboter raten zu lassen, agiert OPTS wie ein kluger Sommelier (ein Weinexperte) oder ein Casinomanager, der ein Glücksspiel leitet. So funktioniert es anhand einer einfachen Analogie:

Stellen Sie sich vor, Sie haben eine Reihe von Spielautomaten (die Forscher nennen diese „Arms“ oder Hebel):

Automat 1: Fügt „Denke Schritt für Schritt“ zu den Anweisungen hinzu.
Automat 2: Sagt dem Roboter: „Lies die Frage noch einmal.“
Automat 3: Sagt dem Roboter: „Handle wie ein Mathe-Experte.“
Automat K+1: Macht gar nichts (lässt die Anweisungen genau so, wie sie sind).

Bei der alten Methode (APET) würde der Roboter den Hebel einfach zufällig oder nach einem Gefühl ziehen.

In der neuen OPTS-Methode nutzt das System eine mathematische Strategie namens Thompson Sampling. Denken Sie an einen klugen Glücksspieler, der eine Punktetabelle führt:

Er probiert einen Automaten aus (eine Strategie).
Wenn der Roboter das Rätsel besser löst, gibt das System diesem Automaten ein „Daumen hoch“ und macht es wahrscheinlicher, dass er beim nächsten Mal ausgewählt wird.
Wenn der Roboter scheitert, gibt das System diesem Automaten ein „Daumen runter“ und hört auf, ihn auszuwählen.
Entscheidend ist auch, dass es einen „Nichts tun“-Automaten gibt. Wenn alle Tricks die Dinge nur schlechter machen, lernt das System, die Anweisungen einfach so zu lassen, wie sie sind.

Was sie herausgefunden haben

Die Forscher testeten dies an zwei verschiedenen Robotern (LLMs) unter Verwendung eines Sets sehr schwieriger Logik- und Denkrätsel (genannt BIG-Bench Hard).

Das Ergebnis: Durch die Verwendung dieses „klugen Glücksspieler“-Ansatzes, um die richtige Strategie zu wählen, erstellte das System viel bessere Anweisungen, als die Roboter es allein könnten.
Der Champion: Die Thompson-Sampling-Methode (der kluge Glücksspieler) war der klare Gewinner. Sie verbesserte die Leistung des Prompt-Optimierers um bis zu 50 % bei einigen Aufgaben.
Der Vergleich: Die alte Methode (APET), bei der der Roboter rät, schnitt tatsächlich schlechter ab, als wenn man Strategien einfach zufällig auswählen würde. Dies beweist, dass der Roboter schlecht darin ist, zu raten, welche Tricks zu verwenden sind, aber er ist sehr gut darin, Anweisungen zu befolgen, wenn wir ihm sagen, welchen Trick er nutzen soll.

Das Fazit

Dieses Paper behauptet nicht, dass es alle KI-Probleme gelöst hat oder bereit für die medizinische Diagnose ist. Es zeigt lediglich, dass wir, wenn wir versuchen, einer KI beizubringen, besser zu kommunizieren, die KI nicht raten lassen sollten, welche Lehrmethode sie verwenden soll. Stattdessen sollten wir ein intelligentes, datengesteuertes System (wie Thompson Sampling) verwenden, um die besten Lehrmethoden explizit auszuwählen – genau wie ein Coach, der den richtigen Spielzug für eine spezifische Spielsituation wählt.

Der Code für diesen „klugen Coach“ steht nun anderen zur Verfügung.

Technisches Resümee: Bandit-basierte Strategieauswahl für das Prompt-Design

Problemstellung

Die Prompt-Optimierung zielt darauf ab, automatisch effektive Prompts zu suchen, die die Leistung von Large Language Models (LLMs) verbessern. Während bestehende Methoden zur diskreten Prompt-Optimierung (z. B. evolutionäre Algorithmen) erfolgreich effektive Prompts entdeckt haben, unterscheiden sich diese oft von den anspruchsvollen, sorgfältig gestalteten Prompts, die von menschlichen Experten entworft wurden. Es besteht eine kritische Lücke bei der Nutzung etablierter „Prompt-Design-Strategien“ (Best Practices wie Chain-of-Thought oder Role Prompting) innerhalb der automatisierten Optimierung.

Neuere Ansätze, wie das Autonomous Prompt Engineering Toolbox (APET), versuchen, diese Strategien einzubeziehen, indem sie alle verfügbaren Strategiebeschreibungen in ein LLM einspeisen, welches diese dann implizit auswählt und anwendet. Diese implizite Auswahl ist jedoch anfällig für eine suboptimale Leistung, da LLMs den Auswahlprozess möglicherweise nicht effektiv optimieren können, und ungeeignete Strategien die Leistung je nach spezifischer Aufgabe und Ziel-LLM negativ beeinflussen können. Das Kernproblem ist das Fehlen eines expliziten, robusten Mechanismus zur Auswahl der am besten geeigneten Prompt-Design-Strategien während des Optimierungsprozesses.

Methodik

Die Autoren schlagen OPTS (Optimizing Prompts with sTrategy Selection) vor, ein Framework, das explizite Auswahlmechanismen für Prompt-Design-Strategien einführt. OPTS ist in EvoPrompt integriert, einen bekannten Prompt-Optimizer, der evolutionäre Algorithmen (speziell Genetische Algorithmen und Differentielle Evolution) emuliert.

Kernkomponenten

Strategie-Arme: Das System definiert $K$ Arme, wobei jeder Arm einer spezifischen Prompt-Design-Strategie entspricht (z. B. Chain-of-Thought, Emotion Prompting, Re-Reading). Ein zusätzlicher $(K+1)$ -ter „Inaktivitäts-Arm“ ist enthalten, der die Option repräsentiert, keine Strategie-Modifikation vorzunehmen.
Auswahlmechanismen: Das Paper schlägt drei verschiedene Auswahlmethoden vor und evaluiert diese:
- OPTS(TS): Verwendet Thompson Sampling, einen Multi-Armed-Bandit-Algorithmus. Es pflegt eine Wahrscheinlichkeitsverteilung (Beta-Verteilung-Priors) für den erwarteten Ertrag jedes Arms. Nach der Evaluierung eines modifizierten Prompts aktualisiert der Ertrag (basierend auf der Genauigkeit des aufgabelösenden LLMs) die Verteilung, was es dem System ermöglicht, die Exploration und Exploitation von Strategien auszubalancieren.
- OPTS(US): Verwendet Uniform Sampling, bei dem jeder Arm (einschließlich des Inaktivitäts-Arms) mit gleicher Wahrscheinlichkeit ausgewählt wird, was als Baseline für die zufällige Anwendung von Strategien dient.
- OPTS(APET): Basiert auf der APET-Methode, bei der ein LLM Strategien implizit aus einer Liste auswählt. Diese Version enthält eine explizite Wahrscheinlichkeit von 50 % für die Wahl des „Inaktivitäts-Arms“, um das Verhalten von APET nachzuahmen und gleichzeitig eine Kontrolle für Nicht-Modifikation hinzuzufügen.
Integrations-Workflow:
- EvoPrompt generiert einen neuen Kandidaten-Prompt mittels Crossover und Mutation.
- Das OPTS-Modul wählt eine Strategie (oder Inaktivität) basierend auf dem gewählten Mechanismus aus.
- Falls eine Strategie ausgewählt wurde, wird deren Beschreibung zusammen mit einem Meta-Prompt und dem Kandidaten-Prompt an ein „Prompt-designendes LLM“ übergeben.
- Das Prompt-designende LLM modifiziert den Prompt, um die ausgewählte Strategie zu integrieren.
- Der modifizierte Prompt wird durch das „Aufgabelösende LLM“ evaluiert, und der resultierende Score wird verwendet, um die Auswahlverteilung (im Falle von TS) zu aktualisieren und die Population der nächsten Generation zu bestimmen.

Zentrale Beiträge

Explizite Strategieauswahl: Das Paper führt die ersten expliziten Auswahlmechanismen für Prompt-Design-Strategien innerhalb der Prompt-Optimierung ein und bewegt sich damit weg von der impliziten Auswahl, wie sie in früheren Arbeiten wie APET verwendet wurde.
Integration von Thompson Sampling: Die Autoren schlagen einen auf Thompson Sampling basierenden Ansatz (OPTS(TS)) vor und demonstrieren empirisch dessen überlegene Leistung bei der Auswahl geeigneter Strategien für spezifische Aufgaben und LLMs.
Leistungssteigerung: Die Studie zeigt, dass die Integration der expliziten Strategieauswahl die Leistung des EvoPrompt-Optimierers signifikant verbessert.
Umfassende Evaluierung: Die Methoden werden über 27 anspruchsvollen Aufgaben aus BIG-Bench Hard (BBH) unter Verwendung zweier verschiedener aufgabelösender LLMs (Llama-3-8B-Instruct und GPT-4o mini) und zweier verschiedener evolutionärer Algorithmen (GA und DE) evaluiert.

Experimentelle Ergebnisse

Die Experimente wurden mit BIG-Bench Hard Aufgaben durchgeführt. Die aufgabelösenden LLMs waren Llama-3-8B-Instruct (alle 27 Aufgaben) und GPT-4o mini (3 Aufgaben).

Gesamtverbesserung: Alle drei OPTS-Varianten (TS, US, APET) verbesserten die durchschnittliche Leistung des Baseline-EvoPrompt(DE) um etwa 4,5 % bis 7,5 %.
Überlegenheit von Thompson Sampling: OPTS(TS) erzielte die besten Gesamtergebnisse. Bei Verwendung von GPT-4o mini sowohl für die Prompt-Generierung als auch für das Lösen der Aufgabe verbesserte OPTS(TS) die Leistung von EvoPrompt bei spezifischen Aufgaben (z. B. „logical deduction five objects“) um bis zu 50 %. Im Durchschnitt über BBH-Aufgaben mit Llama-3-8B-Instruct übertraf OPTS(TS) OPTS(US) um ~1,7 % und OPTS(APET) um ~2,7 %.
Vergleich mit APET: OPTS(APET) schnitt schlechter ab als OPTS(US), was darauf hindeutet, dass LLMs Biases besitzen, die zu einer fehlerhaften impliziten Strategiewahl führen.
Aufgabenvariabilität: Die Verbesserung variierte je nach Aufgabe. Für Aufgaben wie „ruin names“ verbesserte OPTS(TS) die Leistung um ~40 % gegenüber der Baseline. In einigen Fällen verschlechterte sich die Leistung leicht, aber der „Inaktivitäts-Arm“ stellte sicher, dass die Verschlechterung im Vergleich zu den Gewinnen minimal blieb.
Kosteneffizienz: Unter einer festen Beschränkung von 500 API-Aufrufen übertraf OPTS(TS) immer noch die Baseline EvoPrompt, was auf eine höhere Kosteneffektivität hindeutet.

Bedeutung und Behauptungen

Das Paper behauptet, dass die explizite Auswahl von Prompt-Design-Strategien ein entscheidender Schritt zur Weiterentwicklung der Prompt-Optimierung ist. Durch die Nutzung bestehenden Wissens über Prompt-Engineering (Strategien wie Chain-of-Thought) über einen Bandit-basierten Auswahlprozess ermöglicht OPTS es Optimierern, Prompts zu entdecken, die nicht nur effektiv, sondern auch strukturell an menschlichen Best Practices ausgerichtet sind.

Die Autoren heben hervor, dass:

Explizite Auswahl überlegen gegenüber impliziter Auswahl ist: Die Fähigkeit eines LLM, Strategien implizit zu wählen (wie in APET), ist suboptimal im Vergleich zur datengesteuerten Auswahl durch Thompson Sampling.
Strategien kombiniert werden können: Obwohl OPTS(TS) jeweils nur eine Strategie auswählt, weisen die resultierenden optimierten Prompts oft eine Kombination von Strategien auf (z. B. Chain-of-Thought, das Re-Reading beinhaltet), was darauf hindeutet, dass der Optimizer effektiv lernt, diese Techniken zu schichten.
Generalisierbarkeit: Der Ansatz ist unabhängig vom spezifischen aufgabelösenden LLM (Llama-3 oder GPT-4o) oder dem zugrunde liegenden evolutionären Algorithmus (GA oder DE) effektiv.

Die Autoren vertreten eine moderate Position und weisen auf Einschränkungen hin, wie etwa die Formulierung von OPTS(TS) als Bernoulli-Bandit (der verfeinert werden könnte), das Fehlen von Tests auf anderen Optimierern außer EvoPrompt und die potenzielle Variabilität der Ergebnisse basierend auf dem spezifischen Satz vorbereiteter Strategien. Sie kommen zu dem Schluss, dass ihre Arbeit die Bedeutung unterstreicht, bestehendes Wissen zum Prompt-Design explizit zu nutzen und auszuwählen, um die LLM-Leistung zu steigern.