🤖 machine learning

Prompting Policies for Multi-step Reasoning and Tool-Use in Black-box LLMs with Iterative Distillation of Experience

Dieser Artikel schlägt ein Reinforcement-Learning-Framework vor, das ein leichtgewichtiges Prompter-Modell durch iterative Distillation von Erfahrung optimiert, um die Fähigkeiten mehrstufiger Schlussfolgerungen und der Werkzeugnutzung eingefrorener Black-Box-LLMs signifikant zu verbessern und dabei im Vergleich zu evolutionären State-of-the-Art-Baselines überlegene Leistung und Sample-Effizienz zu erzielen.

Ursprüngliche Autoren: Krishna Sayana, Ketan Todi, Ambarish Jash

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Krishna Sayana, Ketan Todi, Ambarish Jash

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Black-Box"-Problem

Stellen Sie sich vor, Sie haben einen superschlauen, Billionen-Dollar-Roboter (eine „Black-Box"-KI), den Sie nicht anfassen, öffnen oder neu programmieren können. Sie können nur über ein Walkie-Talkie mit ihm sprechen. In der Vergangenheit mussten Sie, wenn Sie wollten, dass dieser Roboter eine bestimmte Aufgabe besser erledigt, sein Gehirn neu verkabeln (Feinabstimmung). Da Sie das Gehirn jedoch nicht berühren können, müssen Sie sehr clever sein mit dem, was Sie ihm sagen. Dies nennt man Prompt-Engineering.

Das Problem ist, dass das Finden des perfekten Satzes wie das Raten der Gewinnzahlen im Lotto ist, indem man zufällige Phrasen herumschreit. Manchmal führt eine winzige Änderung Ihrer Worte dazu, dass der Roboter völlig versagt.

Die Lösung: Ein „Prompter"-Trainer und ein „Arbeiter"-Roboter

Die Autoren schlagen ein neues System mit zwei Charakteren vor:

Der Arbeiter: Der große, eingefrorene, superschlauge Roboter, der die harte Arbeit tatsächlich verrichtet (wie das Lösen von Matheaufgaben oder das Buchen von Flügen). Diesen ändern wir niemals.
Der Prompter: Eine kleinere, günstigere, trainierbare „Trainer"-KI. Ihre einzige Aufgabe ist es, die perfekten Anweisungen (den Prompt) für den Arbeiter zu schreiben.

Stellen Sie es sich wie einen Schachtrainer (den Prompter) und einen Großmeister-Spieler (den Arbeiter) vor. Der Trainer spielt das Spiel nicht; er findet nur die besten Eröffnungszüge heraus, um sie dem Großmeister zu sagen. Der Trainer lernt, indem er beobachtet, was passiert, wenn der Großmeister spielt.

Wie sie den Trainer unterrichten: Der „Erfahrungspuffer"

Normalerweise ist das Trainieren einer KI schwierig, weil man am Ende nur eine einfache „Richtig" oder „Falsch"-Bewertung erhält. Das ist wie einem Schüler zu sagen: „Sie haben den Test nicht bestanden", ohne ihm zu sagen, warum.

Dieses Papier stellt einen speziellen Trick vor, den kontrastiven Erfahrungspuffer.

Die Analogie: Stellen Sie sich einen Fitnessstudio-Trainer vor, der nicht nur „Gut gemacht" oder „Schlecht gemacht" sagt. Stattdessen führt der Trainer ein Notizbuch (den Puffer) über jedes Training.
- Wenn der Athlet erfolgreich ist, notiert der Trainer genau, was er richtig gemacht hat.
- Wenn er scheitert, schreibt der Trainer eine detaillierte Kritik: „Sie haben den Ellbogen zu hoch gehoben" oder „Sie haben das Atmen vergessen".
Die Magie: Die Trainer-KI liest dieses Notizbuch vor jedem neuen Versuch. Sie lernt aus den Geschichten vergangener Erfolge und Misserfolge, nicht nur aus der Endpunktzahl. Dies ermöglicht es dem Trainer, viel schneller zu lernen, als wenn er nur raten würde.

Die Ergebnisse: Von ungeschickt zum Meister

Die Forscher testeten dies an zwei Arten schwieriger Aufgaben:

Logikrätsel (Das „Netzwerk der Lügen"):
- Die Aufgabe: Herausfinden, wer in einer Kette verworrener Aussagen die Wahrheit sagt.
- Das Ergebnis: Die Standard-KI lag in etwa 55 % der Fälle richtig. Das Trainer-Arbeiter-Team lag in 90 % der Fälle richtig.
- Was der Trainer gelernt hat: Der Trainer hörte auf, den Arbeiter zu bitten, „einfach hart nachzudenken". Stattdessen lernte er, dem Arbeiter zu sagen, er solle sich wie ein strenger „Staatsprüfer" verhalten, der jeden einzelnen Schritt gegen die Rohdaten überprüft und sich weigert, seiner eigenen Intuition zu vertrauen.
Werkzeugnutzung (Flugbuchung & Einkaufen):
- Die Aufgabe: Die Nutzung eines Computersystems zum Buchen eines Fluges oder zur Rücksendung eines Hemds, was das Befolgen strenger Regeln und das Klicken spezifischer Tasten in der richtigen Reihenfolge erfordert.
- Das Ergebnis: Die Erfolgsraten stiegen von 74 % auf 91 %.
- Was der Trainer gelernt hat: Der Trainer entdeckte, dass der Arbeiter oft versuchte, zu viele Dinge gleichzeitig zu tun. Der Trainer lernte, Anweisungen wie ein „Protokoll-Ingenieur" zu geben, indem er den Arbeiter zwang, einen winzigen Schritt zu tun, das Ergebnis zu prüfen und dann den nächsten Schritt zu machen, wodurch verhindert wurde, dass der Arbeiter verwirrt wird.

Warum dies wichtig ist

Geschwindigkeit: Da der Trainer aus detaillierten Notizen (dem Puffer) lernt und nicht nur aus Punktzahlen, lernt er 2,4-mal schneller als frühere Methoden.
Effizienz: Sie müssen den riesigen, teuren Arbeiter-Roboter nicht neu trainieren. Sie trainieren nur den winzigen, günstigen Trainer.
Entdeckung: Das System fand nicht nur einen besseren Satz; es entdeckte neue Strategien. Zum Beispiel fand der Trainer bei der Flugbuchung heraus, dass man die Kabine vor dem Ändern der Flugdaten upgraden muss, eine spezifische Regel, die der Arbeiter nicht von selbst zu befolgen wusste.

Zusammenfassung

Dieses Papier zeigt, dass wir statt zu versuchen, die riesige KI zu reparieren, einen kleinen, klugen „Prompter" als Trainer ausbilden können. Indem wir diesem Trainer ein Notizbuch mit detailliertem Feedback geben (was richtig und was falsch lief), lernt der Trainer, Anweisungen zu schreiben, die eine gute KI in eine großartige verwandeln und komplexe Logik- und Werkzeugnutzungsprobleme mit viel höherer Genauigkeit lösen.

Technische Zusammenfassung: Prompting-Richtlinien für mehrstufiges Schlussfolgern und Werkzeugnutzung in Black-Box-LLMs mit iterativer Distillation von Erfahrung

1. Problemstellung

Die Arbeit adressiert den „Fine-Tuning-Engpass", der im modernen Umfeld von Large Language Models (LLMs) inhärent ist. Da sich die Branche hin zu proprietären, „Black-Box"-Modellen (z. B. Gemini-Pro, GPT-5) entwickelt, die ausschließlich über eine API zugänglich sind, werden traditionelle Transfer-Learning-Techniken wie vollständige Parameter-Updates oder Parameter-effizientes Fine-Tuning (PEFT) wie LoRA aufgrund des fehlenden Zugriffs auf Modellgewichte, Gradienten oder interne Berechnungsgraphen unmöglich.

Folglich stützt sich die Aufgabenanpassung auf In-Context-Learning (ICL) und Prompt-Engineering. Manuelles Prompt-Engineering ist jedoch heuristisch und fragil; LLMs sind hochsensibel gegenüber „semantischem Rauschen", wobei geringfügige Störungen in der Formulierung oder der Reihenfolge von Beispielen zu erheblichen Leistungsschwankungen führen können. Zwar existieren Methoden zur automatisierten Prompt-Optimierung (APO), doch viele verlassen sich auf evolutionäre Algorithmen oder LLM-basierte Reflexionen, die Optimierung als heuristische Generierung und nicht als strukturierte Richtlinie behandeln. Diese Methoden haben oft Schwierigkeiten mit komplexen, mehrstufigen Schlussfolgerungspfaden und fehlt die für eine robuste Bereitstellung erforderliche Probeneffizienz.

2. Methodik

Die Autoren schlagen ein Reinforcement-Learning (RL)-Rahmenwerk vor, das eine gelernte „Prompter-Richtlinie" trainiert, um Prompts für ein größeres, eingefrorenes „Worker"-LLM zu optimieren. Die Kerninnovation liegt in der Entkopplung der Steuerungslogik (des Prompters) von der Ausführungslogik (des Workers) und der Nutzung einer iterativen Distillation von Erfahrung.

2.1 Dual-Agent-Architektur

Prompter-Agent ( $\pi_\theta$ ): Ein kleineres, effizientes LLM (z. B. 2–10 Milliarden Parameter), das als trainierbare Richtlinie fungiert. Es generiert Aufgabenanweisungen (Prompts) basierend auf dem Aufgabenkontext und einer Historie vergangener Erfahrungen. Gradienten werden ausschließlich für dieses Modell berechnet.
Eingefrorener Worker-Agent ( $\pi_{LLM}$ ): Eine große, eingefrorene Schlussfolgerungsmaschine (z. B. 1 Billion Parameter), die die vom Prompter generierten Anweisungen ausführt. Sie dient als Umgebung und liefert die Ausgabe.

2.2 Das Ziel

Das Ziel ist es, Parameter $\theta$ für die Prompter-Richtlinie $\pi_\theta$ zu lernen, die die erwartete Belohnung $R(p, x, y)$ über einen Datensatz $D$ maximieren, während gleichzeitig die Abweichung von einer Referenzrichtlinie $\pi_{ref}$ durch eine KL-Divergenz-Strafe minimiert wird:
$J(\theta) = \mathbb{E}_{(x,y) \sim D, p \sim \pi_\theta(\cdot|c,H)} [R(p, x, y) - \alpha D_{KL}(\pi_\theta \parallel \pi_{ref})]$
Das Rahmenwerk unterstützt sowohl Fixierte Prompt-Optimierung (Lernen eines einzelnen statischen Prompts) als auch Dynamische Prompt-Optimierung (Lernen einer Meta-Richtlinie, die sich an spezifische Aufgabenkontexte anpasst).

2.3 Kontrastiver Erfahrungs-Puffer

Um die Spärlichkeit skalärer Belohnungen (richtig/falsch) und die Rechenkosten mehrstufiger Selbstreflexion zu adressieren, führen die Autoren einen kontrastiven Erfahrungs-Puffer ein.

Mechanismus: Der Puffer speichert Trajektorien von $(Prompt, Kritik, Belohnung)$. Kritiken sind dichte textuelle Beschreibungen von Diskrepanzen zwischen der Ausgabe des Workers und dem Ground Truth, die von einem externen Feedback-Modell generiert werden.
Amortisierung: Anstatt während der Inferenz mehrstufige Reflexionen durchzuführen, wird der Prompter während des Trainings auf eine aus dem Puffer gesampelte Historie $H$ konditioniert. Dies ermöglicht es der Richtlinie, komplexe, mehrstufige Schlussfolgerungs- und Korrekturmuster in ihre Gewichte zu „distillieren".
Aktualisierungsstrategie: Prompts werden dem Puffer hinzugefügt, wenn ihre Belohnung einen Schwellenwert relativ zum Batch-Maximum erreicht ( $r \ge r_{max} - \epsilon$ ), was eine vielfältige, aber leistungsstarke Historie sicherstellt.

3. Hauptbeiträge

Dual-Agent-Distillation mit Speicher: Ein Rahmenwerk, bei dem strategische Steuerung in eine effiziente, speicherergänzte Prompter-Richtlinie distilliert wird. Dies ermöglicht dem Modell, aus Erfahrung zu lernen und komplexe Schlussfolgerungspfade effektiv in eine gestraffte Richtlinie zu komprimieren.
Kontrastiver Erfahrungs-Puffer: Ein hochbandbreitiger Feedback-Mechanismus, der skalare Belohnungen mit dichten textuellen Kritiken koppelt. Die Autoren liefern eine formale Charakterisierung, die zeigt, wie dies mehrstufige Selbstreflexionsschleifen in einmalige Richtliniengewichte amortisiert und im Vergleich zu skalaren Baselines eine bis zu 2,4-fach schnellere Konvergenz erreicht.
Entdeckung algorithmischer Heuristiken: Qualitative Analysen zeigen, dass die gelernte Richtlinie evolviert, um spezialisierte Strategien zu entdecken, wie z. B. „Ground-Truth-Ankerung" (Misstrauen gegenüber bereitgestellten Spuren zugunsten roher Eingaben) und „Atomare Sequenzierung" für Werkzeugaufrufe, anstatt sich auf abstrakte Anleitung zu verlassen.
Empirische Validierung: Der Ansatz wird am Big Bench Extra Hard (BBEH)-Suite für logikintensive Schlussfolgerung und am $\tau$ -Bench für agentische Werkzeugnutzungs-Workflows validiert.

4. Experimentelle Ergebnisse

Die Experimente nutzen Gemini 2.5 Flash als eingefrorenen Worker und Gemini 2.5 Flash-lite als trainierbaren Prompter.

4.1 Schlussfolgerungsaufgaben (BBEH)

Die Prompter-Richtlinie mit Erfahrungs-Puffer übertraf sowohl Zero-Shot-Baselines als auch den fortschrittlichsten evolutionären Baseline GEPA signifikant.

Dyck-Sprachen: Verbesserung von 63,33 % (Baseline) auf 91,25 % (Prompter-Richtlinie), ein Gewinn von +27,92 % gegenüber GEPA.
Web of Lies: Verbesserung von 52,50 % (Baseline) auf 90,12 %, ein Gewinn von +37,62 % gegenüber GEPA.
Disambiguierungs-QA: Verbesserung von 57,08 % auf 65,41 %.

4.2 Werkzeugnutzungsaufgaben ( $\tau$ -Bench)

Die Richtlinie zeigte erhebliche Gewinne in mehrstufigen Werkzeugnutzungsszenarien (Einzelhandel- und Fluggesellschaftsbereiche).

Einzelhandel: Erzielte eine Erfolgsrate von 91,30 % (vs. 73,91 % Baseline).
Fluggesellschaft: Erzielte eine Erfolgsrate von 83,33 % (vs. 65,27 % Baseline).
Die RL-abgestimmten Prompts übertrafen GEPA, indem sie abstrakte Anleitung durch konkrete, prozedurale Workflows ersetzten (z. B. explizites Batching von Werkzeugaufrufen, strenge Zustandsverifikation).

4.3 Cross-Model-Generalisierung

Die am Flash-Modell trainierte Richtlinie zeigte Vorwärtskompatibilität und steuerte erfolgreich das größere Gemini Pro-Modell zu einer Erfolgsrate von 80 % bei Dyck-Sprachen (ein Gewinn von +7,5 % gegenüber seiner Zero-Shot-Baseline). Umgekehrt schloss sie die Lücke zwischen den Modellen, sodass das mittlere Flash-Modell (91 % mit optimiertem Prompt) das größere Pro-Modell (72,5 % mit Zero-Shot-Prompting) übertraf.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass das vorgeschlagene RL-Rahmenwerk mit iterativer Distillation von Erfahrung einen bedeutenden Fortschritt in der Interaktion mit Black-Box-LLMs darstellt. Indem die Prompt-Generierung als Markov-Entscheidungsprozess behandelt und ein kontrastiver Erfahrungs-Puffer genutzt wird, ermöglicht der Ansatz:

Überwindung des Fine-Tuning-Engpasses: Er ermöglicht die Optimierung aufgabenspezifischer Strategien ohne Zugriff auf Modellgewichte.
Verbesserung der Probeneffizienz: Die Integration dichter textueller Kritiken in das Belohnungssignal ermöglicht eine schnellere Konvergenz und bessere Leistung als evolutionäre Baselines oder skalare RL.
Ermöglichung struktureller Evolution: Die Richtlinie findet nicht nur einen „besseren" Prompt; sie entdeckt spezialisierte algorithmische Heuristiken (z. B. unabhängige Stapelsimulation, Anker-und-Kette-Deduktion), die grundlegend verändern, wie das Worker-Modell die Aufgabe angeht.
Kostenvorteile: Das Rahmenwerk ermöglicht es kleineren, günstigeren Modellen, durch gelernte instruktive Steuerung Leistungslevel zu erreichen, die mit größeren Zero-Shot-Modellen vergleichbar sind oder diese übertreffen.

Die Autoren erkennen Einschränkungen an und stellen fest, dass die Richtlinie auf eine begrenzte Menge an Aufgaben trainiert wurde und ihre Fähigkeit zum Zero-Shot-Transfer auf völlig neue Aufgaben ohne Pufferinitialisierung eine Herausforderung für zukünftige Studien bleibt. Sie schlagen zudem zukünftige Arbeiten in der fortgeschrittenen Pufferverwaltung und personalisierten Prompt-Generierung basierend auf Benutzerzustandsrepräsentationen vor.