🤖 machine learning

Stabilizing Black-Box Prompt Optimization with Textual Regularization and Signal Aggregation

Dieses Paper stellt TRAS vor, ein Plug-and-Play-Framework, das die Black-Box-Prompt-Optimierung stabilisiert, indem es textuelle Regularisierung aus erfolgreichen Vorhersagen mit Monte-Carlo-Signalaggregation kombiniert, um Rauschen zu filtern, wodurch die Genauigkeit, die Konvergenzgeschwindigkeit und die Robustheit gegenüber Modellmigration im Vergleich zu bestehenden Methoden verbessert werden.

Ursprüngliche Autoren: MohammadReza Davari, Utkarsh Garg, Weixin Cai, Eugene Belilovsky

Veröffentlicht 2026-06-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: MohammadReza Davari, Utkarsh Garg, Weixin Cai, Eugene Belilovsky

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber etwas unberechenbaren Roboter beizubringen, wie man Rätsel löst. Sie können nicht in sein Gehirn schauen (es ist eine „Black Box“), Sie können nur mit ihm kommunizieren, indem Sie Anweisungen schreiben, sogenannte Prompts.

Lange Zeit war die beste Methode, um diese Anweisungen zu verbessern, eine Methode namens Automatic Prompt Optimization (APO). Denken Sie an einen Schüler, der eine Prüfung schreibt, eine Frage falsch beantwortet und dann den Lehrer fragt: „Warum habe ich das falsch gemacht?“ Der Lehrer gibt eine Kritik (einen „textuellen Gradienten“) und der Schüler ändert sein Antwortblatt, um genau diesen Fehler zu korrigieren.

Dieses Paper argumentiert, dass dieser „Fixiere-die-Fehler“-Ansatz einen großen Makel hat: Er konzentriert sich zu sehr darauf, was schiefgelaufen ist, und ignoriert, was gut gelaufen ist.

Das Problem: Die „Überkorrektur“-Falle

Stellen Sie sich vor, Sie stimmen ein Radio ab, um einen klaren Sender zu finden.

Der alte Weg (Nur-Fehler): Jedes Mal, wenn Sie Rauschen hören (einen Fehler), drehen Sie den Regler wild hin und her, um den Fehler zu beheben. Aber weil Sie nur auf das Rauschen achten, könnten Sie den Regler versehentlich über den klaren Sender hinausdrehen oder eine Einstellung löschen, die eigentlich perfekt funktionierte. Sie drehen sich im Kreis, wodurch das Signal schlechter wird, bevor es besser wird. In den Begriffen des Papers nennt man das semantischen Drift – Sie beheben einen kleinen Fehler, löschen aber versehentlich eine entscheidende Anweisung, die Ihnen insgesamt geholfen hat.

Die Lösung: TRAS

Die Autoren schlagen ein neues Framework namens TRAS (Textual Regularization with Aggregated Signals) vor. Es ist, als würde man dem Schüler zwei Arten von Feedback geben anstatt nur einer.

1. Das „Finger weg!“-Signal (Textuelle Regularisierung)

Anstatt nur zu fragen: „Was ist falsch?“, fragt TRAS auch: „Was funktioniert?“

Die Analogie: Stellen Sie sich vor, Sie kochen einen Eintopf. Die alte Methode sagt Ihnen nur: „Diese Karotte ist zu hart, schneide sie kleiner!“ TRAS sagt aber auch: „Hey, der Salzgehalt ist perfekt und die Brühe ist reichhaltig – verändere das nicht!“
Wie es funktioniert: Wenn das Modell eine Antwort richtig gibt, analysiert TRAS, warum sie richtig war, und erstellt einen „Regularisierer“ (eine Regel), die besagt: „Behalte diese Teile der Anweisung exakt so, wie sie sind.“ Dies verhindert, dass der Roboter versehentlich die guten Teile löscht, während er versucht, die schlechten zu reparieren.

2. Der „Expertenrat“ (Monte-Carlo-Signal-Aggregation)

LLMs sind ein wenig wie Menschen; wenn Sie ihnen dieselbe Frage zweimal stellen, geben sie ihnen vielleicht leicht unterschiedliche Antworten. Manchmal sind sie verrauscht oder verwirrt.

Die Analogie: Stellen Sie sich vor, Sie fragen einer Person nach dem Weg, und sie sagt: „Biegen Sie links bei der großen Eiche ab.“ Sie fragen eine zweite Person, und sie sagt: „Biegen Sie links bei der großen Eiche ab.“ Sie fragen eine dritte Person, und sie sagt: „Biegen Sie links bei der großen Eiche ab.“ Sie sind zuversichtlich. Aber wenn Sie eine vierte Person fragen und sie sagt: „Biegen Sie rechts an der Tankstelle ab“, wissen Sie, dass diese vierte Person ein Ausreißer oder verwirrt ist.
Wie es funktioniert: TRAS fragt das Modell nicht nur einmal nach Feedback. Es fragt mehrmals nach (indem es mehrere „Gradienten“ und „Regularisierer“ sampelt). Es agiert dann wie ein weiser Vorsitzender eines Komitees, hört sich alle Meinungen an und findet den gemeinsamen, konsistenten Rat. Es ignoriert die seltsamen, verrauschten Ausreißer und gibt dem Roboter eine einzige, klare und zuverlässige Anweisung.

Der Bonus: „Umzug“ (Automatic Prompt Migration)

Das Paper befasst sich auch mit einem praktischen Problem namens Automatic Prompt Migration (APM).

Das Szenario: Sie haben Wochen damit verbracht, einen Satz von Anweisungen für „Modell A“ (wie GPT-3.5) zu perfektionieren. Jetzt möchten Sie dieselben Anweisungen auf „Modell B“ (wie GPT-4o) übertragen.
Das Risiko: Wenn Sie einfach versuchen, Ihre perfekten Anweisungen für das neue Modell unter Verwendung der alten „Fehler-fixieren“-Methode neu zu optimieren, könnte das neue Modell verwirrt werden und versehentlich die Teile der Anweisungen löschen, die eigentlich gut funktionierten. Es ist, als würde man seine Möbel in ein neues Haus bringen und in der Begeisterung beim Umstellen die Stücke wegwerfen, die perfekt passten.
Die Lösung von TRAS: Beim Wechsel zu einem neuen Modell aktiviert TRAS sofort das „Finger weg!“-Signal. Es behandelt die alten, funktionierenden Anweisungen als kostbares Fundament und nimmt nur winzige, sichere Anpassungen vor, um sie an das neue Modell anzupassen, damit Sie das bereits aufgebaute „Expertenwissen“ nicht verlieren.

Die Ergebnisse

Das Paper testete dies bei verschiedenen Logik- und Denkaufgaben.

Bessere Genauigkeit: Der Roboter löste mehr Probleme korrekt.
Schnelleres Lernen: Er musste sich nicht im Kreis drehen, um die richtigen Einstellungen zu finden; er kam schneller ans Ziel.
Günstiger: Da er schneller lernte und weniger Fehler machte, verbrauchte er weniger „API-Aufrufe“ (was Geld kostet).
Stabilität: Die Ergebnisse waren konsistenter; es gab keine wilden Schwankungen zwischen guter und schlechter Leistung.

Kurz gesagt: TRAS lehrt uns, dass man einen Black-Box-KI nicht nur anschreien sollte, wenn sie scheitert. Man sollte ihr auch zuflüstern, wenn sie Erfolg hat, indem man ihr genau sagt, was sie beibehalten soll, und man sollte sich Rat von einer Gruppe holen, um sicherzustellen, dass man nicht einer verwirrten Stimme folgt.

Technisches Resümee: Stabilisierung der Black-Box-Prompt-Optimierung durch textuelle Regularisierung und Signalaggregation

1. Problemstellung

Die Arbeit befasst sich mit den Herausforderungen der automatischen Prompt-Optimierung (APO) für Large Language Models (LLMs), die über Black-Box-APIs aufgerufen werden, bei denen interne Modellzustände (Gradienten, Hidden States) nicht zugänglich sind. Während aktuelle APO-Methoden Prompts iterativ unter Verwendung von Modellen generierter Kritiken (textuelle Gradienten) verfeinern, die aus Fehlern abgeleitet werden, identifizieren die Autoren zwei kritische Einschränkungen:

Unterausnutzung von Erfolgen: Bestehende Methoden optimieren primär auf Basis von Fehlerkorrekturen und ignorieren dabei die Informationen, die in erfolgreichen Vorhersagen enthalten sind, bezüglich der Frage, welche Prompt-Komponenten effektiv sind.
Instabilität und semantischer Drift: Das ausschließliche Vertrauen auf fehlergesteuerte Updates kann zu „semantischem Drift“ führen, wobei Edits, die darauf abzielen, lokale Fehler zu beheben, unbeabsichtigt global vorteilhafte Prompt-Komponenten löschen. Dies zwingt den Optimierer in kostspielige „Entferren-und-Wiederentdecken“-Zyklen.
Versagen der automatischen Prompt-Migration (APM): In Szenarien, in denen ein Experten-Prompt, der für ein Modell (z. B. GPT-3.5-turbo) optimiert wurde, an ein anderes (z. B. GPT-4o) angepasst werden muss, führt eine naive Re-Optimierung oft zu einem Instruktionsverlust, bei dem die tragenden Instruktionen des Quell-Prompts während des Anpassungsprozesses überschrieben werden.

2. Methodik: TRAS-Framework

Die Autoren schlagen TRAS (Textual Regularization with Aggregated Signals) vor, ein feedback-zentriertes Framework, das als Plug-and-Play mit bestehenden APO-Such-Backbones (z. B. MCTS-basierten Strategien wie PromptAgent) funktioniert. TRAS operiert durch drei Kernmechanismen:

A. Dual-Signal-Generierung

Anstatt sich nur auf Fehlersignale zu verlassen, generiert TRAS in jedem Optimierungsschritt $t$ zwei komplementäre textuelle Signale:

Textueller Gradient (Korrektursignal): Abgeleitet von Fehlern ( $B_t^-$ ). Eine Kritik-Policy $\pi_g$ analysiert fehlerhafte Vorhersagen, um natürliche Sprachinstruktionen darüber zu generieren, was zu ändern ist (z. B. fehlende Constraints, Formatierungsprobleme).
Textuelle Regularisierung (Erhaltungssignal): Abgeleitet von Erfolgen ( $B_t^+$ $B_{t}^{+}$ ). Eine Attributions-Policy $\pi_r$ $π_{r}$ analysiert korrekte Vorhersagen, um zu identifizieren, welche Prompt-Komponenten zum Erfolg beigetragen haben. Dies generiert einen Regularisierer $r_t$ $r_{t}$ , der „nicht entfernen“, „unverändert lassen“ oder „stärken“-Constraints vorschreibt, um vorteilhafte Strukturen zu bewahren.
- Warm-up-Zeitplan: Um ein Verharren an schlechten Initialisierungen zu verhindern, wird das Regularisierungssignal während der ersten $\tau_{warmup}$ Iterationen deaktiviert, was dem Optimierer erlaubt, frei zu explorieren, bevor er stabilisiert wird.

B. Monte Carlo Signalaggregation (MCSA)

Da sowohl der textuelle Gradient als auch der Regularisierer stochastische LLM-Outputs sind, können sie verrauscht sein. TRAS verwendet MCSA, um die Varianz zu reduzieren:

Das System sampelt $K$ unabhängige Signale sowohl für den Gradienten als auch für den Regularisierer.
Ein Aggregations-Operator (LLM-Summarizer) konsolidiert diese $K$ Samples zu einzelnen, handlungsleitenden Direktiven ( $\bar{g}_t, \bar{r}_t$ ).
Dieser Prozess betont konsistente, handlungsfähige Ratschläge, während Ausreißer herausgefiltert werden. Die Autoren merken an: Ein höheres $K$ reduziert die Varianz, birgt aber das Risiko der „Verwässerung“ (generische Zusammenfassungen), wenn zu viele Signale komprimiert werden.

C. Prompt-Update und Migration

Der nächste Prompt $p_{t+1}$ wird durch eine Update-Policy generiert, die die aggregierten Korrekturen anwendet und gleichzeitig die Erhaltungskonstraints respektiert.

Für APM: Wenn ein Prompt von einem Quellmodell zu einem Zielmodell migriert wird, aktiviert TRAS die textuelle Regularisierung sofort ( $\tau_{warmup} = 0$ ) und verwendet eine kleinere Sample-Anzahl $K$ (aufgrund der geringeren Varianz von warm-gestarteten Experten-Prompts). Dies stellt sicher, dass modellspezifische Diskrepanzen via $\bar{g}_t$ korrigiert werden, während die übertragbare Struktur des Experten-Prompts via $\bar{r}_t$ erhalten bleibt.

3. Wichtigste Beiträge

Die Arbeit formalisiert und trägt Folgendes bei:

Formalisierung der automatischen Prompt-Migration (APM): Die Autoren definen APM als das praktische Problem, Experten-Prompts über Modellversionen oder Anbieter hinweg anzupassen und dabei explizit „Instruktionsverlust“ zu vermeiden.
Textuelle Regularisierung: Die Einführung eines erfolgsbedingten Signals, das die Bewahrung vorteilhafter Prompt-Komponenten fördert und so die Optimierungs-Trajektorie stabilisiert.
Monte Carlo Signalaggregation (MCSA): Eine Technik zur Aggregation multipler stochastischer Signale, um die Varianz zu reduzieren und die Verwässerung handlungsfähiger Ratschläge zu steuern.
TRAS-Framework: Eine vereinheitlichte Methode, die diese Elemente kombiniert, um die Robustheit sowohl in Standard-APO- als auch in APM-Szenarien zu verbessern.

4. Experimentelle Ergebnisse

Die Autoren evaluierten TRAS auf fünf Reasoning-Tasks (Causal Judgment, Geometric Shapes, Penguins, Biosses, CB) unter Verwendung von GPT-3.5-turbo für Standard-APO und GPT-4o für APM (Migration von GPT-3.5-turbo).

Standard-APO (GPT-3.5-turbo):
- TRAS erreichte konsistente und statistisch signifikante Genauigkeitsverbesserungen gegenüber der Baseline (PromptAgent), die über die Aufgaben hinweg zwischen 4,9 % und 21,5 % lagen.
- Es reduzierte die Standardabweichung über verschiedene Random Seeds hinweg, was auf eine stabilere Optimierung hindeutet.
- Es reduzierte die LLM-API-Aufrufe um 0,5 % bis 3,3 %, indem es ineffiziente „Entferren-und-Wiederentdecken“-Zyklen vermied.
Automatische Prompt-Migration (GPT-3.5-turbo $\to$ GPT-4o):
- Eine naive Re-Optimierung von Experten-Prompts führte oft zu einem Verlust der ursprünglichen Gewinne aufgrund von Instruktionsverlust.
- TRAS verbesserte die finale Genauigkeit konsistent über der Baseline, mit Gewinnen zwischen 2,2 % und 16,0 %.
- Bemerkenswerte Verbesserungen zeigten sich bei Geometric Shapes (+12,5 %) und Biosses (+16,0 %), wo die Bewahrung der domänenspezifischen Struktur entscheidend war.
- TRAS reduzierte die Gesamtzahl der API-Aufrufe in der Migrations-Einstellung um 4,2 % bis 6,2 %.
Ablationsstudien:
- Warm-up: Die Performance erreichte ihren Höhepunkt, wenn die Regularisierung nach 3–4 Iterationen aktiviert wurde; eine zu frühe Aktivierung band schwache Prompts fest, während eine zu späte Aktivierung semantischen Drift zuließ.
- Aggregationsanzahl ( $K$ ): Die Genauigkeit verbesserte sich bis zu $K \approx 6$ (Reduktion der Varianz), verschlechterte sich jedoch bei größeren $K$ aufgrund der Signalverwässerung.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass TRAS eine robuste Lösung für die Instabilität bietet, die der Black-Box-Prompt-Optimierung innewohnt. Durch den Wechsel von einem rein fehlergetriebenen Paradigma zu einem feedback-zentrierten Ansatz, der Korrektur mit Bewahrung ausbalanciert, erreicht TRAS:

Stabilisierung der Optimierung: Reduziert semantischen Drift und die Varianz in der Prompt-Such-Trajektorie.
Ermöglicht effektive Migration: Löst das praktische Problem, Experten-Prompts über Modellversionen hinweg anzupassen, ohne kritische Instruktionen zu verlieren – ein Fehlermodus, der bei naiver Re-Optimierung häufig auftritt.
Verbessert die Effizienz: Erzielt eine höhere Genauigkeit mit weniger API-Aufrufen, indem es zuverlässiger konvergiert und redundante Zyklen vermeidet.

Die Autoren positionieren TRAS als orthogonal zu Suchstrategien, was bedeutet, dass es verschiedene bestehende APO-Backbones verbessern kann. Sie schlagen vor, dass zukünftige Arbeiten alternative Aggregationsmechanismen, adaptive Regularisierungs-Zeitpläne und Erweiterungen auf Multi-Turn- oder kontinuierliche Deployment-Szenarien untersuchen könnten.