🤖 machine learning

Prompt-Driven Exploration

Das Paper führt Prompt-Driven Exploration (PDE) ein, eine Strategie des bestärkenden Lernens, die ein Vision-Language-Modell nutzt, um natürliche Sprach-Prompts basierend auf Rollout-Analysen iterativ zu verfeinern und dadurch effektive globale Exploration sowie das Lernen aus spärlichen Belohnungen ohne die Abhängigkeit von Rauschen im Aktionsraum zu ermöglichen.

Ursprüngliche Autoren: Sunshine Jiang, John Marangola, David Zhang, Raghuram Kowdeed, Ruiyang Luo, Nitish Dashora, Richard Li, Pulkit Agrawal, Zhang-Wei Hong

Veröffentlicht 2026-07-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sunshine Jiang, John Marangola, David Zhang, Raghuram Kowdeed, Ruiyang Luo, Nitish Dashora, Richard Li, Pulkit Agrawal, Zhang-Wei Hong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter eine knifflige Aufgabe beizubringen, wie etwa eine Mikrowellentür zu schließen oder Blöcke zu stapeln. Sie geben dem Roboter eine einfache Anweisung, wie zum Beispiel „Schließe die Mikrowelle“. Aber der Roboter ist verwirrt. Anstatt die Tür zu drücken, greift er nach einer daneben stehenden Tasse und versucht, diese in die Mikrowelle zu schieben. Er scheitert immer und immer wieder.

In der Welt des Roboterlernens ist dies ein häufiges Problem. Normalerweise versuchen Wissenschaftler, wenn ein Roboter feststeckt, die Sache ein wenig aufzumischen. Sie fügen „Rauschen“ hinzu – winzige, zufällige Zitterbewegungen der Armbewegungen des Roboters. Es ist, als würde man dem Roboter sagen: „Hey, wackle vielleicht ein kleines bisschen mit deiner Hand nach links oder rechts.“

Das Problem mit dem Wackeln
Das Paper argumentiert, dass dieser „Wackel“-Ansatz oft nutzlos ist. Wenn der Roboter das falsche Objekt (die Tasse) hält und versucht, das Falsche zu tun, wird ein winziges Wackeln nicht helfen. Der Roboter braucht einen riesigen Sprung im Denken, nicht ein kleines Schlendern. Er muss erkennen: „Warte, ich sollte nicht die Tasse halten; ich sollte die Tür drücken.“ Aber zufälliges Zittern kann keine derartige große, globale Veränderung bewirken. Es erzeugt nur kleine, lokale Fehler.

Die neue Idee: Das Skript ändern
Hier kommt Prompt-Driven Exploration (PDE) ins Spiel. Anstatt den Arm des Roboters zu schütteln, entschieden sich die Forscher dazu, die Worte aufzumischen, die sie dem Roboter geben.

Stellen Sie sich den Roboter wie einen sehr wörtlich nehmenden Schauspieler in einem Theaterstück vor. Wenn im Skript steht „Greife die Tasse“, greift der Schauspieler die Tasse. Wenn der Schauspieler immer wieder scheitert, sagen Sie ihm nicht einfach, er solle mit den Fingern wackeln; Sie schreiben das Skript um.

Altes Skript: „Schließe die Mikrowelle.“ (Ergebnis: Der Roboter greift die Tasse).
Neues Skript: „Drücke die Mikrowellentür, bis sie klickt.“ (Ergebnis: Der Roboter drückt die Tür).

Das Paper zeigt, dass sich das Verhalten des Roboters allein durch die Änderung des Prompts (der Anweisung) komplett verändert, was oft das Problem löst, ohne dass sein Gehirn überhaupt neu trainiert werden muss.

Der „Smart Editor“-Assistent
Der clevere Teil ist: Wie wissen Sie, welches neue Skript Sie schreiben sollen? Man kann nicht einfach raten. Die Forscher verwendeten einen speziellen „Smart Editor“ (ein Vision-Language-Modell), der den Roboter beim Scheitern beobachtet.

Der Roboter versucht die Aufgabe mit einer seltsamen Anweisung.
Er scheitert.
Der Smart Editor sieht sich das Video des Fehlversuchs an, findet heraus, warum er gescheitert ist (z. B. „Oh, er hat die Tasse gegriffen, weil der Prompt nicht sagte, dass er sie ignorieren soll“), und schreibt daraufhin eine brandneue, bessere Anweisung.
Der Roboter versucht es erneut mit der neuen Anweisung.

Dieser Prozess ist wie ein Detektiv, der ein Rätsel löst. Der Editor betrachtet die Hinweise (das Video des Fehlversuchs), diagnostiziert den Fehler und schreibt die Hinweise um, um den Detektiv (den Roboter) zur richtigen Lösung zu führen.

Was das Paper beweist (und was nicht)
Die Forscher testeten dies bei vielen verschiedenen Aufgaben, vom Stapeln von Blöcken bis zum Schließen von Schubladen.

Die Ergebnisse: In Simulationen half PDE beim Lernen von Aufgaben, die für Standardmethoden unmöglich waren. Zum Beispiel erreichte PDE bei einer Gruppe von „schweren“ Aufgaben, bei denen der Roboter mit einer Erfolgsquote von 0 % startete, eine hohe Erfolgsquote (wie 98 % bei der Mikrowellen-Aufgabe), während Standardmethoden (wie das zufällige Wackeln) nahe Null feststeckten.
Beweis in der realen Welt: Sie testeten dies sogar an einem echten Roboter in einem echten Labor. Mit nur 64 realen Versuchen (etwa einer Stunde Roboterzeit) verbesserte die PDE-Methode die Erfolgsquoten von etwa 13 % auf 35 %. Standardmethoden erreichten nach 128 Versuchen (doppelt so viel Zeit) nur etwa 20 %.
Was es nicht ist: Das Paper schließt explizit die Idee aus, dass es ausreicht, einfach nur viele verschiedene Arten zu haben, dasselbe zu sagen. Sie testeten dies, indem sie dem Roboter zufällige Umformulierungen gaben (wie „schließe das Gerät“ statt „schließe die Mikrowelle“) ohne die Hilfe des Smart Editors. Diese zufälligen Änderungen halfen kaum. Die Magie lag nicht in der Vielfalt der Worte, sondern in der intelligenten Auswahl der richtigen Worte basierend auf dem, was schiefgelaufen war.

Warum das wichtig ist
Dieser Ansatz legt nahe, dass es für große, intelligente Modelle der beste Weg ist, neue Verhaltensweisen zu erforschen, indem man nicht die Muskeln (Aktionen) manipuliert, sondern den Kontext (den Prompt). Es ist, als würde man erkennen, dass man, um eine bessere Leistung eines Schauspielers zu erzielen, ihn nicht trainieren muss, sich anders zu bewegen, sondern ihm nur eine bessere Zeile zum Vorlesen geben muss.

Das Paper legt nahe, dass dies funktioniert, weil der „Smart Editor“ wie ein Führer agiert, der ständig eine Liste der besten Anweisungen aktualisiert, die zu versuchen sind. Es ist eine Art, den „Raum der Ideen“ zu erkunden anstatt den „Raum der Bewegungen“, und es scheint ein viel schnellerer Weg zu sein, Roboter zu lehren, wenn sie bei Null anfangen.

Technisches Resümee: Prompt-Driven Exploration (PDE)

1. Problemstellung

Das Reinforcement Learning (RL) Post-Training für Foundation Models, insbesondere für Vision-Language-Action (VLA) Modelle, wird durch die Exploration gebremst. Standardmäßige RL-Methoden verlassen sich auf das Injizieren von Stochastizität in den Aktionsraum (z. B. Aktionsrauschen oder Parameterrauschen), um neue Verhaltensweisen zu entdecken. Die Autoren argumentieren jedoch, dass solches Rauschen lediglich lokale Perturbationen induziert, was dazu führt, dass die Rollouts nahe am aktuellen Verhalten der Policy verbleiben.

Diese Einschränkung ist kritisch beim Fine-Tuning schwacher initialer Policies (z. B. jener mit einer Erfolgsrate von nahezu Null bei Manipulationsaufgaben). Das Entkommen aus einer suboptimalen Policy erfordert oft globale Perturbationen, die die gesamte Trajektorie und Strategie verändern – etwas, das schrittweise Aktionsrauschen nicht erreichen kann. Zudem sind in Settings mit spärlichen Belohnungen (Sparse Rewards), in denen die initiale Policy selten erfolgreich ist, die Belohnungssignale zu dünn besiedelt, um die Auswahl nützlicher explorativer Aktionen zu steuern.

2. Methodik: Prompt-Driven Exploration (PDE)

Das Paper schlägt Prompt-Driven Exploration (PDE) vor, eine Strategie, die die Achse der Exploration vom Aktionsraum auf den Prompt-Raum verschiebt. Da Foundation Models (LLMs und VLAs) auf natürlichen Sprachprompts konditioniert sind, bewirkt die Modifikation des Prompts globale Änderungen im Verhalten der Policy, ohne dass Gewichtsaktualisierungen erforderlich sind.

Kernmechanismus

PDE behandelt die Prompt-Verteilung als einen Proxy für die Policy-Verteilung. Es implementiert eine Form des Posterior Sampling auf Prompt-Ebene:

Implizites Posterior Sampling: Anstatt eine Bayes'sche Posterior-Verteilung über die neuronalen Netzwerkparameter zu führen (was für große Modelle unpraktikabel ist), führt PDE eine Verteilung über Prompts $\rho(\cdot | g, H)$ aufrecht, wobei $g$ die Aufgabe und $H$ die Interaktionshistorie ist.
VLM als amortisierte Posterior-Aktualisierung: Ein Vision-Language-Modell (VLM) fungiert als Supervisor. Es analysiert Rollout-Videos, die von der aktuellen Policy unter verschiedenen Prompts generiert wurden, diagnostiziert Fehlermodi und schreibt die Prompts um, um ein besseres Verhalten zu erzielen. Dieser Prozess aktualisiert die Prompt-Verteilung $\rho$ , um sich auf Prompts zu konzentrieren, die erfolgreiche Rollouts hervorbringen.
Zweistufiger Trainingszyklus:
- Prompt-Entdeckung: Die Gewichte der Policy bleiben eingefroren. Das VLM sampelt Kandidaten-Prompts, führt Rollouts aus und verfeinert den Prompt-Pool basierend auf beobachteten Trajektorien und Belohnungen.
- Policy-Optimierung: Sobald ein Pool effektiver Prompts identifiziert wurde, wird die Policy mittels Proximal Policy Optimization (PPO) feinjustiert.

Wichtige technische Komponenten

Mixture Sampling: Während des RL-Trainings werden Prompts aus einer Mischung des kanonischen Aufgaben-Prompts ( $p_g$ ) und der entdeckten explorativen Prompts ( $\rho$ ) gesampelt. Das Mischgewicht $\alpha$ ist adaptiv und steigt an, wenn sich die Policy beim kanonischen Prompt verbessert.
Mixed Backpropagation: Um sicherzustellen, dass Verbesserungen durch explorative Prompts auf den kanonischen Prompt übertragen werden, wird der PPO-Loss modifiziert. Das Advantage-Verhältnis nutzt die durchschnittliche Log-Wahrscheinlichkeit der Aktion unter sowohl dem explorativen als auch dem kanonischen Prompt. Dies koppelt die Lernsignale und stellt sicher, dass die Policy Verhaltensweisen lernt, die über Prompt-Variationen hinweg robust sind.
Prompt-Verfeinerung: Das VLM generiert nicht nur zufällige Paraphrasen; es argumentiert über spezifische Fehlermodi (z. B. „der Roboter hat das falsche Objekt gegriffen“) und generiert gezielte Instruktionen (z. B. „greife den grünen Behälter, nicht den Becher“).

3. Zentrale Beiträge

Eine neue Explorationsachse: Das Paper führt die Exploration im Prompt-Raum als viable Alternative zu Aktionsraum-Rauschen ein, die in der Lage ist, globale Verhaltensänderungen zu induzieren, welche Aktionsrauschen nicht erreichen kann.
Von Zero-Shot zu Non-Zero Reward: PDE ermöglicht es RL, das Lernen von Policies mit initialen Erfolgsraten von Null zu starten (Bootstrapping). Durch das Entdecken von Prompts, die Non-Zero-Reward-Trajektorien freischalten, liefert PDE das notwendige Lernsignal für RL, während Standardmethoden in der Zero-Reward-Basin verharren würden.
Sample-Effizienz: Die Methode verbessert die Sample-Effizienz bei Manipulations- und Reasoning-Aufgaben signifikant und benötigt im Vergleich zu Baselines weita viel weniger Interaktionen mit der Umgebung, um hohe Erfolgsraten zu erreichen.
Generalisierung: Der Ansatz wird nicht nur für die VLA-Steuerung, sondern auch für LLM-basierte Reasoning- und Coding-Aufgaben demonstriert, was darauf hindeutet, dass Prompt-Raum-Exploration ein allgemeiner Mechanismus für das Fine-Tuning von Foundation Models ist.

4. Experimentelle Ergebnisse

Die Autoren evaluieren PDE auf mehreren Benchmarks:

LIBERO und LIBERO-PRO:
- Bei „Hard“-Aufgaben (initiale Erfolgsrate < 10 %) erzielt PDE eine relative Verbesserung von 60 % gegenüber Standard-Aktionsrauschen.
- Im Fallbeispiel „Close the Microwave“ führt PDE eine Policy, die unter dem kanonischen Prompt eine Erfolgsrate von 0 % aufweist, durch die Entdeckung von Prompts (z. B. „drücke die Mikrowellentür, bis sie schließt“) zu einem Non-Zero-Erfolg und erreicht schließlich ~100 % Erfolg beim kanonischen Prompt.
- PDE übertrifft Baselines wie Action Noise, Parameter Noise, Random Network Distillation (RND) und dichte Reward-Modelle (Robometer).
ManiSkill:
- PDE verbessert die Erfolgsraten über alle Schwierigkeitsgrade (Hard, Medium, Easy) und Generalisierungsachsen (Visuell, Semantisch, Ausführung) hinweg.
- Bei schwierigen Aufgaben, bei denen Aktionsrauschen keinen Fortschritt macht, ermöglicht PDE erfolgreich das Bootstrapping des Lernens.
Reale Manipulation:
- Mit einem Franka FR3-Arm demonstriert PDE eine überlegene Sample-Effizienz in physischen Umgebungen. Nach 128 Real-World-Rollouts erreichte PPO+PDE eine Erfolgsrate von 45 %, was mehr als das Doppelte der 20 % ist, die mit Standard-PPO und Aktionsrauschen erreicht wurden.
LLM-Aufgaben (LiveCodeBench & AIME 2026):
- Bei Coding- und mathematischen Reasoning-Aufgaben verbessert PDE die frühe Sample-Effizienz und erreicht im Vergleich zu Standard-RL-Fine-Tuning (RLOO und GRPO) höhere Genauigkeitswerte in weniger Trainingsschritten.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass für Foundation-Model-Policies effektive Exploration nicht zwangsläufig die Perturbation interner Parameter oder Aktionen des Modells erfordert. Stattdessen kann effektive Exploration aus dem Kontext (dem Prompt) kommen, der die Policy konditioniert.

Die Autoren positionieren PDE als Lösung für die Probleme der „spärlichen Belohnung“ (Sparse Reward) und der „schwachen Initialisierung“ beim RL-Fine-Tuning. Durch die Nutzung des vortrainierten Sprach-Priors von VLMs, um über Fehler zu argumentieren und Instruktionen umzuschreiben, realisiert PDE einen klassischen RL-Rahmen (Posterior Sampling) in einem handhabbaren, High-Level-Raum. Die Arbeit legt nahe, dass für Modelle, bei denen der Rollout aus einem Prompt folgt, die Modifikation des Prompts einen mächtigeren Mechanismus für globale Exploration darstellt als schrittweise Rausch-Perturbationen.

Das Paper schließt bescheiden mit der Feststellung, dass PDE „RL ermöglicht, erfolgreiche Policies selbst von Zero-Reward-Starts aus zu lernen“ und „die Sample-Effizienz breiter verbessert“, ohne zu behaupten, dass es alle Explorationsherausforderungen im RL löst. Die Methode wird als komplementäre Strategie präsentiert, die ändert, was die Policy tun soll, anstatt wie die Policy aktualisiert wird.