💻 computer science

Behavior Prompting Policy: Demonstrations as Prompts for Manipulation

Dieses Paper führt die Behavior Prompting Policy (BPP) ein, eine In-Context-Visuomotorik-Architektur, die es Robotern ermöglicht, neue Manipulationsaufgaben durch eine einzige menschliche Demonstration zur Inferenzzeit zu erlernen, unterstützt durch einen diversen Trainingsdatensatz, der über die iPhUMI-Schnittstelle gesammelt wurde, und validiert durch neuartige Evaluierungs-Benchmarks.

Ursprüngliche Autoren: Austin Patel, Ben Pekarek, Joel Enrique Castro Hernandez, Shuran Song

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Austin Patel, Ben Pekarek, Joel Enrique Castro Hernandez, Shuran Song

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem Roboter einen neuen Trick beibringen, wie zum Beispiel das Falten einer bestimmten Art von Hemd oder das Zeichnen einer bestimmten Form. Normalerweise ist das wie das Trainieren eines Hundes mit einem neuen Kommando: Man muss Stunden damit verbringen, es immer und immer wieder von Grund auf neu zu trainieren, bis es richtig gemacht wird. Wenn man ihm später einen anderen Trick beibringen möchte, muss man oft den gesamten Trainingsprozess von vorne beginnen.

Dieses Paper stellt eine neue Art vor, Roboter zu lehren, die „Behavior Prompting“ (Verhaltens-Prompting) genannt wird. Denken Sie weniger an formelles Training und mehr daran, einem Freund ein kurzes Video auf dem Handy zu zeigen und zu sagen: „Mach es so wie hier.“

Hier ist eine Aufschlüsselung, wie das funktioniert, unter Verwendung einfacher Analogien:

1. Die Kernidee: Das „Video-Rezept“

Anstatt dem Roboter eine Textanweisung zu geben („Falte das Hemd“) oder ein finales Bild davon, wie das Hemd aussehen soll, geben Sie dem Roboter eine einzelne Video-Demonstration eines Menschen, der die Aufgabe ausführt.

Die Analogie: Stellen Sie sich vor, Sie versuchen, einen Kuchen zu backen.
- Der alte Weg: Sie erhalten ein schriftliches Rezept (Sprache) oder ein Foto des fertigen Kuchens (Zielbild). Sie müssen die einzelnen Schritte erraten.
- Behavior Prompting: Ihnen wird ein Video überreicht, in dem jemand genau diesen Kuchen backt. Sie können genau sehen, wie die Person das Ei aufgeschlagen hat, wie viel sie gerührt hat und mit welcher Geschwindigkeit sie sich bewegt hat. Der Roboter sieht dieses „Video-Rezept“ (den Behavior Prompt) und versucht, die Bewegungen zu kopieren, nicht nur das Ergebnis.

2. Das Gehirn: Der „Intelligente Übersetzer“ (BPP)

Das Paper führt ein neues Robotergehirn namens Behavior Prompting Policy (BPP) ein.

Wie es funktioniert: Wenn der Roboter gebeten wird, eine Aufgabe auszuführen, betrachtet er zwei Dinge gleichzeitig:
1. Was er gerade sieht (den aktuellen Raum, das Hemd auf dem Tisch).
2. Das „Video-Rezept“ (die menschliche Demonstration).
Die Magie: Der Roboter lernt das Video nicht einfach nur auswendig. Er agiert wie ein intelligenter Übersetzer. Er betrachtet das Video und sagt: „Okay, in dem Video hält die Person das Hemd hier. In meiner aktuellen Ansicht ist das Hemd dort. Also muss ich meine Hand bewegen, um diese Position zu erreichen.“ Er vergleicht das Video ständig mit der Realität, um den nächsten Schritt zu bestimmen.

3. Das Training: Vielfalt ist der Schlüssel

Die Forscher fanden heraus, dass der Roboter während seines anfänglichen Trainings eine Vielzahl von verschiedenen Arten von Aufgaben sehen muss, aber nicht viele Beispiele für jede spezifische Aufgabe benötigt.

Die Analogie: Denken Sie an einen Koch, der das Kochen lernt.
- Wenn man ihn an 1.000 Beispielen für das Kochen von nur Spaghetti trainiert, wird er großartig in Spaghetti sein, aber schrecklich darin, einen Salat zuzubereiten.
- Wenn man ihm 1 Beispiel von 1.000 verschiedenen Gerichten zeigt (Suppe, Salat, Steak, Kuchen), lernt er das allgemeine „Können des Kochens“.
- Das Paper stellte fest, dass es dem Roboter sehr hilft, wenn man ihm ein „Menü“ aus vielen verschiedenen Aufgaben gibt (selbst wenn es nur wenige Beispiele pro Aufgabe sind), da dies seine Fähigkeit verbessert, später im laufenden Betrieb neue Dinge zu lernen.

4. Das Werkzeug: Die „Magische Fernbedienung“ (iPhUMI)

Um all diese verschiedenen Beispiele zu sammeln, entwickelte das Team ein spezielles handgehaltenes Gerät namens iPhUMI.

Was es ist: Es ist ein Greifer, an dem ein iPhone befestigt ist.
Wie es hilft: Ein Mensch kann dieses Gerät einfach aufheben und sich physisch im Raum bewegen, um dem Roboter zu zeigen, was zu tun ist. Da es ein iPhone besitzt, weiß es sofort, wo es sich im Raum befindet (es ist keine stundenlange Kartierung des Raums nötig).
Der Vorteil: Zum Zeitpunkt der Anwendung (wenn der Roboter tatsächlich arbeitet), kann ein Mensch dieses Gerät aufnehmen, eine Aufgabe einmal ausführen, um sie dem Roboter zu zeigen, und der Robbot weiß sofort, wie er sie ausführt. Es ist wie eine „Fernbedienung“, um neue Fähigkeiten sofort zu lehren.

5. Die Ergebnisse: Was wurde getestet?

Das Team testete dies an zwei Dingen:

Zeichnen: Sie baten den Roboter, Formen zu zeichnen. Selbst wenn der Roboter diese spezifische Form noch nie gesehen hatte, konnte er die Bewegung nachahmen, um sie auf einem anderen Board an einem anderen Ort zu zeichnen, sofern ein Mensch sie einmal auf einem Tablet gezeichnet hatte (der Prompt).
Tischaufgaben: Sie testeten Aufgaben wie das Aufheben von Schüsseln und das Bewegen von ihnen. Sie fanden heraus, dass, wenn der Roboter ein Video eines Menschen sah, der eine Schüssel bewegt, er in der Lage war, eine andere Schüssel an einen anderen Ort zu bewegen, selbst wenn er diese spezifische Kombination zuvor noch nie gesehen hatte.

Zusammenfassung

Das Paper behauptet, dass Behavior Prompting es Robotern ermöglicht, neue Fähigkeiten sofort durch das Beobachten einer einzigen menschlichen Demonstration zu erlernen, ohne dass ein teures erneutes Training erforderlich ist.

Das Geheimnis: Es funktioniert am besten, wenn der Roboter zuvor eine große Vielfalt an Aufgaben gesehen hat.
Der Vorteil: Es ist schneller und flexibler als Textanweisungen oder das bloße Zeigen des finalen Ziels. Es schließt die Lücke zwischen „was zu tun ist“ und „wie es zu tun ist“, indem es die tatsächlichen Bewegungen des Menschen als Leitfaden nutzt.

Wichtiger Hinweis: Das Paper konzentriert sich auf diese spezifischen Fähigkeiten (Zeichnen und Tischmanipulation). Es behauptet nicht, dass diese Technologie bereits bereit für komplexe medizinische Operationen oder industrielle Montageprozesse ist, noch dass der Roboter behauptet, jede mögliche Aufgabe mit nur einem Blick lernen zu können; sie funktioniert am besten innerhalb der Arten von Aufgaben, für die er breit trainiert wurde.

Technisches Resümee: Behavior Prompting Policy (BPP)

Problemstellung

Das Beibringen neuer Fähigkeiten an Roboter erfordert traditionell ein erschöpfendes Nachtrainieren oder Fine-Tuning für jede spezifische Aufgabe, was ineffizient ist und die schnelle Bereitstellung einschränkt. Während große Sprachmodelle (Large Language Models) durch In-Context Learning (Anpassung an neue Aufgaben via Few-Shot-Beispielen zur Testzeit) beachtliche Erfolge erzielt haben, hinkt die Robotik bei der Erzielung ähnlicher Fähigkeiten für die Manipulation hinterher. Bestehende Ansätze verlassen sich oft auf Sprachbeschreibungen oder Zielbilder, die jedoch unvollständige Informationen hinsichtlich der spezifischen räumlichen und zeitlichen Ausführung einer Aufgabe liefern können. Darüber hinaus stützen sich viele Few-Shot-Learning-Methoden in der Robotik auf Meta-Learning mit Gradienten-Updates oder expliziten räumlichen Transformationen, was sich bei hochdiversen Aufgabenverteilungen möglicherweise nicht gut skalieren lässt.

Die Autoren schlagen Behavior Prompting vor, ein Paradigma, bei dem ein Roboter eine neue Aufgabe zur Testzeit unter Verwendung einer einzelnen menschlichen Demonstration (dem „Behavior Prompt“) ausführt. Dieser Prompt besteht aus Beobachtungen, Propriozeption und Aktionen in den Sensorimotorik-Raum des Roboters und definiert gleichzeitig die Aufgabe sowie ein konkretes Beispiel für deren Ausführung.

Methodik

1. Behavior Prompting Policy (BPP)

Der zentrale algorithmische Beitrag ist die Behavior Prompting Policy (BPP), eine visuo-motorische In-Context-Architektur, die darauf ausgelegt ist, einen Behavior Prompt und die aktuelle Beobachtung in Roboteraktionen zu übersetzen. Die Architektur umfasst drei Hauptkomponenten:

Prompt-Chunking & Embedding: Der Behavior Prompt (eine Sequenz von Beobachtungen, Propriozeption und Aktionen) wird zur Effizienz zeitlich herunterskaliert (typischerweise auf 1 Hz). Die Sequenz wird in „Chunks“ unterteilt, wobei jeder Chunk einen Zeitschritt der Beobachtung ( $o$ ) und der Propriozeption ( $q$ ) sowie die Sequenz der Aktionen ( $a$ ), die zum nächsten Chunk führt, enthält. Ein Attention-Pooling-Mechanismus führt $\{o, q, a\}$ zu einem einzigen Chunk-Embedding ( $p_i$ ) zusammen.
Prompt-Encoder: Dies ist ein Transformer-Decoder, der relevante Informationen aus der Prompt-Sequenz ( $P = [p_0, \dots, p_n]$ ) unter Berücksichtigung der aktuellen Beobachtung extrahiert. Die aktuelle Beobachtung wird tokenisiert und mittels Cross-Attention mit den Prompt-Chunk-Embeddings verarbeitet. Dies ermöglicht es dem Modell, zeitliche Korrespondenzen und räumliche Unterschiede zwischen der Prompt-Demonstration und der aktuellen Umgebung zu identifizieren.
Action-Decoder: Die extrahierten Prompt-Informationen werden zusammen mit der aktuellen Beobachtung und einem Diffusions-Zeitschritt in ein Diffusionsmodell (speziell eine CNN-basierte Architektur mit FiLM-Conditioning) eingespeist. Der Decoder führt iterativ das Denoising durch, um geschlossene Regelkreis-Aktionen (closed-loop actions) zu generieren.

Trainingsstrategie: BPP wird mittels Standard-Behavior-Cloning auf Multi-Task-Imitation-Learning-Datensätzen trainiert. Für jeden Trainingsschritt wird eine einzelne Demonstration als Prompt ausgewählt und ein Batch aus receding-horizon Beobachtungen und zukünftigen Aktionen aus anderen Demonstration derselben Aufgabe gesampelt. Entscheidend ist, dass keine explizite räumliche oder zeitliche Korrespondenz zwischen dem Prompt und dem Trainings-Batch erzwungen wird; das Modell lernt end-to-end, den Prompt effektiv zu nutzen.

2. iPhUMI-Interface

Um den Datenbedarf für Behavior Prompting zu adressieren, führen die Autoren iPhUMI ein, ein handgehaltenes Manipulations-Interface. Adaptiert vom UMI-Greifer, ersetzt es die GoPro durch ein iPhone 15 Pro. Zu den Hauptmerkmalen gehören:

Sofortige Lokalisierung: Nutzt on-device ARKit für Echtzeit-SLAM, wodurch die mühsame Kartierung der Umgebung entfällt.
Kabelloses Prompting: Ermöglicht es einem menschlichen Operator, Behavior Prompts kabellos an eine Workstation zu übertragen, was eine sofortige Konditionierung der Policy zur Testzeit für neue Aufgaben ermöglicht.

Evaluierung und Benchmarks

Die Autoren führen zwei neue Benchmarks ein, um die Anpassung zur Testzeit zu evaluieren, wobei der Fokus auf hoher Aufgaben-Diversität statt auf der Komplexität einzelner Aufgaben liegt:

DrawAnything: Eine Zeichenumgebung (simuliert und realweltlich), die kontinuierliche, feingranulare Aktionsanpassung erfordert.
- Sim: Trainiert auf 2.000 prozedural generierten Aufgaben; getestet auf 50 ungesehenen menschlichen Zeichnungen.
- Real: Verwendet einen ARX-Roboterarm mit einer iPhone-Handkamera. Trainiert auf 1.000 Aufgaben; getestet auf 10 ungesehenen Aufgaben.
LIBERO-Gen: Eine Erweiterung des LIBERO-Manipulations-Benchmarks mit signifikant mehr Aufgaben.
- Combination: Erweitert 10 Aufgaben auf 174; testet die Fähigkeit, eine von zwei identischen Schüsseln auszuwählen und in einer von neun Positionen zu platzieren.
- Chain: Erweitert 10 Aufgaben auf 321; testet sequentielle Zwei-Schritt-Interaktionen (z. B. Schublade öffnen, dann Objekt platzieren).

Kernergebnisse

Überlegene Anpassung: Bei ungesehenen Zeichenaufgaben (DrawAnything-Sim) erreichte BPP eine Reduktion des Fehlers um 80,7 % im Vergleich zu einer Goal-Image-Baseline und eine Reduktion um 33,3 % im Vergleich zu ICRT (einem vorangegangenen Behavior-Prompting-Modell).
Robustheit gegenüber Komplexität: In den LIBERO-Gen-Benchmarks übertraf BPP die Baselines (Goal-Image, Sprache und ICRT) und konkurrierte mit $\pi_0.5$ (einem Foundation-VLA-Modell mit 100K LoRA-Fine-Tuning-Schritten), obwohl BPP über kein Foundation-Pretraining verfügt.
Attention-Mechanismus: Die Visualisierung der Prompt-Encoder-Attention (Abb. 5) zeigt, dass BPP den Aufgabenfortschritt effektiv verfolgt. Bei kontinuierlichen Aufgaben (Zeichnen) folgt die Attention eng dem Prompt; bei diskreten Aufgaben (LIBERO) verfolgt die Attention „Meilensteine“ (z. B. das nächste zu interagierende Objekt).
Datenanforderungen: Systematische Ablationen zeigten, dass die Aufgaben-Diversität der primäre Treiber der Prompting-Fähigkeit ist. Das Sammeln weniger Demonstrationen pro Aufgabe über eine große Anzahl distinkter Aufgaben hinweg liefert eine bessere Anpassung zur Testzeit als viele Demonstrationen für nur wenige Aufgaben.

Bedeutung und Ansprüche

Das Paper behauptet, dass Behavior Prompting eine flexible und skalierbare Methode darstellt, um Robotern neue Fähigkeiten beizubringen, ohne teures Fine-Tuning zu benötigen. Durch die Nutzung einer einzelnen menschlichen Demonstration als Prompt können Nutzer Aufgaben spezifizieren oder neue Roboterfähigkeiten „on the fly“ definieren.

Die Autoren betonen:

Sensorimotorische Prompts sind aussagekräftiger als Sprache oder Zielbilder für Aufgaben, die spezifische Low-Level-Verhaltensweisen oder räumlich-zeitliche Strategien erfordern.
Aufgaben-Diversität in den Trainingsdaten ist entscheidend, um Zero-Shot-Anpassung an ungesehene Aufgaben zu ermöglichen.
iPhUMI dient als praktisches Interface sowohl für das Sammeln diverser Trainingsdaten als auch für die Spezifikation von Behavior Prompts zur Testzeit, wodurch die Lücke zwischen menschlicher Intention und Roboter-Ausführung geschlossen wird.

Die Arbeit positioniert Behavior Prompting als einen Schritt, um die Fähigkeit von Robotern zu ermöglichen, vortrainiertes Wissen auf neue Umgebungen (z. B. ein spezifisches Zuhause) durch eine einzige Demonstration zu übertragen, was das Anpassungsproblem durch Bereitstellung reichhaltiger Informationen über die Zielumgebung und die gewünschte Manipulationsstrategie vereinfacht.