🤖 machine learning

Freeform Preference Learning for Robotic Manipulation

Dieses Paper führt Freeform Preference Learning (FPL) ein, eine Methode, die es robotischen Manipulations-Policies ermöglicht, aus natürlichen Sprach-Präferenzachsen anstatt aus binären Vergleichen zu lernen, was zu einer signifikant verbesserten Leistung, dichten Fortschrittssignalen und der Fähigkeit führt, das Verhalten zur Testzeit ohne erneutes Training zu steuern.

Ursprüngliche Autoren: Marcel Torne, Anubha Mahajan, Abhijnya Bhat, Chelsea Finn

Veröffentlicht 2026-07-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Marcel Torne, Anubha Mahajan, Abhijnya Bhat, Chelsea Finn

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, einen Tisch zu decken. In den alten Zeiten, wenn der Roboter einen Teller fallen ließ, sagten Sie einfach: „Schlechte Arbeit.“ Wenn er den Tisch perfekt deckte, sagten Sie: „Gute Arbeit.“ Das ist so, als würde man einem Roboter ein einfaches „Daumen hoch“ oder „Daumen runter“ geben.

Das Problem ist, dass „einen Tisch decken“ kompliziert ist. Sie möchten vielleicht, dass der Roboter schnell ist, aber auch behutsam, damit er nicht das Porzellan zerbricht. Sie möchten vielleicht, dass er ordentlich ist, aber auch vorsichtig, damit er kein Messer auf einen Gast richtet. Wenn Sie nur ein „Daumen hoch“ oder „Daumen runter“ geben, wird der Roboter verwirrt sein. War es ein „Daumen runter“, weil er zu langsam war? Weil er zu grob war? Oder weil die Gabeln schief lagen? Es ist, als würde man versuchen zu erraten, warum ein Schüler eine Prüfung nicht bestanden hat, wenn der Lehrer nur ein „Ungenügend“ ohne Kommentare auf das Blatt schreibt.

Hier kommt „Freeform Preference Learning“ (FPL) ins Spiel.

Betrachten Sie FPL als eine Änderung des Bewertungsstils des Lehrers. Anstatt nur eine Endnote zu geben, darf der Lehrer (der Mensch) spezifische Kommentare zu verschiedenen Teilen der Prüfung schreiben.

Der alte Weg: Die „Gesamtnote“

Bei traditionellen Methoden betrachtet ein Mensch zwei Videos eines Roboters, der versucht, den Tisch zu decken, und muss einen Gewinner auswählen.

Video A: Super schnell, aber lässt die Tasse fallen.
Video B: Sehr langsam, aber platziert alles perfekt.
Das Dilemma des Menschen: „Welches ist besser?“ Es ist eine schwierige Entscheidung. Der Mensch muss all diese verschiedenen Qualitäten (Geschwindigkeit, Sicherheit, Ordentlichkeit) in einen einzigen „Gewinner“ zusammenfassen. Dies erzeugt ein schwammiges, verwirrendes Signal für den Roboter.

Der neue Weg: Das „freie“ Feedback

Mit FPL kann der Mensch ein spezifischer Kritiker sein. Er kann sagen:

„Auf der Achse der Geschwindigkeit gewinnt Video A.“
„Auf der Achse der Sicherheit gewinnt Video B.“
„Auf der Achse der Ordentlichkeit gewinnt Video B.“

Der Roboter lernt nicht nur „Gut“ oder „Schlecht“. Er lernt eine mehrdimensionale Landkarte. Er lernt, dass „Geschwindigkeit“ eine Sache ist, „Sicherheit“ eine andere, und dass er beides ausbalancieren kann.

Wie es funktioniert (Die Metapher)

Stellen Sie sich vor, der Roboter ist ein neuer Koch.

Das Menü (Die Achsen): Anstatt nur zu fragen „Ist das Essen gut?“, wird der Koch gebeten, das Essen nach spezifischen Kriterien zu beurteilen: „Ist es salzig genug?“ „Ist es heiß?“ „Ist die Präsentation hübsch?“
Die Verkostung (Das Training): Der Mensch probiert zwei verschiedene Gerichte. Anstatt nur zu sagen „Ich mag Gericht A“, sagt er: „Gericht A ist salziger, aber Gericht B ist heißer.“
Das Lernen: Der Roboter baut ein mentales Modell auf, das versteht: „Ah, wenn der Mensch ‚salziger‘ sagt, meint er dieses spezifische Geschmacksprofil. Wenn er ‚heißer‘ sagt, meint er die Temperatur.“
Das Ergebnis: Später kann man dem Roboter sagen: „Heute Abend möchte ich ein sehr heißes Gericht, auch wenn es etwas weniger salzig ist.“ Da der Roboter die separaten „Achsen“ (Salz vs. Hitze) gelernt hat, kann er seinen Kochstil sofort anpassen, ohne neu trainiert werden zu müssen.

Was die Studie herausgefunden hat

Die Forscher haben dies an echten Robotern getestet, die Aufgaben wie das Falten von Shorts, das Platzieren von Toast auf einem Teller und das Decken eines Tisches ausführten.

Bessere Ergebnisse: Roboter, die mit dieser „Freeform“-Methode trainiert wurden, waren bei der Ausführung von Aufgaben um 38 % besser als Roboter, die mit der alten „Daumen hoch/runter“-Methode trainiert wurden.
Intelligenteres Verhalten: Die Roboter lernten, Fähigkeiten zu kombinieren, die sie zuvor nicht gesehen hatten. Zum Beispiel, wenn die Trainingsdaten „schnelle Linkshand-Bewegungen“ und „langsame Rechtshand-Bewegungen“ zeigten, konnte der Roboter herausfinden, wie er „schnelle Rechtshand-Bewegungen“ ausführt, indem er die Konzepte „schnell“ und „rechts“ kombinierte.
Steuerung in letzter Sekunde: Da der Roboter die separaten „Achsen“ gelernt hat, können Sie sein Verhalten in letzter Sekunde ändern. Sie können ihm sagen: „Sei heute super vorsichtig“ oder „Sei heute super schnell“, indem Sie einfach die Anweisung ändern, ohne ihn eine neue Art der Bewegung lehren zu müssen.

Warum das wichtig ist

Das Paper argumentiert, dass die Frage nach einer einzigen „besten“ Wahl für komplexe, langfristige Aufgaben zu vage ist. Indem wir Menschen erlauben, in natürlicher Sprache über spezifische Dinge zu sprechen, die ihnen wichtig sind (wie „zerbrich nicht den Teller“ oder „mach es schnell“), geben wir Robotern einen viel klareren, dichteren und nützlicheren Leitfaden für ihr Verhalten. Es verwandelt eine verwirrende „Ungenügend“-Note in ein detailliertes Zeugnis, das dem Roboter tatsächlich hilft, sich zu verbessern.

Technisches Resümee: Freeform Preference Learning für die robotergestützte Manipulation

Problemstellung

Das Design von Belohnungsfunktionen (Reward Design) bleibt ein kritischer Engpass für die autonome Verbesserung von Roboter-Policies, insbesondere bei langfristigen Manipulationsaufgaben (long-horizon tasks). Bestehende Ansätze stehen vor erheblichen Einschränkungen:

Spärliche Belohnungen (Sparse Rewards): Binäre Erfolg/Misserfolg-Labels liefern unzureichende Signale für komplexe Aufgaben, bei denen Zwischenfortschritte entscheidend sind.
Mehrdeutige binäre Präferenzen: Traditionelles Präferenzlernen (z. B. Bradley-Terry-Modelle) erfordert, dass Annotatoren mehrere konkurrierende Vorstellungen von Qualität (z. B. Geschwindigkeit vs. Sicherheit) in ein einziges „Gesamt“-Binärlabel zusammenfassen. Dies führt zu Mehrdeutigkeit, insbesondere beim Vergleich von Trajektoriensegmenten aus verschiedenen Aufgabenstadien.
Starre Belohnungsfunktionen: Handgefertigte skalare Belohnungen erfassen oft nicht das volle Spektrum menschlicher Intentionen, wie etwa Hygiene, Förmlichkeit oder Sorgfalt, was zu unerwünschten Downstream-Verhaltensweisen bei der Optimierung führt.

Das Paper postuliert, dass die Bewahrung der mehrdimensionalen Natur menschlichen Urteils entscheidend ist, um robuste Policies zu lernen, die alle Aspekte der Intention eines Nutzers erfassen.

Methodik: Freeform Preference Learning (FPL)

FPL führt ein Framework zum Lernen von Roboter-Policies aus freiformen menschlichen Präferenzen ein, die in natürlicher Sprache definiert sind, anstatt Feedback in einen einzelnen Skalar zu kollabieren. Die Methode besteht aus drei Kernkomponenten:

1. Freiform-Präferenzsammlung

Anstatt zu fragen: „Welche Trajektorie ist insgesamt besser?“, werden Annotatoren Trajektorienpaaren gezeigt und gebeten:

Spezifische Präferenzachsen in natürlicher Sprache zu definieren (z. B. „Geschwindigkeit“, „Sicherheit“, „Förmlichkeit des Aufbaus“, „Glätte“). Diese Achsen können vordefiniert sein oder vom Annotator während des Prozesses spezifiziert werden.
Paarweise Präferenzen ( $y_k \in \{0, 1\}$ ) für jede definierte Achse ( $l_k$ ) anzugeben.
Dies liefert einen Datensatz $\mathcal{P}$ von Trajektorienpaaren, die mit natürlichen Sprachlabels und achsenspezifischen binären Präferenzen annotiert sind.

2. Sprachkonditioniertes Reward-Lernen

FPL lernt ein einzelnes Reward-Modell $r_\phi$ , das auf die natürliche Sprachbeschreibung der Achse konditioniert ist, indem es die Repräsentationen vortrainierter Vision-Language-Modelle (VLM) nutzt.

Achsenkonditionierte Bewertung: Für ein Trajektorienpaar $(\tau_i, \tau_j)$ und eine Menge von Achsen $\{(l_k, y_k)\}$ wird das Modell darauf trainiert, einen modifizierten Bradley-Terry-Loss zu minimieren:
$L_{FPL-Reward}(\phi) = -\mathbb{E} \left[ \sum_{k=1}^{K_{ij}} \log \sigma \left( (2y_k - 1) [r_\phi(\tau_i | l_k) - r_\phi(\tau_j | l_k)] \right) \right]$
Temporale Modellierung: Im Gegensatz zu Standardmodellen, die einzelne Beobachtungen bewerten, konditioniert FPL den Reward auf die Beobachtungshistorie. Der Trajektorien-Level-Reward ist definiert als die Summe der Per-Prefix-Scores:
$r_\phi(\tau, l_k) = \sum_{i=1}^{T} g_\phi(o_{1:i}, l_k)$
wobei $g_\phi$ ein multimodaler Transformer ist. Dies ermöglicht es dem Modell, die notwendigen zeitlichen Abhängigkeiten zu erfassen, um Trajektorien-Level-Präferenzen zu bewerten.

3. Mehrdimensionale Policy-Extraktion

Anstatt der gelernten mehrdimensionalen Rewards in einen einzigen gewichteten Skalar zu kollabieren (was das Risiko von Reward Hacking birgt), trainiert FPL eine Policy $\pi_\theta$ , die gleichzeitig auf die natürlichen Sprachachsen und die entsprechenden Reward-Scores konditioniert ist.

Die Policy wird mittels Behavior Cloning (oder Offline RL) auf einem Datensatz trainiert, bei dem die Aktionen auf die Menge der Achsen $\mathcal{L} = \{l_1, \dots, l_{K_\pi}\}$ und die dazugehörigen Rewards $r_\phi(\tau | l_k)$ konditioniert sind.
Iteratives Training: Der Prozess kann iterativ gestaltet werden. Wenn sich die Policy verbessert, können Annotatoren verfeinertes Feedback geben, und der Satz der Achsen kann erweitert werden, was ein natürliches Curriculum schafft.
Steuerbarkeit zur Testzeit (Test-Time Steerability): Zur Inferenzzeit kann die Policy in Richtung spezifischer Verhaltensweisen gesteuert werden, indem die Ziel-Reward-Werte konditioniert auf spezifische Achsen variiert werden, ohne ein Retraining durchzuführen.

Wichtigste Beiträge

Freeform Preference Learning (FPL): Eine neuartige Methode zur Gewinnung und zum Lernen aus mehrdimensionalen, natürlichsprachlichen menschlichen Präferenzen, die die Mehrdeutigkeit von „Gesamt“-Binärlabels vermeidet.
Sprachkonditioniertes Reward-Modell: Eine Reward-Funktion, die eine Trajektorie und eine natürliche Sprachbeschreibung einer Achse auf einen Skalarwert abbildet und so das Lernen diverser Attribute (Qualität, Geschwindigkeit, Sicherheit, Hygiene) aus einem einzigen Modell ermöglicht.
Kompositionalität und Steuerbarkeit: Das Framework ermöglicht es Policies, kompositionale Verhaltensweisen (Kombination von Merkmalen, die nicht gemeinsam in den Daten vorkamen) zu zeigen, und erlaubt die Steuerung des Verhaltens zur Testzeit durch Anpassung der Reward-Konditionierung.
Dichte Supervision ohne Segmentierung: FPL lernt dichte Fortschrittssignale für langfristige Aufgaben, ohne dass eine explizite Subtask-Segmentierung oder manuelles Reward-Shaping erforderlich ist.

Experimentelle Ergebnisse

Die Autoren evaluierten FPL bei vier realen Aufgaben (einen Würfel in eine Schüssel legen, Shorts falten, Toast belegen, einen Tisch decken) und zwei simulierten Aufgaben (Objektumordnung, Bimodales Quadrat).

Leistung: FPL übertraf die Baselines (einschließlich Sparse Rewards, binäres Präferenzlernen und gewichtete Regression) im Durchschnitt um 38 Prozentpunkte bei den realen Aufgaben.
Simulation: In der „Bimodal Square“-Aufgabe konnte FPL erfolgreich Verhaltensweisen komponieren (eine Mutter schnell auf einen Stift setzen), selbst wenn die Trainingsdaten nur schnelle Beispiele für den anderen Stift enthielten. Es erreichte zudem eine hohe Leistung bei der „invertierten“ Aufgabe (linker Stift) unter Verwendung derselben Policy durch Änderung der Reward-Konditionierung – eine Fähigkeit, die den Baseline-Methoden fehlt.
Reward-Dichte: Die qualitative Analyse zeigte, dass die achsenkonditionierten Rewards von FPL zeitlich lokalisiert um spezifische Subtask-Ereignisse waren (z. B. das Platzieren eines Bechers), während binäre Präferenz-Rewards ambivalente Spikes im späten Stadium produzierten.
Effizienz der Annotation: Das Sammeln von Freeform-Präferenzen war etwa 50 % schneller pro Label als das Sammeln einzelner binärer Präferenzen, da die Kosten für das Betrachten eines Videos durch mehrere achsenspezifische Urteile geteilt werden.

Bedeutung und Ansprüche

Das Paper behauptet, dass FPL die grundlegende Herausforderung adressiert, die „mehrdimensionale“ Natur menschlicher Intention in der Robotik zu erfassen. Durch die Bewahrung der Struktur des menschlichen Feedbacks anstatt sie zu kollabieren, ermöglicht FPL:

Eine dichtere, weniger mehrdeutige Supervision für die Policy-Optimierung.
Die Ermöglichung von kompositionaler Generalisierung, wodurch Roboter gelernte Verhaltensweisen (z. B. Geschwindigkeit + Sicherheit) auf eine Weise kombinieren können, die nicht explizit in den Daten demonstriert wurde.
Eine Steuerbarkeit zur Testzeit, die es Nutzern erlaubt, das Roboterverhalten anzupassen (z. B. Priorisierung von Geschwindigkeit gegenüber Vorsicht), ohne ein Retraining durchzuführen.
Den Nachweis, dass natürliche Sprache eine viable und effektive Schnittstelle zur Definition von Reward-Achsen ist, die über starre, vordefinierte Reward-Strukturen hinausgeht.

Die Autoren kommen zu dem Schluss, dass Präferenzlernen zwar aufwendiger ist als unüberwachte Ansätze, FPL jedoch die Qualität und Flexibilität der gelernten Policies signifikant verbessert, was es zu einem vielversprechenden Weg für das Lernen in der realen Welt macht.