🤖 AI

Offline Policy Evaluation for Manipulation Policies via Discounted Liveness Formulation

Dieser Artikel schlägt ein neuartiges Framework zur Offline-Bewertung von Politiken für die robotische Manipulation vor, das einen diskontierten Lebendigkeits-basierten Bellman-Operator nutzt, um spärliche Belohnungen, nicht-monotone Aufgabenfortschritte und Verzerrungen durch endliche Horizont-Trunkierung effektiv zu handhaben und dadurch klassische Methoden in der genauen Abbildung des Aufgabenfortschritts zu übertreffen.

Ursprüngliche Autoren: Hao Wang, Joshua Bowden, Colton Crosby, Somil Bansal

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hao Wang, Joshua Bowden, Colton Crosby, Somil Bansal

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten einen Roboter, der lernt, ein Handtuch zu falten oder eine Schale aufzuheben. Manchmal gelingt es dem Roboter. Manchmal lässt er die Schale fallen, rutscht aus oder die Zeit läuft ab, bevor er fertig ist.

In der Welt der Robotik benötigen wir eine Möglichkeit, diese Versuche zu bewerten. Wir wollen wissen: „Wie gut ist die Strategie dieses Roboters?" Das Problem besteht darin, dass der Roboter erst am Ende des Versuchs eine Bewertung erhält: Bestanden (Aufgabe erledigt) oder Nicht bestanden (Zeit abgelaufen). Er erhält keine Punktzahl für jeden einzelnen Schritt auf dem Weg dorthin.

Dieser Beitrag stellt eine neue, intelligentere Methode zur Bewertung dieser Roboter vor, insbesondere wenn sie auch nach dem Begehen von Fehlern weiterhin versuchen dürfen.

Das Problem: Die „Zeitlimit"-Falle

Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt. Wenn die Zeit abläuft, stuft der Lehrer die gesamte Prüfung als „Unvollständig" ein. Aber was, wenn der Schüler eigentlich auf dem richtigen Weg war und nur noch zwei Minuten gebraucht hätte? Oder was, wenn er bei einer schwierigen Frage stecken blieb, eine Pause machte, eine einfachere löste und dann zu der schwierigen zurückkehrte?

In der Robotik nennt man dies Truncation Bias (Verzerrung durch Abbruch). Da der „Test" des Roboters (die Episode) eine harte Zeitgrenze hat, gehen Standardbewertungsmethoden davon aus, dass wenn der Roboter stoppt, weil die Zeit abgelaufen ist, dies ein totaler Misserfolg war. Sie erkennen nicht, dass der Roboter vielleicht fast dort war oder sich gerade in einer Erholungsphase befand. Dies lässt den Roboter schlechter aussehen, als er tatsächlich ist.

Die Lösung: Der „Liveness"-Score

Die Autoren schlagen eine neue Denkweise für die Bewertung vor. Anstatt zu fragen: „Wie viel Belohnung hast du erhalten?", fragen sie: „Wie nah bist du daran, 'lebendig' (erfolgreich) zu sein?"

Sie behandeln die Aufgabe wie ein Spiel „Heiß oder Kalt":

Zustand des Ziels (Erfolg): Der Roboter ist „heiß". Die Punktzahl ist sehr niedrig (wie -1).
Misserfolg/Zeitlimit: Der Roboter ist „kalt". Die Punktzahl ist hoch (wie 1).
Dazwischen: Die Punktzahl gibt an, wie viele Schritte es sollte, um das Ziel zu erreichen.

Der clevere Teil liegt darin, wie sie die „kalten" Momente handhaben.

Der „Bootstrap"-Trick: Lernen aus Beinahe-Misserfolgen

Hier ist der magische Bestandteil: Bootstrapping.

Stellen Sie sich vor, Sie beobachten einen Roboter, der versucht, eine Schale aufzuheben.

Versuch 1: Der Roboter hebt die Schale auf, lässt sie fallen, hebt sie wieder auf und gelingt es.
Versuch 2: Der Roboter hebt die Schale auf, lässt sie fallen, und dann läuft der Timer ab.

Ein Standard-Bewerter würde sagen, Versuch 2 sei ein totaler Misserfolg. Aber unsere neue Methode betrachtet Versuch 2 und sagt: „Moment mal! Der Roboter hat in Versuch 2 die Schale fallen lassen, genau wie in Versuch 1. Aber in Versuch 1 hat sich der Roboter von genau diesem selben Fall erholt und die Aufgabe abgeschlossen."

Die Methode sagt also: „Obwohl Versuch 2 die Zeitgrenze erreicht hat, befand sich der Roboter in einem Zustand, aus dem er weiß, wie man sich erholt. Geben wir ihm eine bessere Punktzahl."

Dies ist der Bootstrap-Mechanismus. Er sucht in „gescheiterten" Versuchen nach Momenten, die genau wie Momente in „erfolgreichen" Versuchen aussehen. Wenn er eine Übereinstimmung findet, verbessert er die Punktzahl des gescheiterten Versuchs und erkennt, dass der Roboter nicht zum Scheitern verurteilt war; er hatte nur die Zeitgrenze erreicht.

Was sie herausfanden

Die Autoren testeten dies in drei verschiedenen Szenarien:

Aufheben einer Schale (Simulation): Der Roboter ließ die Schale fallen, erholte sich und beendete die Aufgabe. Die neue Methode gab dem Roboter korrekt die Anerkennung für die Erholung, während alte Methoden dies als Misserfolg betrachteten.
Ein quadratischen Zapfen in ein Loch stecken (Simulation): Dies war schwieriger, da der Roboter keine „Erholungs"-Strategie hatte. Wenn er den Zapfen fallen ließ, war er wirklich feststeckend. Die neue Methode war immer noch gut darin, Fortschritte zu erkennen, konnte aber nicht magisch die Tatsache beheben, dass der Roboter sich von einem schlechten Fall nicht erholen konnte.
Ein Handtuch falten (Echter Roboter): Ein Mensch steuerte den Roboter. Menschen kämpfen oft, lassen das Tuch fallen und versuchen es erneut. Die neue Methode war hervorragend darin zu erkennen, dass selbst wenn der Mensch kämpfte, er dennoch Fortschritte zum Ziel machte, während alte Methoden nur „Kämpfen = Misserfolg" sahen.

Der Kompromiss

Der Beitrag räumt einen kleinen Nachteil ein. Da die Methode so gut darin ist, Anerkennung für „fast geschafft"-Momente zu geben, wird sie manchmal ein wenig zu optimistisch. Sie könnte denken, ein gescheiterter Versuch sei tatsächlich ein Erfolg, weil er einem echten Erfolg ähnlich sah. Die Autoren argumentieren jedoch, dass dies ein fairer Handel ist: Es ist besser, ein wenig zu optimistisch über die Fähigkeit eines Roboters zur Erholung zu sein, als ihn ungerechterweise dafür zu bestrafen, dass die Zeit abgelaufen ist.

In Kürze

Dieser Beitrag gibt Robotern eine „zweite Chance" in ihrem Bewertungssystem. Anstatt einen Roboter nur deshalb durchfallen zu lassen, weil die Uhr abgelaufen ist, betrachtet die neue Methode die Geschichte des Roboters. Wenn der Roboter gezeigt hat, dass er sich zuvor von einem bestimmten Fehler erholen kann, gibt ihm die Methode Anerkennung dafür, auf dem richtigen Weg zu sein, selbst wenn der aktuelle Versuch nicht rechtzeitig abgeschlossen wurde. Sie verwandelt eine einfache „Bestanden/Nicht bestanden"-Bewertung in eine nuancierte Karte davon, wie nah der Roboter wirklich am Erfolg ist.

Technische Zusammenfassung: Offline-Policy-Evaluation für Manipulations-Policies mittels diskontierter Lebendigkeitsformulierung

Problemstellung

Der Beitrag adressiert die Herausforderung der Offline-Policy-Evaluation (OPE) für robotische Manipulations-Policies. Obwohl die Policy-Evaluation für die Entwicklung und den Einsatz robotischer Systeme entscheidend ist, stoßen Standard-Verstärkungslernverfahren (RL) in realen Manipulationsszenarien aufgrund dreier spezifischer Eigenschaften auf erhebliche Hindernisse:

Spärliche Belohnungen: Belohnungen sind typischerweise binär (Aufgabenerfüllung vs. Misserfolg) und nicht dicht, was das Erlernen von Zwischenfortschritten erschwert.
Truncation durch endliche Horizonte: Evaluationsrollouts werden häufig durch manuelle Zeitlimits abgebrochen. In Offline-Daten ist es unmöglich, zwischen einer Policy zu unterscheiden, die tatsächlich gescheitert ist, und einer, der lediglich die Zeit ausgegangen ist, die aber bei längerer Dauer erfolgreich hätte sein können. Dies führt zu einer Truncation-Bias, wodurch Standardmethoden (wie TD(0) und Monte Carlo) die Policy-Leistung systematisch unterschätzen.
Nicht-monotone Progression: Manipulations-Policies zeigen oft Wiederherstellungsverhalten (z. B. ein Objekt fallen lassen und es erneut aufheben). Dies führt zu einer nicht-monotonen Aufgabenprogression und verletzt die Annahmen kumulativer Belohnungsformulierungen, die einen stetigen Fortschritt zum Ziel erwarten.

Methodik

Die Autoren schlagen einen Rahmen vor, der die Offline-Policy-Evaluation als diskontiertes Lebendigkeitsproblem neu formuliert. Anstatt den erwarteten kumulativen Ertrag zu schätzen, lernt die Methode eine Wertfunktion, die den „semantischen Abstand" zur Aufgabenerfüllung repräsentiert.

1. Diskontierte Lebendigkeitsformulierung

Die Autoren modifizieren den Standard-Markov-Entscheidungsprozess (MDP), indem sie die Belohnungsfunktion $R$ durch eine Zielfunktion $l(s)$ ersetzen, die den Abstand zu einer Zielmenge $L$ (Zustände) kodiert.

Zielfunktion: $l(s) = -1$ , wenn $s$ ein Zielzustand ist, und $l(s) = 1$ sonst.
Wertdefinition: Der Wert eines Zustands $s$ ist definiert als der Erwartungswert des minimalen Zielwerts, der über alle möglichen zukünftigen Trajektorien erreicht wird:
$V_\pi(s) = \mathbb{E} \left[ \min_{k} l(\xi(k)) \right]$
Konservative Schätzung: Um übermäßigen Optimismus zu vermeiden, leiten die Autoren einen konservativen (pessimistischen) Fixpunkt-Bellman-Operator ab. Sie führen einen Diskontfaktor $\gamma$ ein, um eine Kontraktionsabbildung zu induzieren, was zur Update-Regel führt:
$\tilde{V}_\pi(s) = (1 - \gamma) + \gamma \min \{ l(s), \tilde{V}_\pi(s') \}$
Diese Formulierung stellt sicher, dass, wenn eine Trajektorie auf ein Scheitern (Wert 1) trifft, sich dieser Wert rückwärts fortpflanzt, während bei Erreichen eines Ziels (Wert -1) der Wert die Schritte zu diesem Ziel widerspiegelt.

2. Zwei-Stufen-Bootstrapping-Rahmen

Um das Fehlen dichter Belohnungen und das Problem der Truncation-Bias zu adressieren, führen die Autoren einen Zwei-Stufen-Algorithmus ein:

Stufe 1 (Ankerberechnung): Der Algorithmus identifiziert „eindeutige" Zustände – spezifisch alle Zustände in Episoden, die erfolgreich ein Ziel erreichen. Er berechnet Werteschätzungen für diese Zustände und ihre Nachkommen unter Verwendung des Bellman-Operators. Diese Werte dienen als „Anker", die auf beobachtetem Erfolg basieren.
Stufe 2 (Bootstrapping): Die Zielfunktion $l(s)$ $l (s)$ wird unter Verwendung der Wertfunktion $V_\pi$ $V_{π}$ aus Stufe 1 verfeinert. Für Zustände in abgelaufenen (gescheiterten) Episoden wird, falls ein Zustand (oder ein ähnlicher Zustand im latenten Raum) mit einem Zustand aus einer erfolgreichen Episode überlappt, sein Zielwert vom Standard-pessimistischen Wert (1) auf den aus der erfolgreichen Trajektorie abgeleiteten optimistischen Wert aktualisiert.
- Die Update-Regel lautet: $\tilde{V}_\pi(s) = (1 - \gamma) + \gamma \min \{ V_\pi(s), \tilde{V}_\pi(s') \}$ .
- Dieser Mechanismus pflanzt Erfolgssignale effektiv rückwärts durch abgebrochene Episoden fort und überschreibt die Annahme, dass Zeitlimits einen unvermeidlichen Misserfolg implizieren.

Hauptbeiträge

Lebendigkeitsbasierte Formulierung: Eine neuartige Umformulierung der OPE für Manipulationsaufgaben mit spärlichen Belohnungen, die den Wert als Maß für die Aufgabenprogression (Lebendigkeit) und nicht als kumulativen Ertrag interpretiert.
Minderung der Truncation-Bias: Ein zweistufiger, gebootstrapper Evaluationsalgorithmus, der beobachtete Erfolge nutzt, um den in Offline-Daten mit endlichen Horizonten inhärenten pessimistischen Bias zu korrigieren.
Theoretische Garantien: Der Nachweis, dass der vorgeschlagene diskontierte Bellman-Operator eine Kontraktionsabbildung induziert und somit die Existenz einer eindeutigen Fixpunkt-Wertfunktion sicherstellt.

Experimentelle Ergebnisse

Die Methode wurde an drei Fallstudien mit Datensätzen bewertet, die von Vision-Language-Action (VLA)-Modellen, Diffusions-Policies und menschlichen Demonstrationen generiert wurden:

LIBERO-Spatial (Greifen und Platzieren): Eine simulierte Aufgabe mit einer VLA-Policy.
Einfügen eines quadratischen Stifts: Eine simulierte Aufgabe mit einer Diffusions-Policy.
Tuchfalten: Eine Hardware-Aufgabe an einem Franka-Panda-Arm unter Verwendung von Daten zur menschlichen Teleoperation.

Benchmarks: Die Methode wurde mit TD(0), Monte Carlo (MC), Distributional MC (MC-D) und einer Ablation ihrer eigenen Methode ohne Bootstrapping (Ours-NB) verglichen.

Metriken:

Erfolgsmetrik: Prozentsatz der Frames in erfolgreichen Episoden, bei denen die geschätzten Schritte zum Ziel kürzer sind als die tatsächliche Episodenlänge.
Fehlermetrik: Prozentsatz der Frames in gescheiterten Episoden, bei denen die geschätzten Schritte zum Ziel eine Standard-Aufgabenhöhe überschreiten.
Komposite Metrik: Das arithmetische Mittel der oben genannten Werte.

Ergebnisse:

Leistung: Die vorgeschlagene Methode erzielte die beste Leistung in der Erfolgsmetrik und der Kompositen Metrik über alle drei Aufgaben hinweg und schnitt deutlich besser ab als klassische Benchmarks.
Truncation-Bias: Die Methode reduzierte die Truncation-Bias erheblich und identifizierte korrekt, dass viele Zustände in abgelaufenen Episoden tatsächlich nahe am Erfolg (wiederherstellbar) waren und keine Misserfolge darstellten.
Kompromiss bei der Fehlermetrik: Die Methode schnitt bei der Fehlermetrik im Vergleich zu einigen Benchmarks leicht schlechter ab. Die Autoren führen dies darauf zurück, dass der Bootstrapping-Mechanismus für Zustände in abgelaufenen Episoden, die erfolgreichen Zuständen visuell ähneln, „optimistisch" ist, was potenziell einige echte Misserfolge fälschlicherweise als wiederherstellbar klassifiziert.
Robustheit: Die Methode blieb auch bei kleineren Datensatzgrößen (bis hinunter zu 50 Episoden) effektiv und war weitgehend unempfindlich gegenüber der Wahl des Bildkodierers (SigLIP2, CLIP, DINOv2).

Bedeutung und Behauptungen

Der Beitrag behauptet, dass durch die Neuformulierung der Policy-Evaluation als Lebendigkeitsproblem und die Nutzung eines Bootstrapping-Mechanismus Wertfunktionen gelernt werden können, die die nicht-monotone Aufgabenprogression in Manipulationsaufgaben genau widerspiegeln. Die primäre Bedeutung liegt in der Fähigkeit, zwischen Policy-Versagen und Episode-Truncation zu unterscheiden, eine kritische Fähigkeit für eine zuverlässige Offline-Evaluation in der realen Robotik, in der Zeitlimits häufig vorkommen.

Die Autoren stellen fest, dass ihr Ansatz besonders effektiv für Policies ist, die Wiederherstellungsverhalten zeigen. Sie erkennen jedoch Einschränkungen an:

Der Bootstrapping-Mechanismus kann zu übermäßigem Optimismus führen, wenn die Zustandsüberlappung zwischen erfolgreichen und gescheiterten Episoden falsch gelernt wird (z. B. bei Aufgaben mit schlechten visuellen Hinweisen wie der quadratischen Stift-Aufgabe).
Die Methode ist stark von der Verteilung des Datensatzes abhängig und generalisiert möglicherweise nicht gut außerhalb davon.
Die Leistung verschlechtert sich bei Policies, die kein Wiederherstellungsverhalten zeigen, da der Bootstrapping-Mechanismus weniger „Anker" hat, von denen aus er sich fortpflanzen kann.

Die Arbeit schließt, dass die Methode, obwohl sie einen kleinen Kompromiss bei der Genauigkeit der Fehlererkennung mit sich bringt, durch die erhebliche Verbesserung beim Erfassen erfolgreicher Aufgabenprogression ein überlegenes Werkzeug zur Evaluation von Manipulations-Policies unter spärlichen Belohnungen und endlichen Horizonten darstellt.