💻 computer science

Video-Based Optimal Transport for Feedback-Efficient Offline Preference-Based Reinforcement Learning

Das Paper stellt VOTP vor, ein semi-überwachtes Framework, das Video Foundation Models und optimalen Transport nutzt, um mit minimalem menschlichem Feedback hochpräzise Pseudo-Labels zu generieren, was ein effizientes und robustes Reward Learning für das Offline Preference-based Reinforcement Learning ermöglicht.

Ursprüngliche Autoren: Tung M. Luu, Hwanhee Kim, Younghwan Lee, Chang D. Yoo

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tung M. Luu, Hwanhee Kim, Younghwan Lee, Chang D. Yoo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter eine komplexe Aufgabe beizubringen, wie zum Beispiel das Öffnen einer Schublade oder das Gehen, ohne zu stolpern. In der Welt der Robotik benötigt der Roboter ein „Belohnungssystem“, damit er weiß, was er richtig macht. Normalerweise müssen menschliche Ingenieure mühsam Code schreiben, um dem Roboter zu sagen: „Gut gemacht, du hast deinen Arm nach oben bewegt“ oder „Schlecht gemacht, du hast das Objekt fallen gelassen“. Das ist so, als würde man versuchen, ein Rezept für ein Gericht zu schreiben, das man noch nie gekocht hat; es ist schwierig, und man könnte die Anweisungen falsch formulieren.

Um dies zu beheben, nutzen Wissenschaftler das Preference-Based Reinforcement Learning (PbRL). Anstatt Code zu schreiben, zeigen sie dem Roboter zwei Videos davon, wie er die Aufgabe ausführt, und fragen einen Menschen: „Welches sieht besser aus?“ Der Robot lernt aus diesen Entscheidungen.

Das Problem:
Einen Menschen zu bitten, Videos anzusehen und das „bessere“ auszuwählen, ist langsam und teuer. Um einen Roboter gut zu lehren, muss man vielleicht tausende dieser Vergleiche durchführen. Es ist, als würde man versuchen, einem Kind das Fahrradfahren beizubringen, indem man es nach jedem einzelnen Wackeln stoppt und fragt: „War das gut?“ Das dauert ewig.

Die Lösung: VOTP
Das Paper stellt eine neue Methode namens VOTP (Video-based Optimal Transport Preference) vor. Denken Sie an VOTP als einen klugen Assistenten, der Ihnen hilft, den Roboter mit sehr wenigen menschlichen Fragen zu lehren.

So funktioniert es, erklärt durch eine einfache Analogie:

1. Das „Kluge Auge“ (Video Foundation Models)

Zuerst nutzt VOTP ein vortrainiertes „kluges Auge“ (ein Video Foundation Model). Stellen Sie sich vor, dieses Auge hat Millionen von Stunden menschlicher Videos gesehen – Menschen beim Tanzen, Kochen, Laufen und Spielen. Weil es so viel gesehen hat, versteht es, was eine „gute Bewegung“ ist, auch wenn es noch nie einen Roboter gesehen hat. Es kann ein Video eines sich bewegenden Roboters in einen mathematischen „Fingerabdruck“ verwandelt, der das Wesen der Handlung einfängt.

2. Der „Matchmaker“ (Optimal Transport)

Dies ist der magische Teil.

Das Setup: Sie geben dem System eine winzige Handvoll Beispiele (sagen wir, 10 Videopaare), bei denen ein Mensch bereits gesagt hat: „Video A ist besser als Video B.“
Der Berg an Daten: Sie haben auch einen riesigen Berg an unbeschrifteten Videos (tausende Paare), bei denen noch kein Mensch etwas gesagt hat.
Das Matchmaking: VOTP nutzt ein mathematisches Werkzeug namens Optimal Transport. Stellen Sie sich vor, Sie haben einen Haufen „Gute“ Fingerabdrücke und einen Haufen „Schlechte“ Fingerabdrücke aus Ihren 10 menschlichen Beispielen. Nun haben Sie einen riesigen Haufen „Unbekannter“ Fingerabdrücke aus den unbeschrifteten Videos.
Die Verbindung: Optimal Transport fungiert wie ein super effizienter Matchmaker. Er betrachtet ein „Unbekanntes“ Video und fragt: „Welchem der 10 vom Menschen genehmigten Videos sieht dieses am ähnlichsten?“ Er rät nicht einfach nur, sondern berechnet den bestmöglichen Weg, die unbekannten Videos mit den bekannten zu verbinden, basierend darauf, wie ähnlich sich ihre „Fingerabdrücke“ sind.

3. Die „Inferenz“ (Pseudo-Labels)

Sobald der Matchmaker ein unbekanntes Video mit einem bekannten „Guten“ Video verbunden hat, sagt VOTP: „Wenn dieses unbekannte Video so aussieht wie das, das der Mensch mochte, dann muss auch dieses unbekannte Video gut sein!“ Es weist automatisch ein Label (ein „Pseudo-Label“) den tausenden Videos zu, für die Sie keine Zeit zum Anschauen hatten.

4. Das Ergebnis

Anstatt den Roboter mit nur 10 menschlichen Beispielen zu lehren, lernt der Roboter aus 10 menschlichen Beispielen plus tausenden automatisch beschrifteten Beispielen. Der Roboter lernt viel schneller und besser, obwohl Sie dem Menschen nur ganz wenig Hilfe angeboten haben.

Was das Paper herausfand

Die Autoren testeten dies an Robotern, die gehen mussten (Lokomotion) und an Robotern, die Objekte bewegen mussten (Manipulation). Sie testeten es auch an einem echten Roboterarm in einem Labor.

Weniger menschliche Arbeit: VOTP erreichte Top-Ergebnisse mit nur einer Handvoll menschlicher Labels (manchmal so wenig wie 10).
Besser als der Rest: Es schlug andere Methoden, die versuchten, dasselbe zu tun, und benötigte oft hunderte oder tausende Labels, um ähnliche Ergebnisse zu erzielen.
Robustheit: Selbst wenn sich die Beleuchtung änderte oder ablenkende Dinge im Hintergrund waren (wie ein Video, das auf einem Fernseher hinter dem Roboter lief), konnte VOTP immer noch erkennen, was gut und was schlecht war.
Reale Welt: Als sie es an einem echten Roboterarm testeten, der eine Banane hob oder eine Schublade öffnete, half VOTP dem Roboter, viel häufiger erfolgreich zu sein als Methoden, die sich nur auf die wenigen menschlichen Labels verließen.

Kurz gesagt: VOTP ist eine Möglichkeit, Roboter zu lehren, indem man ihnen ein paar Beispiele zeigt, was Menschen mögen, und dann ein „kluges Auge“ und einen „mathematischen Matchmaker“ nutzt, um den Rest der Videos selbstständig zu bestimmen, was der Roboter tun soll. Es erspart den Menschen die langweilige, repetitive Arbeit des Beschriftens von tausenden Videos.

Technisches Resümee: Videobasierter Optimaler Transport für feedback-effizientes Offline Preference-Based Reinforcement Learning

Problemstellung

Reinforcement Learning (RL)-Agenten benötigen geeignete Belohnungsfunktionen, um Entscheidungsaufgaben zu lösen. In realen Szenarien ist das manuelle Entwerfen dichter und informativer Belohnungen eine Herausforderung, da dies oft eine umfangreiche Instrumentierung (z. B. Motion Capture, taktile Sensoren) erfordert und das Risiko einer Belohnungsfehlspezifikation birgt, bei der Agenten unbeabsichtigte Abkürzungen ausnutzen. Preference-based RL (PbRL) bietet eine Alternative, indem Belohnungsfunktionen aus menschlichem Feedback auf Paaren von Verhaltens-Trajektorien gelernt werden. Die Skalierbarkeit von PbRL wird jedoch durch die hohen Kosten der menschlichen Kennzeichnung behindert, die oft tausende von Abfragen erfordert, um effektive Belohnungsfunktionen zu erlernen. Während bisherige Arbeiten bereits Semi-Supervised Learning und Meta-Learning untersucht haben, um dies abzumildern, bleibt das Potenzial der Nutzung der menschlichen visuellen Wahrnehmung – insbesondere des strukturierten Repräsentationsraums von Video Foundation Models (ViFMs) – zur Inferenz von Präferenzen für ungelabelte Daten untererforscht.

Methodik: Video-basierter Optimaler Transport für Präferenzen (VOTP)

Die Autoren schlagen VOTP vor, ein semi-überwachtes Framework, das darauf ausgelegt ist, effektive Belohnungsfunktionen aus einer minimalen Anzahl von menschlichen Präferenz-Labels (z. B. 10 Abfragen) zu lernen, indem es ungelabelte Daten aus Offline-Datensätzen nutzt. Die Methode operiert in zwei primären Phasen:

1. Trajektorien-Repräsentation via ViFMs

Anstatt sich auf rohe Zustands-Aktions-Paare zu verlassen, modelliert VOTP Trajektoriensegmente als kurze Videoclips. Diese Clips werden in einen latenten Raum eingebettet, der ein fertiges Video Foundation Model (ViFM) verwendet, spezifisch S3D, das auf HowTo100M vortrainiert wurde. Diese Wahl wird durch die Fähigkeit der ViFMs begründet, sowohl räumliche Details als auch zeitliche Dynamiken zu erfassen, was akteur-agnostische, semantisch reiche Embeddings liefert, die robust gegenüber Störvariationen (Beleuchtung, Kameraperspektive) sind und auf ungesehene Roboterumgebungen generalisieren.

2. Generierung von Pseudo-Präferenz-Labels via Optimaler Transport

Die Kerninnovation von VOTP ist die Verwendung von Optimalem Transport (OT), um gelabelte und ungelabelte Segmentpaare innerhalb des ViFM-latenten Raums abzugleichen, um Pseudo-Labels zu generieren.

Setup: Sei $L$ die Menge der gelabelten Segmente mit bekannten Präferenzrelationen, die in einer antisymmetrischen Matrix $R$ kodiert sind, und $U$ die Menge der ungelabelten Segmente.
Optimaler Transport-Plan: VOTP berechnet einen OT-Plan $\mu^*$ , der die Transportkosten (Euklidischer oder Kosinus-Abstand im latenten Raum) zwischen den empirischen Maßen von $L$ und $U$ minimiert. Dieser Plan $\mu_{ii'}$ repräsentiert die Wahrscheinlichkeit, dass ein ungelabeltes Segment $\bar{\sigma}_{i'}$ einem gelabelten Segment $\sigma_i$ entspricht.
Inferenz: Der Präferenzwert für ein ungelabeltes Paar $(\bar{\sigma}_{i'}, \bar{\sigma}_{j'})$ wird durch Aggregation der Präferenzen aller gelabelten Paare abgeleitet, gewichtet durch ihre relativen Alignment-Stärken, die aus dem OT-Plan resultieren:
$S(\bar{\sigma}_{i'}, \bar{\sigma}_{j'}) = \sum_{i,j} R_{ij}(\mu_{ii'}\mu_{jj'} - \mu_{ij'}\mu_{ji'})$
Dieser Score wird normalisiert und geschwellt, um ein Pseudo-Label ( $\tilde{y} \in \{0, 1, 0.5\}$ ) zuzuweisen.
Lernen der Belohnung: Die Belohnungsfunktion wird sowohl unter Verwendung der ursprünglichen gelabelten Daten als auch der neu generierten Pseudo-Label-Daten trainiert. Während der Offline-RL-Phase ersetzt die gelernte Belohnungsfunktion die ursprünglichen Belohnungen im Datensatz, um die Policy zu optimieren.

Zentrale Beiträge

VOTP-Framework: Einführung eines semi-überwachten Frameworks, das Optimalen Transport über den latenten Raum von Video Foundation Models nutzt, um automatisch Präferenz-Labels für ungelabelte Trajektorienpaare zuzuweisen.
Feedback-Effizienz: Demonstration, dass VOTP effektive Belohnungsfunktionen und Policies aus nur einer Handvoll menschlicher Präferenz-Abfragen (z. B. 10) lernen kann, was die Annotationslast im Vergleich zu State-of-the-Art Offline-PbRL-Methoden signifikant reduziert.
Robustheit gegenüber visueller Variation: Validierung, dass die Nutzung von ViFMs es der Methode ermöglicht, die Performance in Gegenwart visueller Distraktoren (Lichtänderungen, Texturvariationen, dynamische Hintergründe) aufrechtzuerhalten, bei denen andere Methoden Schwierigkeiten haben könnten.
Reale Anwendbarkeit: Erfolgreiche Anwendung des Frameworks auf reale Roboter-Manipulationsaufgaben (Lift Banana, Drawer Open) unter Verwendung eines 7-DoF Sawyer-Arms, wobei höhere Erfolgsraten als die Baselines erzielt wurden.

Experimentelle Ergebnisse

Die Autoren evaluierten VOTP über Lokomotion (D4RL), Manipulation (MetaWorld) und reale Roboter-Aufgaben hinweg.

Benchmark-Performance: In D4RL und MetaWorld übertraf VOTP konsistent die State-of-the-Art Offline-PbRL-Baselines (einschließlich P-IQL, SURF, LiRE und FTB) unter begrenzten Feedback-Budgets. Bemerkenswerterweise erreichte VOTP auf D4RL-Aufgaben eine Performance, die mit einer „Oracle“-Baseline (die Zugriff auf Ground-Truth-Belohnungen für ungelabelte Daten hat) vergleichbar ist.
Low-Data-Regime: In Experimenten, die die Anzahl der Labels variierten, benötigte VOTP signifikant weniger Labels, um die Task-Reward-Performance im Vergleich zu Baselines zu erreichen. In der Aufgabe door-open übertraf VOTP mit nur 10 Labels die Policies, die mit Ground-Truth-Belohnungen trainiert wurden.
Ablationsstudien:
- ViFMs vs. IFMs: Video Foundation Models (S3D, VideoCLIP, InternVideo) übertrafen Image Foundation Models (R3M, CLIP), was die Wichtigkeit der Erfassung zeitlicher Dynamiken für das Präferenzlernen hervorhebt.
- OT vs. Ähnlichkeit: Die OT-basierte Pseudo-Labeling-Strategie übertraf die Baselines, die auf einfachen Ähnlichkeitsmetriken beruhten (SIM-individual, SIM-mean, SIM-weighted), signifikant, was die Effektivität des Transport-Plans bei der Aggregation von Präferenzinformationen demonstriert.
- Belohnungskorrelation: Die von VOTP gelernte Belohnungsfunktion zeigte eine signifikant höhere Pearson-Korrelation mit den Ground-Truth-Belohnungen als P-IQL, was auf eine bessere Abdeckung des Zustands- und Aktionsraums hindeutet.
Reale Roboter-Evaluation: Auf einem physischen Sawyer-Roboter erreichte VOTP 80 % Erfolg bei „Lift Banana“ und 70 % bei „Drawer Open“, womit es Behavior Cloning (20-40 %) und P-IQL (50 %) übertraf. Entscheidend war, dass VOTP erfolgreiche von gescheiterten Trajektorien in den Belohnungsausgaben korrekt unterschied, während P-IQL gescheiterte Verhaltensweisen mit hohen Belohnungen bewertete.

Bedeutung und Ansprüche

Das Paper behauptet, dass VOTP eine skalierbare und praktische Lösung für Offline Preference-based RL darstellt. Durch die Nutzung des expressiven Repräsentationsraums vortrainierter Video Foundation Models und der mathematischen Strenge des Optimalen Transports kann die Methode die Lücke zwischen begrenzter menschlicher Supervision und der Notwendigkeit einer umfangreichen Reward-Abdeckung effektiv schließen. Die Autoren führen an, dass dieser Ansatz die Notwendigkeit menschlicher Supervision erheblich reduziert und gleichzeitig die Robustheit gegenüber visuellen Distraktoren beibehält, was ihn zu einem praktikablen Weg für den Einsatz von RL-Agenten in komplexen, realen Umgebungen macht, in denen Reward Engineering nicht praktikabel ist.

Die Autoren räumen Einschränkungen hinsichtlich potenzieller Bias ein, die von den vortrainierten ViFMs geerbt werden könnten, sowie der Rechenkosten beim Lösen des OT-Plans für sehr große Datensätze, und schlagen zukünftige Arbeiten mit approximativen Transportmethoden vor. Innerhalb des Rahmens ihrer Experimente erweist sich die Methode jedoch als äußerst effektiv für das feedback-effiziente Lernen.