🤖 machine learning

Value Explicit Pretraining for Learning Transferable Representations

Dieser Artikel schlägt Value Explicit Pretraining (VEP) vor, eine selbstüberwachte Methode, die suboptimale ungelabelte Demonstrationen und Monte-Carlo-Werteschätzungen nutzt, um umweltinvariante Repräsentationen zu erlernen und damit die Stichprobeneffizienz sowie die Generalisierung bei Transfer-Reinforcement-Learning-Aufgaben im Vergleich zu den fortschrittlichsten Ansätzen erheblich verbessert.

Ursprüngliche Autoren: Kiran Lekkala, Henghui Bao, Sumedh A. Sontakke, Erdem Biyik, Laurent Itti

Veröffentlicht 2026-05-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kiran Lekkala, Henghui Bao, Sumedh A. Sontakke, Erdem Biyik, Laurent Itti

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, Videospiele zu spielen oder eine Stadt zu navigieren. Normalerweise müssen Sie dem Roboter genau zeigen, wie er eine bestimmte Aufgabe ausführt, wie etwa „schieße auf den Außerirdischen" oder „biege am roten Gebäude links ab". Doch was, wenn Sie möchten, dass der Roboter ein neues Spiel oder eine neue Stadt lernt, ohne bei Null anzufangen? Das ist die große Herausforderung, der sich diese Arbeit stellt.

Die Autoren schlagen eine neue Methode namens Value Explicit Pretraining (VEP) vor. So funktioniert sie, erklärt durch einfache Analogien:

Das Problem: Der „perfekte Schüler" versus die „reale Welt"

Die meisten aktuellen KI-Trainingsmethoden sind wie der Versuch, einen Schüler nur durch das Zeigen von perfekten, zu 100 % erfolgreichen Videos zu unterrichten. Wenn der Schüler nur einen Meisterkoch sieht, der einen perfekten Soufflé zubereitet, könnte er Schwierigkeiten haben, wenn er versucht, ein etwas anderes Gericht zu kochen oder einen anderen Herd zu benutzen.

In der realen Welt haben wir viele Daten, bei denen Dinge nicht perfekt laufen. Menschen machen Fehler, Spiele enden in einem Scheitern, und Roboter verirren sich. Die Arbeit argumentiert, dass wir aus diesen „unvollkommenen" Videos lernen sollten können, selbst wenn die Person im Video die Aufgabe nie tatsächlich abgeschlossen hat.

Die Lösung: Die Analogie der „Fortschrittsleiste"

Die Kernidee von VEP besteht darin, dem Roboter beizubringen, Fortschritt zu verstehen, nicht nur, wie Dinge aussehen.

Stellen Sie sich vor, Sie schauen einem Video zu, in dem jemand versucht, einen Berg zu erklimmen.

Alte Methoden: Diese Methoden könnten sagen: „Dieser Frame sieht aus wie ein Fels, also ist es ein Fels. Dieser Frame sieht aus wie ein Baum, also ist es ein Baum." Sie konzentrieren sich auf das Aussehen. Wenn sich der Berg von grünen Bäumen zu braunen Felsen verändert, gerät der Roboter in Verwirrung.
VEP-Methode: Diese Methode betrachtet die Fortschrittsleiste. Sie fragt: „Wie nah ist diese Person am Gipfel?"
- Selbst wenn sich die Person auf einem grünen Hang (Aufgabe A) oder einem braunen Hang (Aufgabe B) befindet, wenn beide „70 % des Weges nach oben" zurückgelegt haben, lehrt VEP den Roboter, dass diese beiden Momente ähnlich sind.
- Es ist egal, ob die Szenerie anders aussieht; was zählt, ist, dass sich das Ziel nähert.

Wie es funktioniert (Der „Monte-Carlo"-Trick)

Die Arbeit verwendet einen mathematischen Trick namens Monte-Carlo-Wertabschätzung. Stellen Sie sich dies als eine „Erfolgspunktzahl" vor, die für jeden einzelnen Frame in einem Video berechnet wird.

Die Daten: Der Roboter schaut Tausende von Stunden an „suboptimalen" Videos zu (Videos, in denen der Spieler nicht immer gewonnen hat).
Die Punktzahl: Für jeden Frame berechnet der Roboter eine Punktzahl: „Wenn ich in genau diesem Moment wäre, wie wahrscheinlich ist es, dass ich erfolgreich bin?"
- Ein Frame, in dem der Spieler kurz davor ist, einen Gegner zu erschießen, erhält eine hohe Punktzahl.
- Ein Frame, in dem der Spieler weit entfernt ist oder sich verirrt hat, erhält eine niedrige Punktzahl.
Die Lektion: Der Roboter lernt, zwei beliebige Frames mit der gleichen Punktzahl zusammenzufassen, selbst wenn sie völlig unterschiedlich aussehen.
- Beispiel: Ein Frame aus „Space Invaders", in dem der Spieler kurz davor ist zu gewinnen, wird mit einem Frame aus „Demon Attack" gruppiert, in dem der Spieler kurz davor ist zu gewinnen, da beide eine „hohe Erfolgspunktzahl" haben.

Das Ergebnis: Ein universeller Übersetzer

Durch dieses Training lernt der Roboter eine „universelle Sprache" des Fortschritts.

Der Test: Die Forscher testeten dies an drei Dingen: Atari-Videospielen, einer virtuellen Stadtnavigationsaufgabe und einer simulierten Ameise, die durch Labyrinthe läuft.
Das Ergebnis: Wenn sie dem Roboter ein neues Spiel oder eine neue Stadt gaben, die es noch nie gesehen hatte, lernte er viel schneller als Roboter, die mit anderen Methoden trainiert wurden.
- Es erzielte 2-mal mehr Belohnungen (es spielte besser).
- Es benötigte 3-mal weniger Versuche, um die neue Aufgabe zu lernen (es war effizienter).

Warum das wichtig ist

Die Arbeit behauptet, dass der Roboter, indem er sich auf das Ziel konzentriert (wie nah sind wir am Gewinn?), anstatt auf das Aussehen (wie sieht der Gegner aus?), viel besser darin wird, das Gelernte auf neue Situationen zu übertragen.

Es ist wie ein Mensch, dem nicht eine Karte jeder einzelnen Stadt gezeigt wird, sondern dem das Konzept des „sich dem Ziel nähernden" beigebracht wird. Sobald er dieses Konzept verstanden hat, kann er jede neue Stadt navigieren, selbst wenn die Straßen völlig anders aussehen.

Kurz gesagt: VEP lehrt Roboter, das „Rauschen" sich ändernder Umgebungen zu ignorieren und sich auf das „Signal" des Fortschritts hin zu einem Ziel zu konzentrieren, wobei sie unvollkommene, ungelabelte Videos dafür nutzen.

1. Problemstellung

Agenten für visuelles Reinforcement Learning (RL) haben Schwierigkeiten, sich über Aufgaben hinweg zu verallgemeinern, wenn sie mit Variationen in der Umgebungsdynamik und dem visuellen Erscheinungsbild konfrontiert werden. Während Menschen aufgabenrelevante Informationen unabhängig von diesen Veränderungen extrahieren können, benötigen Roboter gelernte Repräsentationen, die gegenüber solchen Variationen invariant sind.

Aktuelle Ansätze zur Repräsentationslernen stehen vor zwei Hauptbeschränkungen:

Fehlgeleitete Zielsetzungen: Viele Methoden verwenden Vorabtrainingsziele (z. B. Bildrekonstruktion, zeitliche Konsistenz), die sich vom nachgelagerten Steuerungsziel (Vorhersage von Aktionen) unterscheiden.
Datenanforderungen: Bestehende Transfer-Learning-Methoden benötigen oft hochwertige, gelabelte Expertendemonstrationen oder erfolgreiche Trajektorien. Es fehlt an Methoden, die effektiv übertragbare Repräsentationen aus suboptimalen, ungelabelten Daten lernen können (Sequenzen von Beobachtungen und spärlichen Belohnungen, bei denen der Agent die Aufgabe häufig nicht abschließt).

Die Kernherausforderung lautet: Wie können wir einen Encoder lernen, der nützliche Repräsentationen für die Steuerung erzeugt, ohne das Steuerungsziel selbst zu trainieren und dabei nur unvollkommene, ungelabelte Daten verwendet?

2. Methodik: Value Explicit Pretraining (VEP)

Die Autoren schlagen Value Explicit Pretraining (VEP) vor, eine selbstüberwachte kontrastive Lernmethode, die aufgabenagnostische Repräsentationen lernt, indem sie explizit die „Neigung zum Erfolg" (Wert) kodiert, anstatt nur visuelle oder zeitliche Nähe.

Kernidee

Die Wertfunktion $V(s)$ eines Zustands repräsentiert die erwartete Rendite (Neigung zum Erfolg) unter einer optimalen Politik. Die Autoren hypothesieren, dass Zustände mit ähnlichen Wertabschätzungen über verschiedene Aufgaben hinweg (selbst bei unterschiedlichem visuellem Erscheinungsbild) eine ähnliche optimale Strategie teilen. Daher sollten Repräsentationen basierend auf Wertähnlichkeit und nicht auf visueller Ähnlichkeit gruppiert werden.

Algorithmus-Übersicht

Datenquelle: Die Methode nutzt Offline-, suboptimale, ungelabelte Datensätze ( $D_{train}$ ) aus einem Satz von Trainingsaufgaben. Diese Datensätze enthalten Sequenzen von Beobachtungen und spärliche Belohnungssignale, aber keine Aktionslabels.
Monte-Carlo-Wertabschätzung:
- Da die wahre optimale Wertfunktion unbekannt ist, berechnet VEP eine Monte-Carlo-Schätzung (MC) $G$ für jeden Frame im Datensatz unter Verwendung der spärlichen Belohnungen:
  $G(s_t, \tau) = \sum_{k=t}^{T} \gamma^{k-t} r_k$
- Frames mit einer Wertabschätzung von 0 (was anzeigt, dass in diesem Trajektorienabschnitt nie eine Belohnung erzielt wurde) werden verworfen.
Kontrastives Lernziel:
- Der Encoder $f_\phi$ wird mittels eines kontrastiven Verlusts (InfoNCE oder Triplet-Loss) trainiert.
- Stichprobenstrategie:
  - Anker ( $z_{an}$ ): Eine Beobachtung aus Aufgabe $T_i$ mit einer Wertabschätzung $g$ .
  - Positiv ( $z_{ps}$ ): Eine Beobachtung aus einer anderen Aufgabe $T_j$ mit einer Wertabschätzung innerhalb eines Schwellenwerts $v_{thresh}$ von $g$ .
  - Negativ ( $z_{ng}$ ): Eine Beobachtung aus einer Aufgabe $T_k$ mit einer Wertabschätzung, die sich signifikant von $g$ unterscheidet (jenseits von $v_{thresh}$ ).
- Ziel: Die Verlustfunktion minimiert den Abstand zwischen Anker und Positiv (ähnlicher Wert/Erfolgsneigung) und maximiert den Abstand zum Negativ, wodurch der Encoder gezwungen wird, Repräsentationen zu lernen, die gegenüber aufgabenspezifischem Erscheinungsbild und Dynamik invariant sind.

Implementierungsdetails

Vorverarbeitung: Ein Wörterbuch ordnet sortierte Wertabschätzungen Frame-Indizes zu, um eine effiziente Stichprobenziehung per binärer Suche zu ermöglichen.
Politik-Training: Nach dem Vorabtraining wird der Encoder eingefroren. Ein Online-RL-Algorithmus (PPO) wird auf den Testaufgaben unter Verwendung der latenten Repräsentationen $z_t$ als Eingabe trainiert. Es findet kein Fine-Tuning des Encoders statt.

3. Hauptbeiträge

Wert-explizite Repräsentation: Ein neuartiges Vorabtrainingsframework, das Wertabschätzungen explizit nutzt, um den latenten Raum zu organisieren und sicherzustellen, dass Repräsentungen den Aufgabenfortschritt widerspiegeln und nicht nur visuelle oder zeitliche Konsistenz.
Nutzung suboptimaler Daten: Die Methode lernt erfolgreich übertragbare Repräsentationen unter Verwendung von ungelabelten, suboptimalen Daten (Episoden, die die Aufgabe nicht immer lösen), was eine signifikante Abkehr von Methoden darstellt, die Expertendemonstrationen benötigen.
Aufgabenagnostische Verallgemeinerung: Durch den Fokus auf Wertähnlichkeit lernt die Methode Repräsentationen, die sich auf Out-of-Distribution (OOD)-Aufgaben mit unterschiedlichen visuellen Dynamiken, aber ähnlichen Zielen verallgemeinern lassen.
Ablations- und Baseline-Vergleiche: Das Paper vergleicht VEP rigoros mit:
- VIP (Value Implicit Pretraining): Das sich auf zeitliche Konsistenz verlässt.
- TCN (Time Contrastive Learning): Das Positives basierend auf zeitlicher Distanz abtastet.
- SOM (State Occupancy Measure): Das Occupancy-Maße für die Stichprobenziehung verwendet.
- Value Regression (VR): Eine Baseline, die einfach die Wertabschätzung regressiert (was beweist, dass kontrastive Stichprobenziehung einer einfachen Regression überlegen ist).

4. Experimentelle Ergebnisse

Die Autoren evaluierten VEP an drei Benchmarks: Atari, Visuelle Navigation (StreetLearn) und Ant-Lokomotion.

Atari-Benchmark:
- Aufbau: Vorabtraining auf Demon-Attack und Space Invaders; getestet auf 4 anderen Shooter-Spielen.
- Ergebnis: VEP übertraf Baselines (VIP, TCN, SOM) bei Out-of-Distribution-Aufgaben um bis zu 2× in den Belohnungen. Es zeigte eine Verbesserung von ca. 25 % bei In-Distribution-Aufgaben.
Visuelle Navigation:
- Aufbau: Vorabtraining auf 2 Städten; getestet auf 4 unsichtbaren Städten.
- Ergebnis: VEP erreichte die gleiche Leistung wie ein End-to-End-Training 2,1× schneller (Proben-Effizienz). Es übertraf maßgeblich state-of-the-art Vision-Sprach-Modelle (CLIP, R3M, MVP).
Ant-Lokomotion (Labyrinth):
- Aufbau: Vorabtraining auf einfachen Labyrinthen; getestet auf komplexen Labyrinthen mit unterschiedlichen Hindernissen und visuellen Variationen.
- Ergebnis: VEP erreichte state-of-the-art-Leistung sowohl in In-Domain- als auch in OOD-Labyrinthen.
- Visualisierung: t-SNE-Plots zeigten, dass sich TCN-Einbettungen nach Labyrinth-Aussehen gruppierten (Überanpassung), während sich VEP-Einbettungen nach Aufgabenfortschritt (Wert) gruppierten, was echtes aufgabenagnostisches Lernen demonstriert.
Ablationsstudien:
- Suboptimalität: Die VEP-Leistung blieb robust, selbst bei Verwendung von Daten aus Episoden, die nur 10 % der Aufgabe abschlossen.
- Schwellenwertbildung: Ein optimaler Wert-Schwellenwert ( $v_{thresh} \approx 0,03$ ) wurde identifiziert; ein zu hoher Schwellenwert verschlechterte die Leistung.
- Kontrastiv vs. Regression: Die einfache Regression des Werts (Value-Regression-Baseline) scheiterte daran, übertragbare Repräsentationen zu erzeugen, was bestätigt, dass die kontrastive Stichprobenziehung von Tripeln der kritische Mechanismus ist.

5. Bedeutung und Auswirkung

Effizienz: VEP verbessert die Proben-Effizienz für nachgelagertes RL drastisch (bis zu 3×) und reduziert den Bedarf an teuren Online-Interaktionen.
Datenzugänglichkeit: Durch die Beseitigung der Anforderung nach Expertendemonstrationen, Labels oder erfolgreichen Episoden senkt VEP die Einstiegshürde für Transfer-Learning und ermöglicht die Nutzung riesiger Mengen an „unordentlichen" realen oder simulierten Daten.
Verallgemeinerung: Die Methode adressiert die „Sim-to-Real"- und „Task-to-Task"-Lücke, indem sie Repräsentationen lernt, die das Ziel der Aufgabe (Fortschritt hin zu einem Ziel) erfassen und nicht oberflächliche visuelle Merkmale.
Zukünftige Richtungen: Die Autoren schlagen vor, dies auf kontinuierliche Steuerungsalgorithmen (wie SAC) und Few-Shot-Imitationslernen zu erweitern sowie auf komplexere, großskalige Vorabtrainings-Szenarien zu skalieren.

Zusammenfassend stellt VEP einen Paradigmenwechsel im Repräsentationslernen für die Robotik dar, der von „wie die Welt aussieht" zu „wie nah der Agent am Erfolg ist" wechselt und eine robuste Übertragung selbst mit unvollkommenen Daten ermöglicht.