💻 computer science

Policy Contrastive Decoding for Robotic Foundation Models

Dieser Beitrag stellt Policy Contrastive Decoding (PCD) vor, ein trainingsfreies Plugin, das die Generalisierung robotischer Fundamentmodelle verbessert, indem es Aktionsverteilungen aus ursprünglichen und objektmaskierten visuellen Eingaben kontrastiert, um spuriose Korrelationen zu mindern, und damit in Simulation sowie in realen Umgebungen signifikante Leistungssteigerungen über diverse Policies hinweg erzielt.

Ursprüngliche Autoren: Shihan Wu, Xu Luo, Ji Zhang, Junlin Xie, Jingkuan Song, Heng Tao Shen, Lianli Gao

Veröffentlicht 2026-04-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shihan Wu, Xu Luo, Ji Zhang, Junlin Xie, Jingkuan Song, Heng Tao Shen, Lianli Gao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Die „schlechten Gewohnheiten" des Roboters

Stellen Sie sich vor, Sie bringen einem Roboter bei, einen bestimmten roten Becher von einem Tisch aufzuheben. Sie zeigen dem Roboter Tausende von Videos, in denen Menschen diese Aufgabe erledigen. Der Roboter lernt, seinen Arm zu bewegen und den Becher zu greifen.

Das Paper argumentiert jedoch, dass diese Roboter oft schlechte Gewohnheiten entwickeln (sogenannte „spurious correlations" oder zufällige Korrelationen). Anstatt den Becher zu betrachten, um zu entscheiden, was zu tun ist, lernt der Roboter versehentlich, auf den Hintergrund zu schauen.

Die Analogie: Stellen Sie sich einen Schüler vor, der einen Mathe-Test schreibt. Anstatt die Gleichungen zu lösen, bemerkt der Schüler, dass jedes Mal, wenn der Lehrer ein blaues Hemd trägt, die Antwort „42" lautet. Der Schüler hört auf, die Mathematik zu betrachten, und sucht nur noch nach dem blauen Hemd.
Das Ergebnis: Wenn der Lehrer am Tag des Tests ein rotes Hemd trägt, gerät der Schüler in Panik und besteht nicht. Ebenso gerät der Roboter in Verwirrung und scheitert, wenn er den roten Becher auf einem Tisch mit einem anderen Hintergrund oder unter anderer Beleuchtung sieht, weil er sich auf den Hintergrund und nicht auf den Becher verlassen hat.

Das Paper zeigt, dass die Erfolgsquoten der Roboter in ihren Experimenten drastisch sanken, als sie den Hintergrund oder die Beleuchtung änderten (in einigen Fällen um bis zu 36 % oder sogar 75 %).

Die Lösung: „Policy Contrastive Decoding" (PCD)

Die Autoren schlagen eine neue Methode vor, die Policy Contrastive Decoding (PCD) genannt wird. Betrachten Sie dies nicht als Neulernen des Roboters, sondern als eine „zweite Meinung", die ihm direkt vor der Ausführung gegeben wird.

So funktioniert es, Schritt für Schritt:

Die „normale" Ansicht: Der Roboter betrachtet die Szene (z. B. eine Schublade mit Griff) und fragt: „Was soll ich tun?" Er gibt eine Antwort basierend auf allem, was er sieht (den Griff, den Hintergrund, das Licht).
Die „maskierte" Ansicht: Das System nimmt einen digitalen „Radiergummi" und malt das wichtige Objekt (den Schubladengriff) in der Sicht des Roboters über, sodass nur noch der Hintergrund sichtbar ist. Es fragt den Roboter erneut: „Was soll ich jetzt tun?"
- Hinweis: Da das wichtige Objekt verschwunden ist, basiert die Antwort des Roboters hier rein auf „schlechten Gewohnheiten" (dem Hintergrund).
Der Vergleich: Das System vergleicht die beiden Antworten.
- Wenn der Roboter in der ersten Ansicht sagt „Griff greifen", aber in der zweiten Ansicht „Nichts tun", weiß das System, dass die erste Antwort korrekt war, weil sie sich auf das Objekt stützte.
- Wenn der Roboter in beiden Ansichten sagt „Griff greifen", weiß das System, dass der Roboter nur aufgrund des Hintergrunds rät (eine schlechte Gewohnheit).
Die Korrektur: Das System verstärkt die „gute" Antwort und unterdrückt die „schlechte" Vermutung. Es zwingt den Roboter, sich auf das Objekt und nicht auf den Hintergrund zu konzentrieren.

Warum das besonders ist

Das Paper hebt drei Hauptvorteile dieses Ansatzes hervor:

Es ist ein „Plugin", kein Neuentwurf: Sie müssen den Roboter nicht neu trainieren oder sein Gehirn verändern. Sie stecken dieses System einfach wie ein Software-Update ein. Es funktioniert bei verschiedenen Robotertypen (einige, die schrittweise denken, und einige, die „Diffusions"-Modelle verwenden).
Es ist automatisch: Das System verwendet vorhandene KI-Tools, um das Objekt (wie einen Becher oder eine Schublade) automatisch zu finden und es aus dem Bild zu „radieren", um die maskierte Ansicht zu erstellen. Es benötigt keinen Menschen, der auf jedes Bild Kästchen zeichnet.
Es funktioniert in der realen Welt: Die Autoren testeten dies an echten Robotern in echten Räumen, nicht nur in Computersimulationen.
- Die Ergebnisse: In einer Simulation verbesserte es den besten existierenden Roboter um etwa 9 %. In der realen Welt verbesserte es die Erfolgsquote des Top-Roboters um massive 108 % (was bedeutet, dass er von einem Scheitern in der Hälfte der Fälle auf ein fast durchgängiges Gelingen überging).

Der Kompromiss

Es gibt einen kleinen Preis. Da der Roboter die Szene zweimal betrachten muss (einmal normal, einmal mit dem Objekt radiert) und die Antworten vergleichen muss, dauert die Entscheidungsfindung etwas länger.

Die Analogie: Es ist wie beim Überprüfen Ihrer Mathe-Hausaufgaben zweimal, bevor Sie sie abgeben. Es dauert eine Minute länger, aber Sie machen viel weniger wahrscheinlich einen Fehler.
Das Urteil des Papers: Die Autoren sagen, dass diese zusätzliche Zeit (etwa 24 % langsamer) es wert ist, weil der Roboter die Aufgabe tatsächlich erledigt, anstatt zu scheitern.

Zusammenfassung

Das Paper stellt einen „intelligenten Filter" für Roboter vor. Er verhindert, dass Roboter sich auf zufällige Hinweise (wie Hintergrundfarben) verlassen, und zwingt sie, auf die eigentlichen Objekte zu achten, mit denen sie interagieren müssen. Dies geschieht, ohne dass die Roboter neu trainiert werden müssen, und stellt eine schnelle und leistungsstarke Möglichkeit dar, Roboter in der realen Welt zuverlässiger zu machen.

1. Problemstellung

Robotic Foundation Models (generalistische Roboterpolicies) haben ein großes Potenzial für flexible, universelle Manipulationsaufgaben gezeigt. Die Autoren identifizieren jedoch einen kritischen Mangel: Diese Modelle lernen häufig triviale Korrelationen aus den Vorab-Trainings-Trajektorien. Anstatt sich auf objektrelevante Merkmale der Aufgabe zu konzentrieren, verlassen sich die Policies auf irrelevante Hintergrundhinweise (z. B. Beleuchtung, Texturen oder spezifische Hintergrundobjekte), um Aktionen vorherzusagen.

Konsequenz: Wenn sich die Einsatzumgebung ändert (z. B. Hintergrundwechsel, Anpassungen der Beleuchtung oder Umpositionierung von Objekten), verschlechtert sich die Leistung der Policy erheblich, da die gelernten „Abkürzungen" nicht mehr gültig sind.
Aktuelle Einschränkungen: Bestehende Lösungen erfordern oft ein Nachtrainieren oder Fine-Tuning, was rechenintensiv ist und Zugriff auf die Modellgewichte voraussetzt. Es fehlt an trainingsfreien, Plug-and-Play-Methoden, um diese Fehler zur Inferenzzeit zu korrigieren.

2. Methodik: Policy Contrastive Decoding (PCD)

Die Autoren schlagen Policy Contrastive Decoding (PCD) vor, einen trainingsfreien Plugin für die Inferenzzeit, der entwickelt wurde, um die Aufmerksamkeit einer Roboterpolicy von trivialen Merkmalen auf objektrelevante visuelle Hinweise zu lenken.

Kernmechanismus

PCD funktioniert durch den Kontrast der Aktionswahrscheinlichkeitsverteilungen, die aus zwei verschiedenen visuellen Eingaben generiert werden:

Originalbeobachtung ( $o_i$ ): Die Standard-Visualeingabe.
Objektmaskierte Beobachtung ( $\hat{o}_i$ ): Dieselbe visuelle Eingabe, bei der die relevanten Zielobjekte maskiert (entfernt/eingefüllt) sind.

Die Methode berechnet eine neue, kontrastive Aktionswahrscheinlichkeitsverteilung ( $\pi^*$ ) unter Verwendung der folgenden Formel:
$\pi^*_\theta(a_i | \ell, o_i) = \frac{1}{C} \cdot \pi_\theta(a_i | \ell, o_i) \cdot \left( \frac{\pi_\theta(a_i | \ell, o_i)}{\pi_\theta(a_i | \ell, \hat{o}_i)} \right)^\alpha$

Logik: Wenn sich die Policy auf triviale Merkmale (Hintergrund) verlässt, wird die Wahrscheinlichkeitsverteilung für beide $o_i$ und $\hat{o}_i$ ähnlich sein, was zu einem Verhältnis nahe 1 führt (keine Änderung). Wenn sich die Policy auf das Objekt verlässt, wird sich die Verteilung für $\hat{o}_i$ erheblich unterscheiden, was die korrekte Aktionswahrscheinlichkeit in der endgültigen Ausgabe verstärkt.
Hyperparameter ( $\alpha$ ): Steuert die Stärke des Kontrasts. $\alpha=0$ stellt die Baseline-Policy wieder her.

Wichtige technische Komponenten

Um PCD auf diverse Roboterpolicies anwendbar zu machen, führen die Autoren zwei spezifische Strategien ein:

Tracking-to-Mask (Track2Mask):
- Ziel: Automatische Generierung von objektmaskierten Beobachtungen für jeden Frame einer Trajektorie ohne manuelle Eingriffe.
- Prozess:
  - Annotation: Zielobjekte im ersten Frame werden mithilfe menschlicher Prompts (Punkt/Box) oder handelsüblicher Open-Vocabulary-Detektoren (z. B. Grounding DINO) identifiziert.
  - Tracking: Das SAM2 (Segment Anything Model 2) verfolgt und segmentiert diese Objekte über nachfolgende Frames hinweg.
  - Inpainting: Die segmentierten Objekte werden eingefüllt (entfernt), um die maskierte Beobachtung $\hat{o}_i$ zu erstellen.
KDE-basierte probabilistische Modellierung (KDE-PM):
- Herausforderung: Autoregressive Policies (z. B. OpenVLA) geben Token-Wahrscheinlichkeiten direkt aus, aber diffusionsbasierte Policies (z. B. Octo, $\pi_0$ ) generieren Aktionen über einen Denoising-Prozess und geben nicht nativ eine Wahrscheinlichkeitsverteilung $\pi_\theta(a|o)$ aus.
- Lösung: Die Autoren verwenden Kernel Density Estimation (KDE), um die Aktionswahrscheinlichkeitsverteilung zu approximieren. Sie entnehmen $N$ Kandidatenaktionen aus der Diffusionspolicy und passen eine Gaußsche Kernel-Dichte an diese Stichproben an, um $\pi_\theta(a|o)$ und $\pi_\theta(a|\hat{o})$ zu schätzen, wodurch die kontrastive Decodierungsformel mit Diffusionsmodellen funktioniert.

3. Hauptbeiträge

Erste trainingsfreie Lösung: PCD ist die erste Arbeit, die einen Plug-and-Play-Ansatz ohne Training vorschlägt, um triviale Korrelationen in Roboterpolicies während der Inferenz zu mindern.
Modellunabhängig: Es fungiert als Black-Box-Plugin, das sowohl mit autoregressiven (OpenVLA) als auch mit diffusionsbasierten (Octo, $\pi_0$ ) Policies kompatibel ist, ohne Zugriff auf vortrainierte Gewichte oder Fine-Tuning zu erfordern.
Robustheit gegenüber Verteilungsverschiebungen: Durch den expliziten Kontrast zwischen objektrelevanten und objektirrelevanten Eingaben zwingt PCD die Policy, sich auf kausale Merkmale zu konzentrieren, was die Generalisierung auf nicht gesehene Szenarien erheblich verbessert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten PCD an 15 verschiedenen Aufgaben in Simulation (SIMPLER) und realen Umgebungen unter Verwendung von drei State-of-the-Art-Policies: OpenVLA, Octo und $\pi_0$ .

Simulationsleistung:
- OpenVLA: Durchschnittliche Verbesserung der Erfolgsrate um 50,6 %.
- Octo: Durchschnittliche Verbesserung der Erfolgsrate um 29,7 %.
- $\pi_0$ : Durchschnittliche Verbesserung der Erfolgsrate um 8,9 % (trotz $\pi_0$ bereits als starke Baseline).
Leistung in der realen Welt:
- Bei Manipulationsaufgaben in der realen Welt mit der $\pi_0$ -Policy erreichte PCD eine massive Verbesserung der Erfolgsrate um 108 % im Vergleich zur Baseline.
- Die Methode erwies sich als robust gegenüber verschiedenen Ablenkungen (Beleuchtungsänderungen, Hintergrundunordnung, Verschiebungen der Objektposition).
Ablationsstudien:
- Die Methode ist robust gegenüber verschiedenen Objekterkennungsstrategien (Menschliche Prompts vs. Grounding DINO vs. YOLO World).
- Sie ist robust gegenüber verschiedenen Inpainting-Algorithmen (LaMa schnitt am besten ab).
- Der Hyperparameter $\alpha$ zeigt einen klaren positiven Einfluss, wenn er $>0$ ist.

5. Bedeutung und Einschränkungen

Bedeutung: PCD adressiert eine fundamentale Schwäche aktueller robotischer Foundation Models (Abhängigkeit von trivialen Korrelationen) ohne die hohen Kosten eines Nachtrainings. Es zeigt, dass einfache Eingriffe zur Inferenzzeit die Generalisierung und Sicherheit im realen Einsatz drastisch verbessern können.
Einschränkungen:
- Rechenoverhead: PCD erfordert einen zweiten Forward-Pass (für das maskierte Bild) sowie Objekt-Tracking und Inpainting, was die Inferenz-Latenz um etwa 24–100 % erhöht (abhängig von der Policy und Parallelisierung). Die Autoren argumentieren jedoch, dass dies angesichts der massiven Verbesserungen der Erfolgsraten akzeptabel ist.
- Umfang: Der Fokus liegt derzeit auf der Korrektur zur Inferenzzeit; zukünftige Arbeiten zielen darauf ab, triviale Korrelationen bereits während der Trainingsphase zu adressieren.

Fazit: Das Paper stellt ein hochwirksames, vielseitiges Framework (PCD) vor, das die Zuverlässigkeit und Generalisierung robotischer Foundation Models erheblich verbessert, indem es sie zwingt, sich auf die korrekten visuellen Merkmale zu konzentrieren, und so die Lücke zwischen Simulationsleistung und Robustheit in der realen Welt schließt.