Grounding Bodily Awareness in Visual Representations for Efficient Policy Learning

Das Paper stellt ICon (Inter-token Contrast) vor, eine kontrastive Lernmethode für Vision Transformer, die durch die Trennung agentenspezifischer von umgebungsspezifischen Token effizientere und übertragbare Robotersteuerungsstrategien ermöglicht.

Das Wesentliche

Stell dir vor, du lernst einen neuen Tanz. Wenn du nur auf die anderen Tänzer und den Boden schaust, wirst du schnell verwirrt sein. Aber wenn du deinen eigenen Körper im Spiegel siehst – wo deine Arme sind, wie sie sich bewegen – dann lernst du viel schneller, wie du dich koordinieren musst.

Genau dieses Problem lösen die Forscher in diesem Papier für Roboter. Hier ist die Erklärung in einfachen Worten:

Das Problem: Der Roboter ist "blind" für sich selbst

Roboter lernen oft, indem sie auf Kameras schauen und versuchen, Aufgaben zu erledigen (wie einen Deckel von einem Topf nehmen). Das Problem ist: Die Kamera sieht alles auf einmal – den Tisch, den Topf, den Roboterarm und den Hintergrund.

Wenn ein Roboter-Algorithmus lernt, filtert er oft unbewusst alles aus, was nicht direkt mit dem Ziel zu tun hat. Das Problem dabei? Er vergisst dabei seinen eigenen Körper. Er weiß nicht genau, wo sein Arm gerade ist. Das macht das Lernen langsam und instabil, besonders wenn er auf einen anderen Roboter übertragen werden soll (der vielleicht einen anderen Arm hat).

Die Lösung: "ICon" – Der innere Spiegel

Die Forscher haben eine Methode namens ICon (Inter-token Contrast) entwickelt. Stell dir das wie einen cleveren Trick vor, den sie in das "Gehirn" des Roboters (ein sogenanntes Vision Transformer-Modell) einbauen.

Stell dir das Bild, das die Kamera sieht, wie ein riesiges Mosaik aus vielen kleinen Kacheln vor.

1. Das Mosaik zerlegen: Das System schaut sich jede kleine Kachel an.
2. Die Unterscheidung: Es fragt sich bei jeder Kachel: "Ist das hier ein Teil vom Roboter (mein Körper) oder ist das die Umgebung (der Tisch, der Topf)?"
3. Der Kontrast-Trick: Das System zwingt den Roboter, zwei Dinge zu lernen:
   • Alle Teile, die zum Roboter gehören, sollen sich im "Gedächtnis" sehr ähnlich anfühlen (wie eine Familie).
   • Alle Teile, die zur Umgebung gehören, sollen sich auch ähnlich anfühlen.
   • Aber: Die "Roboter-Familie" und die "Umgebung-Familie" sollen sich so weit wie möglich voneinander entfernen.

Die kreativen Werkzeuge

Um das gut zu machen, nutzen die Forscher zwei besondere Werkzeuge:

• Der "Weitverbreitete Sucher" (Farthest Point Sampling):
  Stell dir vor, du musst Punkte auf einem Roboterarm markieren, um zu verstehen, wie er aussieht. Wenn du zufällig Punkte wählst, könntest du 10 Punkte auf demselben kleinen Gelenk landen lassen. Das hilft nicht viel.
  Die Methode FPS (Farthest Point Sampling) sorgt dafür, dass die ausgewählten Punkte über den ganzen Arm verteilt sind – einer am Handgelenk, einer am Ellbogen, einer oben. So bekommt der Roboter ein vollständiges Bild von sich selbst, statt nur ein Detail.

• Der "Mehrebenen-Ansatz":
  Das Gehirn des Roboters besteht aus vielen Schichten. In den unteren Schichten sieht es nur einfache Linien, in den oberen Schichten erkennt es komplexe Formen. ICon sorgt dafür, dass diese Trennung zwischen "Ich" und "Welt" auf allen Ebenen passiert, nicht nur am Ende. Das ist wie beim Lernen: Du verstehst nicht nur das Endergebnis, sondern auch jeden einzelnen Schritt auf dem Weg dorthin.

Warum ist das so gut?

1. Schnelleres Lernen: Weil der Roboter seinen eigenen Körper besser versteht, lernt er neue Aufgaben viel schneller. In Tests hat er bei 8 verschiedenen Aufgaben (wie Schränke öffnen oder Müll sortieren) deutlich besser abgeschnitten als Roboter ohne diesen Trick.
2. Bessere Anpassung: Wenn man einen Roboter, der auf einem Franka-Arm trainiert wurde, auf einen KUKA-Arm umstellt, funktioniert das viel besser. Der Roboter versteht das Prinzip "mein Arm bewegt sich" so gut, dass er es auf einen neuen Arm übertragen kann, ohne alles neu lernen zu müssen.
3. Stabileres Training: Andere Methoden versuchen, das Bild des Roboters einfach wiederherzustellen (wie ein Foto zu reparieren). Das macht das Training oft wackelig. ICon hingegen ist wie ein stabiler Kompass: Es führt den Roboter sicher zum Ziel, ohne dass er ins Wanken gerät.

Zusammenfassung

Kurz gesagt: ICon gibt dem Roboter ein "Bewusstsein für seinen eigenen Körper" durch die Kamera. Anstatt nur auf die Welt zu starren, lernt er, seinen eigenen Körper im Bild zu erkennen und von der Umgebung zu trennen. Das macht ihn zu einem besseren, schnelleren und flexibleren Tänzer in der Welt der Robotik.

Technische Zusammenfassung

1. Problemstellung

Das Erlernen effektiver visueller Repräsentationen für robotische Manipulationsaufgaben bleibt eine fundamentale Herausforderung. Der Hauptgrund liegt in der Komplexität der Körpervariablen (Body Dynamics), die bei der Ausführung von Aktionen eine Rolle spielen.

• Herausforderung: In end-to-end Lernframeworks, bei denen visuelle Encoder (z. B. Vision Transformers) gemeinsam mit Policy-Netzwerken optimiert werden, neigen Modelle dazu, in „Bottlenecks" zu konvergieren. Dabei werden oft visuelle Signale, die für den Agenten (den Roboter) selbst relevant sind (z. B. die Position des Greifers oder des Arms), als irrelevante Hintergrundinformationen herausgefiltert.
• Limitierung bestehender Ansätze: Bisherige Methoden versuchen, diese Körperbewusstsein-Informationen durch rekonstruktive Hilfsziele (z. B. das Rekonstruieren von RGB-Bildern oder Agenten-Masken aus latenten Räumen) zu erzwingen. Die Autoren argumentieren jedoch, dass solche Rekonstruktionsverluste die Trainingsstabilität der Policy-Lernprozesse untergraben können.
• Ziel: Es wird nach einer natürlicheren Methode gesucht, um entkoppelte Repräsentationen von Agent und Umgebung direkt aus Pixeln abzuleiten, ohne die Leistungsfähigkeit oder Stabilität des Trainings zu beeinträchtigen.

2. Methodik: Inter-token Contrast (ICon)

Die Autoren stellen Inter-token Contrast (ICon) vor, einen kontrastiven Lernansatz, der speziell auf die Token-Level-Repräsentationen von Vision Transformern (ViT) angewendet wird. Das Ziel ist es, agentenspezifische von umgebungsspezifischen Merkmalen zu trennen.

Kernkomponenten:

• Token-Level-Masken: Anstatt nur auf Pixel-Ebene zu arbeiten, wird eine binäre Segmentierungsmaske (Agent vs. Umgebung) auf die Patch-Ebene des ViT übertragen. Ein Patch wird als „Agent-dominiert" klassifiziert, wenn der Anteil der Agent-Pixel einen Schwellenwert $\beta$ überschreitet.
• Inter-token Kontrastiver Verlust:
  • Features, die zum Agenten gehören, sollen im Merkmalsraum ähnlich sein (Clusterbildung), während Agent-Features von Umwelt-Features getrennt werden sollen.
  • Es werden Query-Vektoren ($q_a$ für Agent, $q_e$ für Umgebung) durch Mittelung der entsprechenden Token-Features berechnet.
  • Als Schlüssel (Keys) werden spezifische Token ausgewählt und ein symmetrischer InfoNCE-Verlust berechnet, der Agent-Keys als positive und Umwelt-Keys als negative Beispiele (und umgekehrt) behandelt.
• Farthest Point Sampling (FPS): Um sicherzustellen, dass die ausgewählten Schlüssel (Keys) eine diverse und repräsentative Abdeckung des Agenten bzw. der Umgebung bieten, wird eine adaptierte Version des Farthest Point Sampling aus dem 2D-Bereich verwendet. Im Gegensatz zur zufälligen Sampling verhindert dies, dass alle Punkte in einem kleinen Bereich clustern.
• Multi-Level Contrast (MLC): Der kontrastive Verlust wird nicht nur auf der letzten Schicht des ViT angewendet, sondern über mehrere Encoder-Schichten hinweg fusioniert. Da tiefere Schichten semantischere Features enthalten, wird den tieferen Schichten ein höheres Gewicht gegeben, um eine vollständige Entkopplung zu erreichen.
• Integration in die Policy: ICon wird als Hilfsziel (Auxiliary Objective) in das Training von Diffusion Policies (einem State-of-the-Art Imitations-Lern-Algorithmus) integriert. Der Gesamtverlust ist eine gewichtete Summe aus dem Diffusions-Loss und dem ICon-Loss.

3. Wichtige Beiträge

1. Neuer Ansatz zur Körperwahrnehmung: Einführung von ICon, das agentenzentrierte visuelle Repräsentationen durch kontrastives Lernen auf Token-Ebene erzwingt, ohne auf rekonstruktive Verluste angewiesen zu sein.
2. Technische Innovationen:
   • Übertragung von Farthest Point Sampling in den 2D-Bereich für die Token-Auswahl, um die Diversität der Features zu gewährleisten.
   • Ein mehrstufiges Design (MLC), das die Entkopplung von Agent und Umgebung über die gesamte Tiefe des Transformers hinweg verbessert.
3. Robustheit und Stabilität: Nachweis, dass ICon die Trainingsstabilität im Vergleich zu rekonstruktiven Ansätzen (wie Crossway Diffusion) erhöht, da es keine instabilen Rekonstruktionsaufgaben erzwingt.

4. Ergebnisse

Die Methode wurde an 8 Manipulationsaufgaben in zwei Simulationsumgebungen (RLBench und Robosuite) mit drei verschiedenen Robotern (Franka, Kinova, KUKA) evaluiert.

• Leistungssteigerung: ICon führte konsistent zu Leistungsverbesserungen bei der Basis-Policy (Diffusion Policy). Auf dem RLBench-Benchmark erzielte ICon-Diff-C absolute Verbesserungen von bis zu 21,3 % (z. B. bei „Open Box") gegenüber der Basis-Policy.
• Vergleich mit Baselines: ICon übertraf sowohl CNN-basierte als auch Transformer-basierte Baselines sowie den rekonstruktiven Ansatz „Crossway Diffusion". Besonders bei komplexen Aufgaben mit häufigen Aktionswechseln oder langen Horizonten zeigte ICon Überlegenheit.
• Transferfähigkeit (Few-Shot Transfer): Die mit ICon trainierten Policies zeigten eine bessere Übertragbarkeit auf andere Roboter (z. B. von Franka auf Kinova oder KUKA). Dies deutet darauf hin, dass die gelernten Repräsentationen morphologieunabhängigere Agent-Eigenschaften erfassen.
• Trainingsstabilität: Im Vergleich zu Crossway Diffusion, das große Lücken zwischen maximaler und durchschnittlicher Leistung aufwies (Zeichen für Instabilität), zeigte ICon-Diff-C eine deutlich stabilere Lernkurve und höhere durchschnittliche Erfolgsraten.

5. Bedeutung und Fazit

Die Arbeit unterstreicht die Bedeutung der visuellen Propriozeption (Körperwahrnehmung durch Sehen) für das robotische Lernen.

• Paradigmenwechsel: Statt den Roboter nur als Teil der Umgebung zu betrachten, zwingt ICon das Modell explizit, eine Unterscheidung zwischen „Selbst" (Agent) und „Nicht-Selbst" (Umgebung) zu treffen.
• Effizienz: Die Methode ermöglicht effizienteres Policy-Learning, insbesondere bei begrenzten Datenmengen, und verbessert die Generalisierungsfähigkeit über verschiedene Roboterstrukturen hinweg.
• Zukunftsperspektive: Obwohl die aktuellen Experimente auf Simulation beschränkt sind, legt ICon den Grundstein für robustere, realwelt-taugliche Robotersysteme, die ihre eigene Dynamik besser verstehen und darauf reagieren können. Ein aktueller Nachteil ist der rechnerische Aufwand durch das FPS-Verfahren bei großen Datensätzen.

Zusammenfassend bietet ICon einen eleganten und effektiven Weg, um die Lücke zwischen rohen Pixelbeobachtungen und agentenzentriertem Verständnis in der robotischen Manipulation zu schließen.