💻 computer science

ContactMimic: Humanoid Object Interaction via Contact Control

ContactMimic ist ein Lernframework, das die humanoide Objektinteraktion verbessert, indem es binäre Kontaktbefehle explizit neben Keypoint-Trajektorien verfolgt und so präzisen physischen Kontakt sowie eine bedarfsgerechte Kontaktsteuerbarkeit bei vielfältigen Manipulationsaufgaben ermöglicht.

Ursprüngliche Autoren: Xinyao Li, Xialin He, Runpei Dong, Saurabh Gupta

Veröffentlicht 2026-07-10

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xinyao Li, Xialin He, Runpei Dong, Saurabh Gupta

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter das Tanzen bei. Lange Zeit war der beste Weg dazu, dem Roboter ein Video einer menschlichen Tänzerin zu zeigen und zu sagen: „Kopiere exakt diese Körperpositionen.“ Der Roboter würde seine Gelenke bewegen, um Hüften, Ellbogen und Knie des Menschen perfekt zu entsprechen.

Aber hier liegt das Problem: Es reicht nicht aus, nur die Form des Tanzes zu kopieren.

Wenn ein menschlicher Tänzer seine Hand nahe an ein Whiteboard bewegt, winkt er nur. Wenn er seine Hand gegen das Whiteboard drückt, wischt er es ab. Wenn ein Roboter nur die Position der Hand betrachtet, könnte er die Hand direkt neben das Board bewegen und denken, er mache einen großartigen Job, obwohl er eigentlich gar nichts reinigt. Es ist so, als würde man versuchen, eine Tür zu öffnen, indem man sich nur daneben stellt, ohne jemals den Griff zu berühren.

Dies ist die große Idee hinter einem neuen Projekt namens CONTACTMIMIC. Die Forscher fanden heraus, dass man einen Roboter für Aufgaben wie Sitzen, Wischen oder das Verschieben von Möbeln wirklich nützlich machen kann, wenn man ihm nicht nur sagt, wo er sein soll, sondern auch, ob er Dinge berühren soll.

Der „magische Schalter“ für Berührung

Das Team entwickelte ein System, bei dem man dem Roboter, anstatt nur einen Pfad vorzuge zu geben, einen Schalter gibt. Dieser Schalter ist ein einfaches „Ja/Nein“-Label für jeden Teil des Roboterkörpers.

Schalter AN (Kontakt ✔): „Okay, Roboter, ich möchte, dass du deine Hand gegen dieses Whiteboard drückst.“
Schalter AUS (Kontakt ✘): „Okay, Roboter, bewege deine Hand an die exakt gleiche Stelle, aber berühre das Board nicht. Schwebe einfach nur darüber.“

In ihren Tests zeigten sie, dass der Roboter mit diesem Schalter dieselben Tanzbewegungen ausführen, aber sein Verhalten komplett verändern konnte. Er konnte in einem Stuhl sitzen und sich zurücklehnen, oder im selben Stuhl sitzen und aufrecht bleiben, ohne die Rückenlehne zu berühren. Er konnte eine Box aufheben oder einfach nur die Hände in der Form halten, als würde er eine Box halten, ohne sie tatsächlich anzuheben.

Warum war das so schwer?

Man könnte denken: „Warum lehrt man den Roboter nicht einfach natürlich, Dinge zu berühren?“ Die Forscher entdeckten eine tückische Falle in den Daten.

Wenn Menschen mit Objekten interagieren, sind ihre Körperpositionen und ihre Berührungen meist fest miteinander gekoppelt. Wenn ein Mensch auf einem Stuhl sitzt, berührt sein Gesäß immer die Sitzfläche. Wenn ein Mensch ein Board wischt, berührt seine Hand immer die Oberfläche. Aus diesem Grund lernt ein Roboter, wenn man ihm nur tausende Videos von Menschen beim Sitzen zeigt: „Oh, wenn die Hüften in dieser Position sind, muss das Gesäß die Sitzfläche berühren.“ Er hört auf, auf den „Berührungs“-Befehl zu hören, weil er glaubt, dass die Position bereits die ganze Geschichte erzählt.

Um dies zu beheben, mussten die Forscher kreativ werden. Sie nahmen ihre Trainingsdaten und begannen, die Regeln zu brechen:

Das „Geister-Objekt“: Sie nahmen ein Video von jemandem, der ein Board wischt, sagten dem Roboter aber: „Das Board ist nicht da.“ Der Roboter musste lernen, seine Hand an die Stelle des Boards zu bewegen, ohne etwas zu berühren.
Das „aufgeblasene“ Objekt: Sie machten die Objekte in der Simulation größer (wie einen aufgeblasenen Ballon), sodass der Roboter seine Hand um das Objekt herum bewegen musste, um es zu vermeiden, obwohl der „Kontakt“-Befehl besagte, dass er es berühren sollte.
Die „Fake“-Berührung: Sie nahmen ein Video, in dem der Roboter etwas berühren sollte, sagten ihm dann aber: „Berühre nichts“, und umgekehrt.

Durch diese Mischung zwangen sie den Roboter, nicht mehr basierend auf der Position zu raten, sondern tatsächlich auf den „Berührungs“-Schalter zu hören.

Hat es funktioniert?

Das Team testete dies an einem echten Roboter namens Unitree G1 (einem Humanoiden mit 29 Gelenken) und in einer Computersimulation.

In der Simulation: Sie führten 10 verschiedene Aufgaben aus, wie das Treten gegen einen Stuhl, das Treten auf einen Stuhl und das Aufheben einer Box. Wenn sie den Schalter auf „Kontakt“ stellten, stellte der Roboter den Kontakt her. Wenn sie ihn auf „Kein Kontakt“ stellten, berührte er nichts mehr. Der Roboter konnte sogar eine Box anheben, indem man ihm lediglich sagte, dass er sie berühren sollte, ohne eine spezielle „Heb die Box auf“-Anweisung zu geben.
In der realen Welt: Sie testeten fünf reale Bewegungen, darunter das Wischen eines Whiteboards und das Anlehnen an eine Stuhllehne.
- Wenn er zum Wischen angewiesen wurde, drückte der Roboter seine Hand fest genug gegen das Board, um eine sichtbare Spur zu hinterlassen.
- Wenn er zum Schweben angewiesen wurde, bewegte sich die Hand an die gleiche Stelle, hinterließ aber keine Spur.
- Wenn er zum Anlehnen angewiesen wurde, lehnte der Roboter sein Gewicht gegen die Stuhllehne. Wenn er angewiesen wurde, nicht anzulehnen, blieb er aufrecht und balancierte selbstständig.

Die Ergebnisse waren beeindruckend. In der realen Welt folgte der Roboter dem Kontaktbefehl in etwa 90 % bis 100 % der Fälle für die meisten Aufgaben (zum Beispiel 9 von 10 Mal beim Anlehnen an eine Rückenlehne und 5 von 5 Mal beim Wischen des Boards).

Was es (noch) nicht kann

Das Paper ist sehr deutlich darüber, was dies nicht ist.

Es ist kein „universeller“ Roboter, der mit einem einzigen Gehirn jede Aufgabe erledigen kann. Die Forscher trainierten ein separates „Gehirn“ (Policy) für jede spezifische Bewegung. Sie haben noch nicht herausgefunden, wie man einen einzigen Roboter baut, der all diese Dinge gleichzeitig tun kann.
Es ist auf hochwertige Videos von Menschen angewiesen, die mit Objekten interagieren. Sie verwendeten keine zufälligen Internetvideos, sondern einen spezifischen Datensatz namens HUMOTO.
Sie verwendeten keine speziellen Berührungssensoren auf der Roboterhaut. Stattdessen fand der Roboter durch das Gefühl seiner eigenen Muskeln und Gelenke (Propriozeption) heraus, ob er etwas berührt. Sie bewiesen dies, indem sie zeigten, dass ein einfaches Computerprogramm, das auf Basis der internen Empfindungen des Roboters raten sollte, ob dieser etwas berührt, fast immer richtig lag (mit F1-Scores von etwa 0,90 bis 0,99 für die meisten Aufgaben).

Das Fazit

Das Paper legt nahe, dass man, wenn man möchte, dass ein Roboter nützliche, physische Aufgaben erledigt, aufhören muss, ihm nur zu sagen, wohin er gehen soll. Man muss ihm explizit sagen, ob er etwas berühren soll. Durch das Aufbrechen der Verbindung zwischen „Position“ und „Berührung“ während des Trainings haben sie den Roboter gelehrt, auf einen einfachen Schalter zu hören. Es ist ein Schritt hin zu Robotern, die nicht nur so aussehen, als würden sie eine Aufgabe ausführen, sondern die Aufgabe tatsächlich tun, indem sie den richtigen physischen Kontakt herstellen.

Technisches Resümee: CONTACTMIMIC

Problemstellung

Aktuelle humanoide Ganzkörper-Lokomotions- und Manipulationssysteme verlassen sich primär auf das Verfolgen von Keypoint-Trajektorien (kinematische Zielvorgaben), um menschliche Bewegungen zu imitieren. Für viele nützliche Interaktionsaufgaben – wie etwa das Hinsetzen auf einen Stuhl, das Abwischen eines Whiteboards oder das Verschieben von Möbeln – ist der Erfolg jedoch nicht allein durch die Pose des Roboters definiert, sondern durch expliziten physischen Kontakt mit der Umgebung.

Bestehende Tracker reproduzieren oft die Form einer Bewegung, versäumen es jedoch, den notwendigen physischen Kontakt herzustellen (z. B. eine Hand in der Nähe einer Tafel zu bewegen, anstatt sie abzuwischen). Infolgedessen sind diese Systeme für die Ausführung von Aufgaben unzureichend und erfordern typischerweise ein Fine-Tuning mit aufgabenspezifischen Belohnungen, um Erfolg zu erzielen. Darüber hinaus fehlt aktuellen Methoden die Fähigkeit, während des Einsatzes explizit zu steuern, ob Kontakt hergestellt oder unterdrückt werden soll, was ihre Vielseitigkeit in Szenarien einschränkt, in denen dieselbe Bewegungsgeometrie unterschiedliche Kontaktverhalten erfordert (z. B. auf einen Stuhl setzen vs. ohne Berührung in die Hocke gehen).

Methodik

Die Autoren schlagen CONTACTMIMIC vor, ein Lernframework, das neben dem Keypoint-Tracking ein explizites, zur Laufzeit steuerbares Kontaktverhalten ermöglicht. Das System basiert auf drei Kernsäulen:

1. Kontaktgesteuerte Policy

Die Policy $\pi_\theta(a_t | p_t, \bar{k}_t, \bar{c}_t)$ nimmt drei Eingaben entgegen:

Propriozeption ( $p_t$ ): Den internen Zustand des Roboters.
Keypoint-Targets ( $\bar{k}_t$ ): Referenz-Trajektorien für Körperteile.
Binäre Kontakt-Labels ( $\bar{c}_t$ ): Eine pro Zeitschritt und pro Körperteil definierte Karte, die angibt, ob Kontakt mit spezifischen Objektteilen erwünscht (1) oder zu unterdrücken (0) ist.

Die Policy gibt Zielgelenkwinkel aus, die über einen PD-Regler in Drehmomente umgewandelt werden. Bemerkenswerterweise verwendet das System keine expliziten Kontaktsensoren als Eingabe; es verlässt sich auf die Propriozeption, um den Kontaktzustand zur Laufzeit abzuleiten.

2. Reward-Design

Um die Policy darauf zu trainieren, die Kontaktbefehle einzuhalten, führen die Autoren kontaktbewusste Belohnungen neben Standard-Tracking- und Regularisierungstermen ein:

Kontakt-Label-Matching-Reward ( $r^{lm}_t$ ): Ermutigt die Policy, den befohlenen Kontaktzustand (True Positive Rate und True Negative Rate) zwischen Roboter-Körperteilen und Objektoberflächen einzuhalten. Es werden zwei Varianten verwendet: Balanced Accuracy (Standard) und TP-FP (für spärliche Kontaktbewegungen).
Kontaktdistanz-Reward ( $r^{cd}_t$ ):
- Positiver Term: Ermutigt Körperteile, die Kontakt mit einem Objekt haben sollen, in der Nähe der Oberfläche zu bleiben.
- Negativer Term: Bestraft Körperteile, die keinen Kontakt haben sollen, falls sie zu nah kommen (innerhalb eines Schwellenwerts $\delta$ ).

3. Datenaugmentation zur Aufbrechung von Korrelationen

Eine kritische Herausforderung besteht darin, dass in Rohdaten menschlicher Interaktion mit Objekten Keypoint-Trajektorien und Kontaktmuster stark korreliert sind (eine spezifische Bewegung impliziert meist ein spezifisches Kontaktmuster). Wenn man dies naiv trainiert, könnte die Policy den Kontaktbefehl ignorieren und den Kontakt allein aus den Keypoints ableiten.

Um dies zu mildern, schlagen die Autoren ein Augmentationsschema vor, das Bewegungspaare mit ähnlichen Keypoint-Strukturen, aber unterschiedlichen Kontakt-Labels generiert:

Kontakt-Label-Flipping: Behält die ursprüngliche Trajektorie bei, kehrt aber die Kontakt-Labels um, wodurch der Roboter dafür bestraft wird, Kontakt mit dem Objekt herzustellen.
Objektentfernung: Entfernt das Interaktionsobjekt aus der Simulation und setzt die Kontakt-Labels auf Null, während die Keypoint-Trajektorie intakt bleibt.
Inflated Geometry (Aufgeblähte Geometrie): Bläht das Kollisionsmodell des Objekts während des Retargetings auf, um den Roboter dazu zu zwingen, um das Objekt herum zu navigieren, wodurch eine perturbierte Trajektorie entsteht, bei der Kontakte natürlich nicht vorkommen und als Null gelabelt werden.

Diese augmentierten Paare zwingen die Policy, auf den expliziten Kontaktbefehl zu achten, anstatt den Kontakt allein aus der Geometrie abzuleiten.

Zentrale Beiträge

Explizite Kontaktsteuerung: Ein Framework, das es einer einzelnen Policy ermöglicht, zwischen dem Herstellen oder Unterdrücken physischen Kontakts für dieselbe Keypoint-Trajektorie zu wechseln, was eine feingranulare Kontrolle über Interaktionen ermöglicht (z. B. Sitzen mit Rückenlehne vs. ohne).
Aufgabenfreie Manipulation: Die Fähigkeit, komplexe Manipulationsaufgaben (z. B. das Anheben einer Box) allein durch das Tracking von Keypoint- und Kontakt-Trajektorien zu bewältigen, ohne auf aufgabenspezifische Belohnungen angewiesen zu sein.
Data-Engineering-Strategie: Der Nachweis, dass das Aufbrechen der Korrelation zwischen Keypoints und Kontakten durch spezifische Augmentation (Flipping, Entfernung, Inflation) notwendig ist, um echtes kontaktgesteuertes Verhalten zu erlernen.
Propriozeptive Inferenz: Die Erkenntnis, dass die Policy implizit lernt, den Kontaktzustand zur Laufzeit allein aus der Propriozeption abzuleiten, was externe Kontaktsensoren zur Laufzeit überflüssig macht.

Experimentelle Ergebnisse

Das Framework wurde am Unitree G1 Humanoiden über 10 verschiedene menschliche Objekt-Interaktionsbewegungen (z. B. Wischen, Sitzen, Lehnen, Treten, Aufheben von Boxen) sowohl in der Simulation als auch in der realen Welt evaluiert.

Kontakt-Steuerbarkeit: In Simulations- und Realwelt-Tests folgte die Policy erfolgreich den Kontaktbefehlen. Wenn der Kontakt befohlen wurde ( $\checkmark$ ), stellte der Roboter physischen Kontakt her (z. B. ein Whiteboard abwischen, sich an eine Rückenlehne lehnen). Wenn die Unterdrückung des Kontakts befohlen wurde ( $\times$ ), behielt der Roboter dieselbe geometrische Pose bei, vermied jedoch den Kontakt.
Vergleich mit Baselines: Im Vergleich zu BeyondMimic (einem State-of-the-Art Keypoint-only Tracker) erreichte CONTACTMIMIC signifikant höhere Kontaktmetriken (Kontaktkörper und Impuls), während es eine vergleichbare Genauigkeit beim Keypoint-Tracking (MPJPE) beibehielt. BeyondMimic scheiterte daran, den notwendigen physischen Kontakt für Manipulationsaufgaben herzustellen.
Ablationsstudien: Das Entfernen der vorgeschlagenen Datenaugmentationsstrategien führte zu einem signifikanten Rückgang der Kontaktsteuerbarkeit, was bestätigt, dass die Augmentation essenziell ist, um das Kontaktverhalten von der Keypoint-Geometrie zu entkoppeln.
Real-World Transfer: Die Policy übertrug sich erfolgreich auf den echten Unitree G1 Roboter und demonstrierte eine robuste Kontaktsteuerbarkeit über fünf verschiedene Bewegungen hinweg (z. B. Wischen, Sitzen, Lehnen) mit hohen Erfolgsraten.

Bedeutung und Ansprüche

Das Paper behauptet, dass CONTACTMIMIC einen Schritt hin zu Humanoiden darstellt, die mit der Welt zielgerichtet statt zufällig interagieren. Durch die Einführung der expliziten Kontaktkonditionierung bieten die Autoren eine einfache und allgemeine Schnittstelle zur Ausdruck von kontaktreichen Aufgaben.

Die Bedeutung liegt in:

Entkopplung von Geometrie und Kontakt: Der Beweis, dass das Kontaktverhalten unabhängig von der geometrischen Trajektorie der Bewegung gesteuert werden kann.
Eliminierung aufgabenspezifischer Belohnungen: Der Nachweis, dass komplexe Manipulationsaufgaben durch einfaches Matching von Kontakt- und Keypoint-Trajektorien erlernt werden können, wodurch die Notwendigkeit handgefertigter Aufgaben-Belohnungen entfällt.
Skalierbarkeit: Der Ansatz legt nahe, dass eine einzige Policy-Architektur vielfältige Interaktionsmodi handhaben kann, indem man lediglich ein Label umschaltet, was einen Weg zu vielseitigeren und anpassungsfähigeren humanoiden Robotern ebnet.

Die Autoren räumen Einschränkungen ein, darunter die derzeitige Notwendigkeit, separate Policies pro Bewegung zu trainieren (anstatt eines universellen Trackers), die Abhängigkeit von hochwertigen menschlich-objekt-interaktiven Datensätzen (HUMOTO) und die Evaluierung auf einer einzigen Roboterplattform. Zukünftige Arbeiten sollen das gemeinsame Training über verschiedene Bewegungen hinweg sowie die Nutzung von Video-Daten aus der realen Welt adressieren.