💻 computer science

VE2VF: Vision-Enabled to Vision-Free Distillation via Real-world Reinforcement Learning for Robust Contact-Rich Manipulation

Dieser Beitrag stellt VE2VF vor, ein Reinforcement-Learning-Framework mit menschlicher Rückkopplung, das Wissen von einem visuell ausgestatteten Lehrer in eine robuste, visionsfreie Schüler-Policy destilliert, die vollständig in der realen Welt trainiert wird und bei kontaktreichen Manipulationsaufgaben hohe Erfolgsquoten sowie starke Generalisierung erreicht, ohne auf Domänenrandomisierung oder Daten-Augmentierung zurückzugreifen.

Ursprüngliche Autoren: Victor Kowalski, Chengxi Li, Dongheui Lee

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Victor Kowalski, Chengxi Li, Dongheui Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, empfindliche Teile zu montieren, etwa ein USB-Kabel in einen Port zu stecken oder ein Zahnrad einzusetzen. Dies ist eine knifflige Aufgabe, da sie eine „kontaktreiche" Manipulation erfordert – das bedeutet, der Roboter muss sich tastend durch enge Räume bewegen, Reibung, Stöße und die Notwendigkeit einer perfekten Ausrichtung bewältigen.

Die Studie stellt eine neue Methode namens VE2VF (Vision-Enabled to Vision-Free, also von sehend zu sehensfrei) vor, um Robotern diese Fähigkeiten beizubringen. Hier ist die Geschichte, wie sie funktioniert, erläutert mit einfachen Analogien.

Das Problem: Der Roboter, der zu sehr auf das Sehen vertraut

Traditionell könnte man einem Roboter diese Fähigkeiten beibringen, indem man ihm ein Video zeigt oder ihn die Aufgabe „sehen" lässt. Das ist wie das Unterrichten eines Schülers im Autofahren, indem man ihn aus der Windschutzscheibe schauen lässt. Das funktioniert hervorragend im Klassenzimmer (oder in der Simulation), hat aber einen Fehler: Der Schüler merkt sich die Szenerie.

Wenn man einen Roboter mit Kameras trainiert, könnte er lernen: „Wenn ich eine blaue Wand links sehe, drehe ich nach rechts." Aber wenn man den Roboter in einen Raum mit einer roten Wand bringt oder sich das Licht ändert, gerät der Roboter in Verwirrung und kracht hinein. Er hat sich zu sehr auf das Aussehen des Raums angepasst, anstatt die Physik der Aufgabe zu verstehen.

Die Lösung: Das „Lehrer-Schüler"-Coaching-System

Die Autoren schlagen ein zweistufiges Coaching-System vor, um dies zu beheben. Stellen Sie sich einen Meisterkoch vor, der einen Lehrling unterrichtet.

Schritt 1: Der sehende Lehrer (Der Meisterkoch)
Zuerst trainieren sie einen „Lehrer"-Roboter mittels Reinforcement Learning mit menschlicher Rückkopplung (Human-in-the-Loop).

Wie es funktioniert: Ein Mensch beobachtet den Roboter. Wenn der Roboter kurz davor ist, einen Fehler zu machen, übernimmt der Mensch die Kontrolle (wie ein Fahrlehrer, der auf die Bremse tritt) und führt ihn zum Erfolg.
Die Werkzeuge des Lehrers: Dieser Lehrer hat Augen (Kameras) und Gefühl (Sensoren, die Position, Geschwindigkeit und Kraft messen).
Das Ergebnis: Da der Lehrer Augen hat, lernt er sehr schnell. Er kann das Ziel sehen, seinen Griff anpassen und die kniffligen Winkel herausfinden. Er wird in etwa 40 Minuten realer Praxis zum Experten für die Aufgabe.

Schritt 2: Der sehensfreie Schüler (Der Lehrling)
Nun kommt der magische Trick. Sie wollen einen Roboter, der die Aufgabe ohne Verlassen auf das Sehen erledigen kann, da Augen durch Lichtänderungen oder neue Hintergründe getäuscht werden können.

Die Destillation: Sie nehmen das „Wissen" des Experten-Lehrers und gießen es in einen „Schüler"-Roboter.
Der Haken: Der Schüler-Roboter hat keine Kameras. Er hat nur Sensoren, die die Position, Geschwindigkeit und die ausgeübte Kraft des Roboters spüren (wie ein blinder Experte).
Die Lektion: Der Schüler rät nicht einfach; er kopiert die Entscheidungen des Lehrers. Er lernt: „Wenn ich diesen spezifischen Druck und diesen spezifischen Winkel spüre, sollte ich meinen Arm so bewegen", weil das der Lehrer getan hat.

Warum das eine große Sache ist

Normalerweise wird ein Roboter dümmer, wenn man ihm die Sehfähigkeit nimmt. Aber da dieser Schüler von einem Lehrer gelernt hat, der die Lösung gesehen hat, erbt der Schüler die „Intuition" der Aufgabe, ohne von der visuellen Szenerie abgelenkt zu werden.

Die Analogie: Stellen Sie sich einen Meisterpianisten (den Lehrer) vor, der ein Lied perfekt spielen kann, während er die Noten betrachtet. Dann unterrichtet er einen blinden Schüler (den Schüler), indem er ihn die Tasten und den Rhythmus spüren lässt. Der Schüler lernt das Muskelgedächtnis und das Gefühl des Liedes, nicht nur die visuellen Noten. Wenn man das Klavier in einen anderen Raum mit anderer Beleuchtung stellt, kann der blinde Schüler trotzdem perfekt spielen, weil er das Gefühl gelernt hat, nicht das Aussehen.

Die Ergebnisse: Schnell, robust und anpassungsfähig

Das Team testete dies an einer Standard-Montageplatte (dem NIST-Benchmark) mit verschiedenen kniffligen Aufgaben wie dem Einsetzen von Zahnrädern, Stiften und Kabeln.

Geschwindigkeit: Der gesamte Prozess dauerte etwa 50 Minuten realer Roboterzeit.
Erfolgsrate: Der finale Roboter erreichte eine Erfolgsrate von 95 % über viele verschiedene Aufgaben hinweg.
Robustheit: Als sie die Umgebung manipulierten (Licht änderten, visuelle Unordnung hinzufügten oder das Ziel leicht verschoben), scheiterten die „sehenden" Roboter kläglich. Der „sehensfreie" Schüler arbeitete jedoch weiter, da er nicht von den Änderungen abgelenkt wurde.
Die „Rutsch"-Wiederherstellung: Bei einem Test verfehlte der Roboter den USB-Port und rutschte ab. Der sehensfreie Roboter geriet nicht in Panik; er nutzte sein „Gefühl", um das Rutschen zu spüren, passte sich an und versuchte es erneut, bis er Erfolg hatte. Dies ist ein Verhalten, das er vom Lehrer gelernt, aber in seinem eigenen „blinden" Körper behalten hat.

Der „Feinabstimmungs"-Bonus

Wenn der Roboter auf eine brandneue Aufgabe trifft, die er noch nie gesehen hat (wie einen bestimmten Typ von Verbinder), kann das System einen schnellen „Auffrischungskurs" durchführen.

Sie trainieren einen neuen Lehrer für diese spezifische Aufgabe (unter Verwendung von Vision).
Sie destillieren dieses neue Wissen schnell in den Schüler.
Dies ermöglichte es ihnen, bei der schwierigsten Aufgabe in nur wenigen weiteren Minuten eine 100%ige Erfolgsrate zu erreichen.

Zusammenfassung

Die Studie präsentiert eine Möglichkeit, Roboter so zu trainieren, dass sie Experten darin werden, sich tastend durch komplexe Aufgaben zu bewegen. Indem sie einen „sehenden" Lehrer verwenden, um schnell zu lernen, und dann einen „blinden" Schüler unterrichten, sich auf Berührung und Kraft zu verlassen, schufen sie einen Roboter, der schnell zu trainieren ist, nicht durch Veränderungen im Raum verwirrt wird und bei empfindlichen Montagearbeiten unglaublich gut ist.

Technische Zusammenfassung: VE2VF – Destillation von visuell ermöglichter zu visuell freier Steuerung

Problemstellung

Roboter-Montage und kontaktreiche Manipulation erfordern hohe Präzision und Anpassungsfähigkeit an diverse Bauteile und Umgebungen. Traditionelle modellbasierte Ansätze stoßen aufgrund der Schwierigkeit, Kontaktdynamiken, Reibung und Verformung präzise zu modellieren, an Grenzen. Während lernbasierte Ansätze wie Reinforcement Learning (RL) vielversprechend sind, sehen sie sich erheblichen Hürden gegenüber:

Sim-to-Real-Lücke: Simulatoren erfassen oft komplexe Kontaktinteraktionen nicht adäquat, was die Übertragung von Strategien in die reale Welt erschwert.
Ineffiziente Probennutzung: Ein direktes, modellfreies RL auf Hardware erfordert übermäßige Interaktionszeit und sichere Explorationsstrategien.
Visuelles Overfitting: Visuell ermöglichte Strategien sind zwar während des Trainings effektiv, neigen jedoch dazu, sich an spezifische visuelle Bedingungen (Beleuchtung, Texturen, Hintergründe) anzupassen. Dies schränkt ihre Robustheit und Generalisierungsfähigkeit auf Aufgaben außerhalb der Trainingsverteilung (OOD) oder auf unbekannte Umgebungen ein.
Partielle Beobachtbarkeit: Das direkte Training visuell freier Strategien von Grund auf nur mit Propriozeption (Pose, Drehung, Kraftmoment) ist aufgrund des Fehlens visueller Führung für die Exploration herausfordernd.

Methodik: VE2VF-Rahmenwerk

Die Autoren schlagen VE2VF (Vision-Enabled to Vision-Free) vor, ein Human-in-the-Loop (HIL) RL-Rahmenwerk, das einen Teacher-Student-Destillationsansatz einsetzt, um eine robuste, visuell freie Manipulation zu erreichen. Der Prozess besteht aus drei Hauptphasen:

1. Human-in-the-Loop RL-Setup

Das System nutzt Soft Actor-Critic (SAC) mit RLPD (Reinforcement Learning with Prior Data). Der Lernzyklus integriert:

Autonome Exploration: Der Agent generiert seine eigenen Übergänge.
Menschliche Führung: Ein menschlicher Operator liefert Offline-Demonstrationen und Online-Teleoperations-Eingriffe (Überschreiben der Agentenaktionen), um die Exploration zu steuern und Belohnungssignale bereitzustellen.
Belohnungsstruktur: Es wird eine sparse binäre Belohnung verwendet (1 für Aufgaben Erfolg, 0 sonst), wodurch komplexe Reward-Shaping-Verfahren vermieden werden.

2. Phase I: Training des visuell ermöglichten Teachers

Eine „Teacher"-Strategie ( $\pi_t$ ) wird auf einer Reihe repräsentativer Aufgaben mit vollständigen multimodalen Eingaben trainiert:

Beobachtungen: Bilder von Kameras ( $I$ ), Endeffektor-Pose ( $p$ ), Geschwindigkeit ( $v$ ), Kraft ( $f$ ) und Drehmoment ( $\tau$ ).
Repräsentation: Die Pose wird relativ zum Anfangszustand der Episode dargestellt, um eine reaktive visuelle Servoierung zu erleichtern.
Ziel: Der Teacher lernt, reichhaltiges visuelles Feedback zu nutzen, um die Aufgaben zu meistern und hohe Erfolgsquoten zu erzielen. Er bleibt jedoch von visuellen Bedingungen abhängig.

3. Phase II: Visuell freie Student-Destillation

Eine „Student"-Strategie ( $\pi_s$ ) wird trainiert, um das Verhalten des Teachers zu replizieren, verlässt sich dabei jedoch ausschließlich auf propriozeptive Eingaben (Pose, Drehung, Kraftmoment) und verzichtet auf visuelle Daten.

Destillationsmechanismus: Der Student wird mit demselben HIL-RL-Rahmenwerk trainiert, jedoch mit zusätzlichen Verlusttermen zur Ausrichtung mit dem Teacher:
- Critic-Destillation: Ein Mean Squared Error (MSE)-Term zwingt die Q-Funktion des Students ( $Q_s$ ), mit der Q-Funktion des Teachers ( $Q_t$ ) übereinzustimmen.
- Actor-Destillation: Ein Kullback-Leibler (KL)-Divergenz-Term regularisiert die Strategie des Students ( $\pi_s$ ), um mit der Aktionsverteilung des Teachers ( $\pi_t$ ) übereinzustimmen.
Zustandsrepräsentation: Der Student verwendet ein aufgabenrelatives Koordinatensystem ( $T_z$ ), um Invarianz gegenüber absoluter räumlicher Positionierung sicherzustellen.
Ergebnis: Der Student erbt die „Fähigkeiten" und Explorationsstrategien, die vom Teacher gelernt wurden, wird jedoch gegenüber visuellen Verschiebungen invariant.

4. Phase III: Feinabstimmung (Optional)

Für hochkomplexe oder unbekannte Aufgaben kann der visuell freie Student feinabgestimmt werden. Dies umfasst das Training eines neuen, auf die spezifische Aufgabe spezialisierten visuell ermöglichten Teachers und die Destillation seines Wissens in den Student, anstatt den Student von Grund auf neu zu trainieren.

Hauptbeiträge

Cross-Modal-Destillationsrahmenwerk: Eine neuartige Methode, die Wissen von einem visuell ermöglichten Teacher in einen visuell freien Student destilliert. Dies bewahrt die Probennutzungseffizienz des visuellen Lernens während der Trainingsphase und erzeugt gleichzeitig eine Einsatzstrategie, die gegenüber visuellen Bedingungen invariant ist.
Effiziente Fähigkeitsgeneralisierung: Der Ansatz zeigt, dass das Co-Training an einer kleinen Menge repräsentativer Aufgaben eine robuste Zero-Shot-Übertragung auf unbekannte Einfügeszenarien ermöglicht.
Validierung in der realen Welt: Die Methode wird vollständig auf echter Hardware (Franka FR3) validiert, ohne Domain Randomization oder Daten-Augmentierung, und erzielt hohe Erfolgsquoten in etwa 50 Minuten Gesamtinteraktionszeit des Roboters.

Experimentelle Ergebnisse

Die Experimente wurden am NIST Assembly Board I-Benchmark durchgeführt, der verschiedene Aufgaben zur Einfügung von Stiften, Zahnrädern und Steckern umfasst.

Leistung: Die VE2VF-Methode erreichte eine Gesamterfolgsrate von 95% über Trainings-, gestörte und OOD-Aufgaben hinweg.
Vergleich mit Baselines:
- Visuell ermöglichtes RL (HIL-SERL VPTW): Erzielte nahezu perfekte Erfolge bei Trainingsaufgaben, scheiterte jedoch (0% Erfolg) bei OOD-Aufgaben und verschlechterte sich unter visuellen Störungen erheblich.
- Visuell freies RL von Grund auf (HIL-SERL PTW): Zeigte moderate Leistung (47,1%), hatte jedoch Schwierigkeiten, effektive Einfügestrategien ohne visuelle Führung zu erlernen, und erreichte keinen vollen Erfolg.
- Dynamic Motion Primitives (DMP): Leisteten schlecht (35,7%), was die Notwendigkeit adaptiver, erlernter Verhaltensweisen bestätigt.
- Residual RL: Leistete gut (85,7%), wurde jedoch von VE2VF übertroffen, insbesondere bei Wiederherstellungsverhalten (z. B. Abrutschen von einer Buchse und erneuter Versuch).
Ablationsstudien:
- Destillation erwies sich als essenziell; das Training des visuell freien Students von Grund auf, selbst bei verlängerter Zeit (bis zu 75 Minuten), führte zu Overfitting bei einfacheren Aufgaben und zum Scheitern bei komplexen.
- Die Kombination aus Pose-, Dreh- und Kraftmoment-Eingaben bot im Vergleich zur Verwendung von Teilmenge dieser Modalitäten die beste Robustheit.
Feinabstimmung: Für die herausfordernde DSUB-Einfügeaufgabe (50% Zero-Shot-Erfolg) erreichte die Feinabstimmung des Students mit einem aufgabenspezifischen Teacher via Destillation 100% Erfolg in nur 10 zusätzlichen Minuten.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass VE2VF den kritischen Zielkonflikt zwischen der Probennutzungseffizienz visuell geführten Lernens und der für den realen Einsatz erforderlichen Robustheit adressiert. Indem Vision nur als „Teacher" zur Führung der Exploration genutzt und dieses Wissen dann in einen propriozeptiven „Student" destilliert wird, erreicht das System:

Robustheit: Strategien, die über verschiedene Beleuchtungen, Texturen und Zielposen hinweg generalisieren.
Anpassungsfähigkeit: Die Fähigkeit, durch reaktives Verhalten, das vom Teacher gelernt wurde, von Fehlern (z. B. Abrutschen) wiederherzustellen.
Effizienz: Schnelle Aneignung komplexer, kontaktreicher Fähigkeiten (ca. 50 Minuten) ohne Bedarf an umfangreicher Simulation oder manueller Reward-Formulierung.

Die Autoren schließen daraus, dass dieser Ansatz einen praktischen Weg für den Einsatz robuster, kontaktreicher Manipulationsfähigkeiten in Umgebungen mit hoher Variantenvielfalt und niedrigen Stückzahlen bietet, in denen die visuellen Bedingungen unvorhersehbar sind.