💻 computer science

Inference-time Policy Steering via Vision and Touch

ViTaL ist ein neuartiges visuo-taktiles Inference-Time-Steuerungsframework, das vortrainierte Roboter-Policies für kontaktreiche Manipulationen verbessert, indem es eine hochgradige visuelle Moduswahl mit einer niedriggradigen, taktilen geführten Aktionsverfeinerung kombiniert und dabei signifikante Verbesserungen der Erfolgsrate gegenüber unimodalen und naiven Fusions-Baselines erzielt.

Ursprüngliche Autoren: Yilin Wu, Zilin Si, Zeynep Temel, Oliver Kroemer, Andrea Bajcsy

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC0 1.0

Ursprüngliche Autoren: Yilin Wu, Zilin Si, Zeynep Temel, Oliver Kroemer, Andrea Bajcsy

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter vor, wie er eine feinfühlige Aufgabe ausführt, wie zum Beispiel das Eingießen einer Flüssigkeit aus einer Pipette in einen bestimmten Becher oder das Abwischen eines Tisches, ohne dabei Schlieren zu hinterlassen. Sie haben einen Roboter, der bereits recht gut darin ist, sich zu bewegen (seine „Basis-Policy“), aber er macht manchmal Fehler, weil er nicht „fühlen“ kann, was er tut, oder nicht weit genug vorausblickt.

Dieses Paper stellt ein neues System namens ViTaL (Visuo-Tactile Latent Steering) vor, um diese Fehler in Echtzeit zu beheben, ohne den Roboter von Grund auf neu trainieren zu müssen. Denken Sie an ViTaL als einen intelligenten Co-Piloten, der neben dem Roboter sitzt, jede seiner Bewegungen beobachtet und Korrekturen flüstert, bevor der Roboter sie tatsächlich ausführt.

So funktioniert ViTaL, unterteilt in einfache Konzepte:

1. Das Problem: Augen vs. Hände

Die Autoren fanden heraus, dass es nicht ausreicht, sich nur auf einen Sinn zu verlassen, wenn es um knifflige Aufgaben geht:

Vision (Augen) ist gut für das „Große Ganze“: Es kann dem Roboter sagen: „Du bewegst dich auf den blauen Becher zu, nicht auf den roten.“ Aber die Augen können nicht sagen, ob der Roboter eine Pipette zu fest zusammendrückt oder ob sein Griff abrutscht.
Tastsinn (Hände) ist gut für die „Details“: Er kann fühlen, ob der Roboter den richtigen Druck ausübt. Aber der Tastsinn allein weiß nicht, welchen Becher der Roboter ansteuert; er weiß nur: „Ich halte etwas.“

Wenn man nur die Augen benutzt, könnte der Roboter zwar den richtigen Becher ansteuern, aber die Pipette zerquetschen. Wenn man nur den Tastsinn benutzt, hält der Roboter die Pipette vielleicht perfekt, gießt die Flüssigkeit aber in den falschen Becher.

2. Die Lösung: Ein Zwei-Stufen-„Co-Pilot“-System

ViTaL löst dies, indem es die Aufgabe in zwei Ebenen aufteilt, wie einen General und einen Spezialisten:

Ebene 1: Der General (Vision)
Das System blickt zuerst weit in die Zukunft (wie ein Blick auf eine lange Straße). Es fragt: „Wenn der Roboter das tut, wird er dann am richtigen Ziel ankommen?“ Es wählt den besten Gesamtplan basierend auf dem, was es sieht. Dies wird als Visual Mode Selection bezeichnet.
- Analogie: Stellen Sie sich ein GPS vor, das Ihnen sagt: „Nehmen Sie die Autobahn, um in die Stadt zu gelangen.“ Es kümmert sich noch nicht um die Schlaglöcher; ihm geht es nur um das Ziel.
Ebene 2: Der Spezialist (Tastsinn)
Sobald der „General“ die Autobahn ausgewählt hat, zoomt der „Spezialist“ auf die unmittelbaren nächsten Schritte. Er fragt: „Drückt der Roboter das Lenkrad zu fest? Steht er kurz davor, auf ein Schlagloch zu treffen?“ Er passt die Bewegungen des Roboters an, um sicherzustellen, dass der Kontakt sich richtig anfühlt. Dies wird als Tactile Refinement bezeichnet.
- Analogie: Stellen Sie sich nun einen Fahrlehrer vor, der neben Ihnen sitzt und sagt: „Nimm etwas Gas weg, du fährst zu schnell für diese Kurve.“ Er ändert nicht Ihr Ziel, sondern korrigiert nur, wie Sie fahren, um sicher ans Ziel zu kommen.

3. Das Geheimnis: Die „Imagination Engine“

Um dies zu tun, ohne den Roboter tatsächlich abstürzen zu lassen, nutzt ViTaL ein Latent World Model. Denken Sie an dies als die Imagination des Roboters.

Bevor der Roboter sich bewegt, „stellt er sich vor“, was als Nächstes passieren wird.
Er erstellt einen mentalen Film der Zukunft, der sowohl beinhaltet, was die Kamera sehen wird (den Becher), als auch, was die Sensoren fühlen werden (den Druck).
Er gleicht diesen mentalen Film dann mit den Anweisungen ab. Wenn der Film zeigt, dass der Roboter Flüssigkeit verschüttet, lehnt er diesen Plan ab und versucht einen anderen.

4. Der „Text-zu-Gefühl“-Übersetzer

Einer der einzigartigen Ansprüche des Papers ist eine neue Art und Weise, dem Roboter Anweisungen zu geben. Anstatt komplexen mathematischen Code zu schreiben, um dem Roboter zu sagen: „Wende 5 Newton Kraft an“, versteht das System einfaches Englisch.

Man kann dem Roboter sagen: „Greife leicht“ oder „Greife fest“.
Das System übersetzt diese Wörter direkt in die „Gefühlssprache“ des Roboters. Es prüft, ob der imaginierte Griff des Roboters mit dem Gefühl von „leicht“ oder „fest“ übereinstimmt. Dies ist das erste Mal, dass die Autoren behaupten, dies für den robotischen Tastsinn erreicht zu haben.

5. Die Ergebnisse: Funktioniert es?

Das Team testete ViTaL bei drei realen Aufgaben:

Pipettieren: Übertragen von Flüssigkeit zwischen Bechern.
Abwischen: Reinigen einer Oberfläche.
Einführen: Einsetzen eines Stifts in ein Loch.

Die Ergebnisse waren:

Besserer Erfolg: ViTaL verbesserte die Erfolgsrate des Roboters um 51 % im Vergleich zur ursprünglichen „Basis“-Policy des Roboters.
Besser als einzelne Sinne: Es war mindestens 33 % besser als Systeme, die nur Vision oder nur Tastsinn verwendeten.
Besser als reines Kombinieren: Es war mindestens 20 % besser als ein „naives“ System, das einfach nur Augen und Tastsinn gleichzeitig kombiniert hat.

Zusammenfassung

Kurz gesagt ist ViTaL ein intelligentes System, das einen Roboter befähigt, vorauszuschauen, um das richtige Ziel zu wählen, und die Gegenwart zu fühlen, um die Aufgabe behutsam auszuführen. Es agiert wie ein perfektes Team: Ein Partner plant die Route, und der andere Partner steuert das Auto geschmeidig, um sicherzustellen, dass der Roboter nicht nur so aussieht, als würde er die Aufgabe richtig erledigen, sondern dass es sich auch so anfühlt, als würde er es korrekt ausführen.

Technisches Resümee: Inference-time Policy Steering via Vision and Touch (ViTaL)

Problemstellung

Inference-time Steering passt vortrainierte generative Roboter-Policies (z. B. Diffusion Policies) während des Einsatzes an, ohne ein erneutes Training zu erfordern, indem Kandidaten-Aktionen vor der Ausführung verifiziert oder verfeinert werden. Während jüngste Methoden erfolgreich visuelle Beobachtungen für die langfristige Aufgabenverifizierung nutzen, ist Vision allein für kontaktreiche Manipulationen oft unzureichend. In Aufgaben wie Pipettieren, Wischen oder Einführen hängt der Erfolg sowohl von globalem semantischem Fortschritt (beobachtbar über Vision) als auch von subtilen lokalen physischen Interaktionen ab, wie etwa Kontaktkraft und Griffstabilität (beobachtbar über Tastsinn).

Aktuelle Ansätze stehen vor zwei primären Herausforderungen bei der Integration dieser Modalitäten:

Modalitätsabhängige Beobachtbarkeit über zeitliche Skalen hinweg: Visuelle Ergebnisse erfordern oft langfristige Vorhersagen, um semantische Modi zu unterscheiden (z. B. das Bewegen in Richtung des richtigen Bechers), wohingegen taktile Ergebnisse lokal und transient sind (z. B. Kraftausübung beim Zusammendrücken) und oft in langfristigen visuellen Vorhersagen verborgen bleiben.
Multimodale Reward-Modellierung: Die Definition einer einheitlichen Belohnungsfunktion (Reward Function) ist schwierig, da sich die relative Bedeutung visueller und taktiler Ergebnisse über die verschiedenen Phasen einer Aufgabe hinweg verschiebt. Eine einzelne Reward-Funktion hat Schwierigkeiten, globalen Aufgabenfortschritt mit feingliedrigen Kontaktanforderungen in Einklang zu bringen (z. B. Unterscheidung zwischen sanftem Greifen und Fallenlassen).

Methodik: Das ViTaL-Framework

Die Autoren schlagen ViTaL (Visuo-Tactile Latent Steering) vor, ein Framework, das multimodale Steuerung als ein bi-level Optimierungsproblem formuliert. Dieser Ansatz zerlegt das Steering in zwei Stufen, die den natürlichen Zeitskalen von Vision und Tastsinn entsprechen:

1. Bi-level Optimierung

Das Ziel ist es, eine Aktionssequenz $a^*_{t:t+h}$ auszuwählen, die eine aufgabengebundene Belohnung maximiert und gleichzeitig eine visuelle Prior einhält.

Innere Optimierung (Visuelle Moduswahl): Das System sampelt langfristige Aktionssequenzen ( $H$ Schritte) aus der Basis-Policy. Diese werden unter Verwendung eines visuo-taktilen latenten Weltmodells durchgespielt, um zukünftige Zustände vorherzusagen. Ein visueller Verifizierer bewertet diese Vorhersagen basierend auf dem semantischen Fortschritt in Richtung des Aufgabenziels. Die Sequenz mit der höchsten visuellen Belohnung, $\bar{a}_{t:t+H}$ , wird als globaler Verhaltensmodus ausgewählt.
Äußere Optimierung (Taktile Verfeinerung): Die ersten $h$ Schritte der visuell ausgewählten Sequenz dienen als „Aktions-Anker“. Das System führt anschließend eine kurzfristige ( $h$ Schritte) Diffusion-Editierung durch, um diesen Anker zu verfeinern. Ein taktiler Verifizierer bewertet die vorhergesagten taktilen Zukünfte, und die Policy wird so umgewichtet, dass sie Aktionen bevorzugt, die lokale Kontaktbeschränkungen erfüllen und gleichzeitig nah am visuellen Plan bleiben.

2. Visuo-Taktiles Latentes Weltmodell

Um die ergebnisbasierte Steuerung zu unterstützen, verwendet ViTaL ein gelerntes latentes Weltmodell ( $p_\phi$ ), das zukünftige visuelle und taktile Zustände direkt im latenten Raum vorhersagt.

Architektur: Es verwendet gefrorene Encoder (DINOv3 für Vision, AnyTouch für Tastsinn), um Beobachtungen auf latente Zustände ( $z_v, z_\tau$ ) abzubilden. Ein aktionsbedingter Transformer sagt zukünftige Joint-Latente rekursiv voraus.
Effizienz: Durch die Arbeit im latenten Raum vermeidet das Modell die Rechenkosten für das Dekodieren vollständiger Bilder oder taktiler Karten für jede Kandidatenaktion, was eine effiziente textbedingte Führung ermöglicht.

3. Semantisch ausgerichtete Verifizierer

ViTaL nutzt Sprache als gemeinsame Aufgabenrepräsentation, um die Brücke zwischen visuellem und taktilem Denken zu schlagen. Ein Vision-Language-Modell (VLM) zerlegt hochgradige Instruktionen in phasenbezogene textuelle Ziele ( $\ell^v_p, \ell^\tau_p$ ).

Visueller Verifizierer: Dekodiert vorhergesagte visuelle Latente in RGB-Bilder und nutzt ein Zero-Shot-Belohnungsmodell (ROBOMETER), um den semantischen Fortschritt zu bewerten (z. B. „bewegt sich der Roboter auf den blauen Becher zu?“).
Taktiler Verifizierer: Berechnet die Kosinusähnlichkeit zwischen dem vorhergesagten taktilen latenten Embedding und dem Text-Embedding des Kontaktziels (z. B. „leicht greifen“). Dies stellt eine textbedingte taktile Belohnung dar, die es dem System ermöglicht, taktile Zukünfte zu bewerten, ohne aufwendig aufgabenspezifische Reward-Funktionen entwerfen oder taktile Bilder dekodieren zu müssen.

4. Inference-time Optimierung

Der Steering-Prozess kombelt samplingbasiertes visuelles Selektieren mit Diffusion-Editierung zur taktilen Verfeinerung:

Visuelle Stufe: Sampelt $N$ langfristige Trajektorien, spielt diese im Weltmodell durch und wählt die beste basierend auf dem visuellen Verifizierer aus.
Taktile Stufe: Behandelt den ausgewählten visuellen Anker als Bedingung für die Diffusion-Editierung. Er fügt dem Anker teilweise Rauschen hinzu und verzerrt den Denoising-Prozess hin zu Aktionen mit höheren taktilen Belohnungen, wodurch die Ausführung des Kontakts effektiv verfeinert wird.

Zentrale Beiträge

Bi-level Multimodale Führung: Ein Framework, das Vision für die langfristige semantische Moduswahl und Tastsinn für die gezielte kurzfristige Kontaktverfeinerung nutzt, um die Diskrepanz der zeitlichen Skalen zu adressieren.
Sprachbedingte Taktile Belohnung: Die Einführung eines neuartigen taktilen Verifizierers, der vorhergesagte taktile Zukünfte in einem ausgerichteten latenten Raum mittels Textbeschreibungen bewertet. Dies ermöglicht eine skalierbare, demonstrationsfreie taktile Verifizierung, die flexibel auf verschiedene Phasen einer Aufgabe reagiert.
Latente Weltmodellierung: Die Integration eines visuo-taktilen latenten Weltmodells, das ein effizientes, direktes Scoring multimodaler Ergebnisse im latenten Raum ermöglicht, ohne zu dekodieren.

Experimentelle Ergebnisse

Die Autoren evaluierten ViTaL in drei realen kontaktreichen Manipulationsaufgaben mit einem Franka Emika Roboter und GelSight Mini Sensoren: Pipettier-Transfer, Wischen und Stift-Einführen (Peg Insertion).

Leistungssteigerungen: ViTaL verbesserte den Gesamterfolg der Aufgabe um 51 % gegenüber der Basis-Policy. Es übertraf unimodales Steering (nur Vision oder nur Tastsinn) um mindestens 33 % und übertraf naive multimodale Fusion (einfache Summierung der Belohnungen) um mindestens 20 %.
Fehlermodi: Nur auf Vision basierendes Steering war oft bei der globalen Ausrichtung erfolgreich, scheiterte jedoch aufgrund lokaler Kontaktfehler (z. B. Verschütten von Flüssigkeit). Nur auf Tastsinn basierendes Steering verbesserte den Kontakt, verfehlte aber oft das globale Ziel. ViTaL adressierte beide Fehlermodi erfolgreich.
Belohnungsgenauigkeit: Die vorgeschlagenen Verifizierer erreichten eine hohe Präferenzordnung-Genauigkeit (ca. 85 % für Vision, 81 % für Tastsinn) beim Vergleich vorhergesagter Zukünfte mit der Grundwahrheit (Ground Truth), was die Zuverlässigkeit des latenten Weltmodells und der semantischen Verifizierer demonstriert.
Effizienz: Der Bi-level-Ansatz bot einen besseren Kompromiss zwischen Erfolg und Inferenzgeschwindigkeit im Vergleich zu naiver Fusion, wobei pro Inferenzschritt lediglich 0,05 Sekunden hinzugefügt wurden, während die Fehlerraten signifikant gesenkt wurden.

Bedeutung und Ansprüche

Das Paper behauptet, dass ViTaL einen bedeutenden Schritt darstellt, um vortrainierte Roboter-Policies für kontaktreiche Aufgaben robust zu machen, ohne ein erneutes Training oder umfangreiches aufgabenspezifisches Reward-Engineering zu erfordern. Durch die Zerlegung des Steering-Problems in visuelle Moduswahl und taktile Verfeinerung nutzt die Methode die komplementären Stärken von Vision (globaler Kontext) und Tastsinn (lokale Präzision).

Die Autoren heben hervor, dass ihre textbedingte taktile Belohnung die erste ihrer Art für die Robotermanipulation ist, was eine flexible, sprachgesteuerte Kontakt-Argumentation ermöglicht. Sie räumen Einschränkungen ein und merken an, dass die Fidelität des Systems von der Qualität des latenten Weltmodells abhängt (wo kumulative Fehler die Verifizierung beeinflussen können) und dass taktile Encoder derzeit im Vergleich zu modernen VLMs auf kleineren Datensätzen vortrainiert sind. Dennoch legen die Ergebnisse nahe, dass multimodales Inference-time Steering ein gangbarer Weg zu adaptierbarer und zuverlässigerer Roboter-Manipulation ist.