💻 computer science

TouchGuide: Inference-Time Steering of Visuomotor Policies via Touch Guidance

TouchGuide is een nieuw sturingskader voor de inferentietijd dat voorgeöefende visuomotorische beleidslijnen voor manipulatie met veel contact verbetert door een contrastief getraind Contact Fysiek Model te integreren om ruwe visuele acties te verfijnen met tactiele geleiding, ondersteund door het kosteneffectieve TacUMI-dataverzamelsysteem.

Oorspronkelijke auteurs: Zhemeng Zhang, Jiahua Ma, Xincheng Yang, Xin Wen, Yuzhi Zhang, Boyan Li, Yiran Qin, Jin Liu, Can Zhao, Li Kang, Haoqin Hong, Zhenfei Yin, Philip Torr, Hao Su, Ruimao Zhang, Daolin Ma

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhemeng Zhang, Jiahua Ma, Xincheng Yang, Xin Wen, Yuzhi Zhang, Boyan Li, Yiran Qin, Jin Liu, Can Zhao, Li Kang, Haoqin Hong, Zhenfei Yin, Philip Torr, Hao Su, Ruimao Zhang, Daolin Ma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om delicate taken uit te voeren, zoals het strikken van een schoenveter of het overhandigen van een broze aardappelchip zonder deze te breken. Als je de robot alleen "ogen" (camera's) geeft, heeft hij vaak moeite. Hij kan de schoen misschien zien, maar hij kan niet voelen of de veter glijdt of of hij de chip te hard vasthoudt. Het is alsof je probeert een naald te doordraaien terwijl je dikke winterhandschoenen draagt; je ziet het oogje, maar je kunt het garen niet voelen.

Dit artikel introduceert TouchGuide, een nieuwe manier om robots te leren hun "gevoel voor aanraking" te gebruiken om hun fouten in real-time te corrigeren, zonder dat de volledige "hersenen" van de robot opnieuw getraind hoeven te worden.

Hier is de uitleg van hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Blinde" Robot

Huidige robots zijn goed in het zien van het grote geheel (zoals "pak de schoen op"), maar ze zijn slecht in de kleine, contactintensieve details (zoals "is de veter strak genoeg?"). Wanneer ze proberen deze taken uit te voeren, mislukken ze vaak omdat ze te veel vertrouwen op visie en te weinig op het fysieke gevoel van het object.

2. De Oplossing: De "Aanraking Gids" (TouchGuide)

De auteurs hebben een systeem ontwikkeld dat TouchGuide heet. Denk aan het hoofd van de robot (het beleid) als een bestuurder die zeer goed is in rijden op een rechte, lege weg (visuele taken). Echter, wanneer de weg hobbelig wordt en delicate stuurmanoeuvres vereist (contacttaken), raakt de bestuurder de weg kwijt.

TouchGuide fungeert als een copilot die naast de bestuurder zit.

De Bestuurder (Basisbeleid): Eerst kijkt de bestuurder uit het raam en maakt een ruwe schatting waar hij de auto moet sturen op basis van wat hij ziet. Dit is de "grove actie".
De Copilot (TouchGuide): Voordat de auto daadwerkelijk beweegt, controleert de copilot de wegcondities met behulp van een speciale sensor (aanraking). Als de schatting van de bestuurder een crash of een slip zou veroorzaken, duwt de copilot het stuurwiel zachtjes om het pad te corrigeren.
Het Resultaat: De auto (robot) volgt een pad dat visueel goed lijkt én fysiek veilig voelt.

Cruciaal is dat deze copilot de bestuurder niet hoeft te leren hoe hij moet rijden vanaf nul. Hij stuurt de bestaande beslissingen van de bestuurder op het allerlaatste moment (tijdens "inference") bij om ervoor te zorgen dat de actie fysiek zinvol is.

3. Het Gereedschap: De "Slimme Hand" (TacUMI)

Om deze copilot te leren, heb je hoogwaardige data nodig. De auteurs hebben ook een nieuw hulpmiddel voor dataverzameling ontwikkeld dat TacUMI heet.

Stel je voor dat je probeert een robot te leren door een mens de bewegingen van de robot te laten nabootsen.

Oude Methode (Telebediening): De mens draagt een VR-bril en houdt een controller vast. Ze kunnen het zicht van de robot zien, maar ze kunnen het object niet voelen. Het is alsof je probeert te leren hoe je een broze ei moet vangen door naar een video te kijken van iemand anders die het doet. Je zou kunnen aarzelen of te hard knijpen omdat je het ei niet kunt voelen.
De TacUMI-methode: De mens houdt een handbediening vast die er precies zo uitziet als de grijper van de robot. Het heeft stijve vingertoppen die direct verbonden zijn met de vingers van de mens. Wanneer de mens het object aanraakt, voelt hij het direct, net als met zijn eigen hand.
- Analogie: Het is het verschil tussen proberen een naald te doordraaien terwijl je naar een scherm kijkt, versus het doen met je eigen vingers. Het TacUMI-systeem stelt mensen in staat "perfecte" data te verzamelen omdat ze precies kunnen voelen hoe hard ze moeten knijpen en waar ze moeten vasthouden.

4. Hoe Het Samen Werkt

Het artikel testte dit op vijf lastige taken:

Schoenveter strikken: Een draad door kleine gaatjes voeren.
Chip overhandigen: Een aardappelchip doorgeven zonder deze te verpletteren.
Komkommer schillen: Een groente schillen zonder het vruchtvlees te snijden.
Vaas afnemen: Een gebogen vaas afnemen zonder hem om te stoten.
Slot openen: Een sleutel in een slot steken en draaien.

De Resultaten:

Zonder TouchGuide lieten de robots vaak de chip vallen, braken ze de veter of konden ze de sleutel niet draaien.
Met TouchGuide gebruikten de robots de "copilot" om hun greep en hoek in real-time aan te passen.
Succes: De robots werden aanzienlijk beter in deze taken. Bijvoorbeeld, bij de taak "Chip overhandigen" steeg het slagingspercentage van ongeveer 25% naar 60%. Bij "Slot openen" ging het van 20% naar 30% (en veel hoger met de beste opstelling).

5. De "Geheime Ingrediënt": Het Contactfysisch Model (CPM)

Hoe weet de copilot wanneer hij moet sturen? Hij gebruikt een klein brein dat het Contactfysisch Model (CPM) heet.

Dit model is getraind op de hoogwaardige data die door TacUMI is verzameld.
Het leert een eenvoudige regel: "Voelt deze actie fysiek mogelijk?"
Als de robot probeert een chip te hard vast te pakken, zegt het CPM: "Nee, dat zal het breken", en stuurt de actie naar een zachtere greep.
Het fungeert als een realiteitscheck, zodat het plan van de robot overeenkomt met de wetten van de fysica.

Samenvatting

Het artikel beweert dat robots, door het toevoegen van een "aanraking-gids" die de visuele plannen van een robot in real-time corrigeert, en door gebruik te maken van een nieuw handbedieningshulpmiddel dat mensen precies laat voelen wat de robot voelt, eindelijk meester kunnen worden in delicate, contactintensieve taken die voorheen te moeilijk voor hen waren. Ze hoeven niet opnieuw vanaf nul getraind te worden; ze hebben alleen een kleine duw van een aanraking-sensoren copilot nodig.

Technische Samenvatting: TouchGuide

Probleemstelling

Gefineerde en contactrijke robotmanipulatie (bijvoorbeeld schoenveters strikken, kwetsbare chips overhandigen) blijft een aanzienlijke uitdaging voor robots. Hoewel imitatielearning complexe taken mogelijk heeft gemaakt, vereisen veel intuïtieve vaardigheden een effectieve integratie van visuele en tactiele informatie. Visuele inputs bieden globale context, maar tactiele feedback is essentieel voor gelokaliseerde, contact-specifieke controle. Bestaande visuo-tactiele beleidsregels vertrouwen doorgaans op concatenatie op feature-niveau (wat kan leiden tot dominantie van één modale) of compositie op beleidsniveau (wat vaak training van meerdere single-modale beleidsregels vereist en moeite heeft om cruciale cross-modale correlaties te vangen). Bovendien slagen bestaande dataverzamelsystemen voor tactiel leren er vaak niet in om hoge precisie te verenigen met lage kosten, of vertrouwen ze op indirecte haptische feedback (bijvoorbeeld VR-visualisatie) die intuïtieve controle en datakwaliteit belemmert.

Methodologie

Het artikel introduceert TouchGuide, een nieuw cross-policy visuo-tactiel fusieparadigma, en TacUMI, een kosteneffectief dataverzamelsysteem.

1. TouchGuide: Sturing op het moment van inferentie

TouchGuide werkt als een tweestaps sturingsmechanisme op het moment van inferentie voor vooringestelde visuomotorische beleidsregels (gebaseerd op diffusie of flow-matching, zoals $\pi_0.5$ ). Het vereist geen hertraining van het basisbeleid.

Fase 1 (Visuele grove actie): Tijdens de vroege bemonsteringsstappen van het denoising- of flow-matching-proces genereert het basisbeleid een grove, visueel plausibele actie uitsluitend op basis van visuele inputs.
Fase 2 (Tactiele begeleiding): In de latere bemonsteringsstappen levert een taak-specifiek Contact Physical Model (CPM) tactiele begeleiding. Het CPM is getraind via contrastief leren op beperkte expertdemonstraties om een haalbaarheidsscore uit te brengen.
- Architectuur: Het CPM gebruikt vooringestelde DINOv2-encoders voor zowel visuele als tactiele inputs, die worden samengevoegd via een Transformer-encoder om een latente observatie te produceren. Het berekent de cosinus-sequentie tussen deze latente observatie en de latente actie-inbedding om de haalbaarheidsscore te genereren.
- Sturingsmechanisme: De haalbaarheidsscore fungeert als een classifier-sturingssignaal. Voor diffusiebeleidsregels wordt de gradiënt van de score afgetrokken van de ruispredictor; voor flow-matching-beleidsregels wordt deze afgetrokken van de snelheidspredictor. Dit stuurt de actieverdeling naar de "echte verdeling" die voldoet aan fysieke contactbeperkingen.

2. TacUMI: Dataverzamelsysteem

Om hoogwaardige dataverzameling voor TouchGuide te faciliteren, hebben de auteurs TacUMI ontwikkeld, een handbediende grijper.

Ontwerpprincipes: Het is goedkoop (basiskost ~$720), lichtgewicht (540g) en biedt directe tactiele feedback via stijve mechanische koppeling (stijve vingertoppen) in plaats van indirecte koppeling.
Lokalisatie: Het maakt gebruik van Vive Trackers met Lighthouse-basistations voor hoogprecisie lokalisatie, waardoor de nauwkeurigheidsbeperkingen van SLAM-gebaseerde systemen in scenes met weinig kenmerken worden vermeden.
Synchronisatie: Het beschikt over een geünificeerde hardware-software-interface (RK3576 CPU) die gesynchroniseerde hoogresolutie visuele en tactiele signalen (inclusief krachtvelden) streamt met 30Hz.

Belangrijkste Bijdragen

TouchGuide-Paradigma: Een nieuwe cross-policy fusiemethode die vooringestelde visuomotorische beleidsregels op het moment van inferentie stuurt met behulp van een taak-specifiek CPM. Het fuseert modaliteiten binnen de laagdimensionale actieruimte, waardoor acties voldoen aan contactfysica zonder hertraining van het basisbeleid.
TacUMI-systeem: Een kosteneffectief, hoogprecisie dataverzamelsysteem dat directe tactiele feedback mogelijk maakt, waarmee de afweging tussen betaalbaarheid en nauwkeurigheid bij tactiele data-acquisitie wordt aangepakt.
Empirische Validatie: Uitgebreide experimenten op vijf uitdagende taken (Schoenveters strikken, Chip overhandigen, Komkommer schillen, Vaas afvegen, Slot openen) tonen aan dat TouchGuide aanzienlijk beter presteert dan state-of-the-art visuo-tactiele beleidsregels en generaliseert over verschillende robots, beleidsregels (Diffusion Policy, $\pi_0.5$ ) en tactiele modaliteiten (kracht versus tactiele afbeeldingen).

Experimentele Resultaten

Prestatiewinst: Op de taak Schoenveters strikken behaalde TouchGuide (met $\pi_0.5$ ) een 58,0% slagingspercentage, vergeleken met 35,9% voor het basis- $\pi_0.5$ en 24,7% voor de Policy Consensus-baseline. Bij Chip overhandigen bereikte het 60,0% (tegenover 25,0% voor basis- $\pi_0.5$ ).
Generalisatie: De methode toonde robuustheid onder visuele domeinverschuivingen (ongezien objecten/scenes) en occlusies. Het generaliseerde succesvol over verschillende basisbeleidsregels (Diffusion Policy en $\pi_0.5$ ) en verschillende tactiele sensoren (kracht en tactiele afbeeldingen).
Datakwaliteit: Vergelijkingen toonden aan dat beleidsregels getraind op TacUMI-data aanzienlijk beter presteerden dan die getraind op SLAM-gebaseerde UMI-data of VR-teleoperatiedata, met name in regimes met weinig data (bijvoorbeeld 20 demonstraties voor Slot openen).
Efficiëntie: TouchGuide voegt verwaarloosbare inferentietijd-overhead toe terwijl het aanzienlijke prestatieverbeteringen biedt.

Betekenis en Claims

De auteurs claimen dat TouchGuide de fundamentele beperking van bestaande visuo-tactiele methoden aanpakt door fusie uit te voeren in de actieruimte in plaats van de feature-ruimte. Door gebruik te maken van een CPM om de beleidsverdeling te sturen naar de echte verdeling van contactfysica, produceert de methode robuustere acties die voldoen aan fysieke beperkingen op het moment van contact, in plaats van slechts te reageren op tactiele veranderingen nadat ze zijn opgetreden.

Het artikel benadrukt dat TouchGuide integratie van tactiele feedback in krachtige vooringestelde modellen (zoals VLAs) mogelijk maakt zonder de rekenkosten van het hertrainen van het hele beleid. Bovendien biedt de introductie van TacUMI een schaalbare, toegankelijke oplossing voor het verzamelen van de hoogwaardige tactiele data die nodig is voor het trainen van dergelijke modellen, en overbrugt het de kloof tussen hoogprecisie-onderzoek en praktische, betaalbare implementatie. Het werk suggereert dat expliciete contactfysica-sturing een cruciaal onderdeel is voor de vooruitgang in gefineerde robotmanipulatie.