Technische Samenvatting: Inference-time Policy Steering via Vision and Touch (ViTaL)

Probleemstelling

Inference-time steering past vooraf getrainde generatieve robotpolicies (bijv. diffusie-policies) aan tijdens de inzet, zonder hertraining, door kandidaat-acties te verifiëren of te verfijnen vóór uitvoering. Hoewel recente methoden succesvol visuele observaties gebruiken voor taakverificatie op de lange termijn, is visie alleen vaak onvoldoende voor contact-rijke manipulatie. In taken zoals pipetteren, afnemen of invoeren, hangt succes af van zowel globale semantische voortgang (waarneembaar via visie) als subtiele lokale fysieke interacties, zoals contactkracht en grijpstabiliteit (waarneembaar via tastzin).

Huidige benaderingen kampen met twee primaire uitdagingen bij het integreren van deze modaliteiten:

1. Modaliteitsafhankelijke observeerbaarheid over temporele schalen: Visuele uitkomsten vereisen vaak voorspellingen op de lange termijn om semantische modi te onderscheiden (bijv. bewegen naar de juiste beker), terwijl tactiele uitkomsten lokaal en transient zijn (bijv. kracht uitoefenen tijdens een knijpbeweging), en vaak verborgen blijven in visuele voorspellingen op de lange termijn.
2. Multi-modale beloningsmodellering: Het definiëren van een uniforme beloningsfunctie is moeilijk omdat het relatieve belang van visuele en tactiele uitkomsten verschuift over de verschillende fasen van een taak. Een enkele beloningsfunctie heeft moeite met het balanceren van globale taakvoortgang met fijnmazige contactvereisten (bijv. het onderscheid tussen voorzichtig grijpen en laten vallen).

Methodologie: ViTaL Framework

De auteurs stellen ViTaL (Visuo-Tactile Latent Steering) voor, een framework dat multi-modale sturing formuleert als een bi-level optimalisatieprobleem. Deze aanpak deelt sturing op in twee stadia die overeenkomen met de natuurlijke tijdschalen van visie en tastzin:

1. Bi-level Optimalisatie Formulering

Het doel is om een actievolgorde $a^*_{t:t+h}$ te selecteren die een taak-geconditioneerde beloning maximaliseert terwijl er voldaan wordt aan een visuele prior.

• Innerlijke Optimalisatie (Visuele Modeselectie): Het systeem samplet actievolgordes op de lange termijn ($H$ stappen) uit de basispolicy. Deze worden gerold met behulp van een visuo-tactiel latent wereldmodel om toekomstige toestanden te voorspellen. Een visuele verifieerder scoort deze voorspellingen op basis van semantische voortgang richting het taakdoel. De sequentie met de hoogste visuele beloning, $\bar{a}_{t:t+H}$, wordt geselecteerd als de globale gedragsmodus.
• Uiterlijke Optimalisatie (Tactiele Verfijning): De eerste $h$ stappen van de visueel geselecteerde sequentie dienen als een "actie-anker". Het systeem voert vervolgens diffusie-editing uit op de korte termijn ($h$ stappen) om dit anker te verfijnen. Een tactiele verifieerder scoort de voorspelde tactiele toekomsten, en de policy wordt hergewogen om acties te bevoordelen die lokale contactrestricties respecteren terwijl ze dicht bij het visuele plan blijven.

2. Visuo-Tactiel Latent Wereldmodel

Om ondersteuning te bieden aan outcome-gebaseerde sturing, gebruikt ViTaL een geleerd latent wereldmodel ($p_\phi$) dat toekomstige visuele en tactiele toestanden direct in de latente ruimte voorspelt.

• Architectuur: Het maakt gebruik van bevroren encoders (DINOv3 voor visie, AnyTouch voor tactiele informatie) om observaties te mappen naar latente toestanden ($z_v, z_\tau$). Een actie-geconditioneerde transformer voorspelt recursief toekomstige latente gewrichten.
• Efficiëntie: Door in de latente ruimte te opereren, vermijdt het model de computationele kosten van het decoderen van volledige afbeeldingen of tactiele kaarten voor elke kandidaat-actie, wat efficiënte tekst-geconditioneerde sturing mogelijk maakt.

3. Semantisch Uitgelijnde Verifieerders

ViTaL gebruikt taal als een gedeelde taakrepresentatie om de brug te slaan tussen visuele en tactiele redenering. Een Vision-Language Model (VLM) deelt instructies op hoge niveau op in tekstuele doelstellingen op faseniveau ($\ell^v_p, \ell^\tau_p$).

• Visuele Verifieerder: Decodeert voorspelde visuele latente ruimtes naar RGB-beelden en gebruikt een zero-shot beloningsmodel (ROBOMETER) om de semantische voortgang te evalueren (bijv. "beweegt de robot naar de blauwe beker?").
• Tactiele Verifieerder: Berekent de cosinusovereenkomst tussen de voorspelde tactiele latente embedding en de tekstembedding van het contactdoel (bijv. "grijp lichtjes"). Dit vormt een tekst-geconditioneerde tactiele beloning, waardoor het systeem tactiele toekomsten kan scoren zonder taakspecifieke beloningsfuncties handmatig te ontwerpen of tactiele afbeeldingen te decoderen.

4. Inference-time Optimalisatie

Het sturingsproces combineert sampling-gebaseerde visuele selectie met diffusie-editing voor tactiele verfijning:

• Visuele Fase: Samplet $N$ trajecten op de lange termijn, rolt deze uit in het wereldmodel, en selecteert de beste op basis van de visuele verifieerder.
• Tactiele Fase: Behandelt het geselecteerde visuele anker als een conditie voor diffusie-editing. Het voegt gedeeltelijk ruis toe aan het anker en stuurt het denoising-proces bij richting acties met hogere tactiele beloningen, wat effectief de uitvoering van het contact verfijnt.

Belangrijkste Bijdragen

1. Bi-level Multi-modale Guidance: Een framework dat visie gebruikt voor selectie van de semantische modus op de lange termijn en tastzin voor gerichte verfijning van contact op de korte termijn, waarmee het verschil in temporele schaal tussen modaliteiten wordt aangepakt.
2. Taal-geconditioneerde Tactiele Beloning: De introductie van een nieuwe tactiele verifieerder die voorspelde tactiele toekomsten scoort in een uitgelijnde latente ruimte met behulp van tekstbeschrijvingen. Dit maakt schaalbare, demonstratievrije tactiele verificatie mogelijk die flexibel is voor verschillende fasen van een taak.
3. Latent Wereldmodellering: De integratie van een visuo-tactiel latent wereldmodel dat efficiënte, directe scoring van multi-modale uitkomsten in de latente ruimte mogelijk maakt zonder te decoderen.

Experimentele Resultaten

De auteurs hebben ViTaL geëvalueerd op drie contact-rijke manipulatietaken met een Franka Emika robot voorzien van GelSight Mini-sensoren: pipet-overdracht, afnemen en pen-invoering.

• Prestatiewinst: ViTaL verbeterde de algehele taaksucces met 51% ten opzichte van de basispolicy. Het presteerde beter dan unimodale sturing (alleen visie of alleen tastzin) met minstens 33% en overtrof naïeve multi-modale fusie (eenvoudige sommatie van beloningen) met minstens 20%.
• Foutmodi: Visie-alleen sturing slaagde vaak in globale uitlijning, maar faalde door lokale contactfouten (bijv. morsen van vloeistof). Tactiele-alleen sturing verbeterde het contact, maar miste vaak het globale doel. ViTaL pakte beide foutmodi succesvol aan.
• Beloningsnauwkeurigheid: De voorgestelde verifieerders bereikten een hoge nauwkeurigheid in de voorkeursvolgorde (ongeveer 85% voor visie, 81% voor tastzin) bij het vergelijken van voorspelde toekomsten met de grondwaarheid, wat de betrouwbaarheid van het latente wereldmodel en de semantische verifieerders aantoont.
• Efficiëntie: De bi-level aanpak bood een betere balans tussen succes en inference-snelheid vergeleken met naïeve fusie, waarbij slechts 0,05 seconden per inference-stap werd toegevoegd terwijl de foutpercentages aanzienlijk werden verminderd.

Betekenis en Claims

Het artikel beweert dat ViTaL een belangrijke stap voorwaarts is in het robuust maken van vooraf getrainde robotpolicies voor contact-rijke taken zonder hertraining of uitgebreide taakspecifieke beloningsengineering te vereisen. Door het sturingsprobleem op te splitsen in visuele modeselectie en tactiele verfijning, maakt de methode gebruik van de complementaire sterktes van visie (globale context) en tastzin (lokale precisie).

De auteurs benadrukken dat hun tekst-geconditioneerde tactiele beloning de eerste van zijn soort is voor robotmanipulatie, wat flexibele, door taal gestuurde contactredenering mogelijk maakt. Ze erkennen beperkingen, namelijk dat de getrouwheid van het systeem afhankelijk is van het latente wereldmodel (waar cumulatieve fouten de verificatie kunnen beïnvloeden) en dat tactiele encoders momenteel zijn voorgetraind op kleinere datasets vergeleken met moderne VLM's. De resultaten suggereren echter dat multi-modale inference-time sturing een levensvatbaar pad is naar meer aanpasbare en betrouwbare robotmanipulatie.