🤖 machine learning

Tactile Modality Fusion for Vision-Language-Action Models

Het artikel introduceert TacFiLM, een lichtgewicht post-training aanpak die visuele en tactiele signalen combineert in Vision-Language-Action-modellen via FiLM, waardoor robots hun prestaties bij contactrijke manipulatie taken aanzienlijk verbeteren.

Oorspronkelijke auteurs: Charlotte Morissette, Amin Abyaneh, Wei-Di Chang, Anas Houssaini, David Meger, Hsiu-Chin Lin, Jonathan Tremblay, Gregory Dudek

Gepubliceerd 2026-03-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Charlotte Morissette, Amin Abyaneh, Wei-Di Chang, Anas Houssaini, David Meger, Hsiu-Chin Lin, Jonathan Tremblay, Gregory Dudek

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren om een sleutel in een heel strak sleutelgat te steken. Als je alleen naar de robot laat kijken (visie), ziet hij de sleutel en het gat, maar hij voelt niet hoe de sleutel tegen de randen drukt of hoe glad het metaal is. Het is alsof je probeert een puzzelstukje in te drukken met je ogen gesloten, maar dan met je handen gebonden; je ziet het doel, maar je mist het gevoel van "klik" of "te strak".

Dit is precies het probleem dat de onderzoekers van McGill University en NVIDIA in hun paper TacFiLM proberen op te lossen. Hier is een uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Blindeman" met een Camera

Moderne robots zijn slim. Ze kunnen lezen wat je zegt en zien wat er gebeurt. Maar als ze iets moeten vastpakken of in een gat moeten duwen (zoals een kabeltje steken of een pinnetje in een gat), is zicht alleen niet genoeg.

Zicht is als een kaart van een stad: het laat je de route zien.
Tactiel gevoel (voelen) is als het voelen van de wind, de struikelblokken en de helling van de weg terwijl je loopt.

Zonder gevoel duwen robots vaak te hard, schuiven ze vast of breken ze dingen af. Ze missen de subtiele signalen van wrijving en druk.

2. De Oude Oplossing: De "Zware Koffer"

Vroeger probeerden onderzoekers robots "tactiel" te maken door de robot gewoon meer informatie te geven. Ze plakten de beelden van de voelsensoren (zoals een camera in de vingers) direct naast de tekst en de camera-beelden.

De analogie: Dit is alsof je iemand die al een zware rugzak draagt (de robot die al heel slim is), nog een enorme koffer met extra boeken (de voeldata) op zijn rug plakt.
Het nadeel: De robot wordt traag, moet alles opnieuw leren, en het kost enorm veel rekenkracht. Het is alsof je een Formule 1-auto probeert te besturen met een vrachtwagenmotor erbij.

3. De Nieuwe Oplossing: TacFiLM (De "Geheime Kracht")

De auteurs van dit paper hebben een slimme, lichte manier bedacht om robots te laten voelen zonder hen zwaar te maken. Ze noemen hun methode TacFiLM.

Stel je de robot voor als een zeer getalenteerde kok (de robot) die al weet hoe hij een gerecht moet koken (de basisvaardigheden).

De oude methode: Je geeft de kok een heel dik kookboek met extra hoofdstukken over "voelen". Hij moet dat hele boek lezen voordat hij begint.
De TacFiLM-methode: Je geeft de kok een magische kruidenpot. Zodra hij de pan aanraakt, geeft deze pot hem direct een klein hintje: "Pas op, dit is heet" of "Dit is glad". De kok hoeft het boek niet opnieuw te lezen; hij past zijn bewegingen ter plekke aan op basis van dat hintje.

Hoe werkt het technisch (maar simpel)?
Ze gebruiken een techniek die FiLM (Feature-wise Linear Modulation) heet.

De robot kijkt naar een beeld (bijvoorbeeld de hand die een pinnetje vasthoudt).
Tegelijkertijd "voelt" de robot (via sensoren in de vingers) hoe hard hij duwt.
In plaats van de voeldata als extra tekst toe te voegen, gebruiken ze de voeldata om de bestaande gedachten van de robot direct te "moduleren" (aanpassen).
Het is alsof je een dimmerknop op het licht van de robot hebt: als de robot voelt dat hij te hard duwt, draait de "voel-dimmer" het licht van de robot zachtjes naar beneden, zodat hij voorzichtig wordt.

4. Wat leverde dit op?

Ze hebben dit getest op echte robots met taken zoals het steken van pinnen in gaten (soms met een heel klein ruimteverschil van 2 of 3 millimeter!) en het steken van HDMI-kabels.

Resultaat: De robots met TacFiLM waren sneller, slimmer en zachtjes.
Ze maakten minder kracht aan (ze duwden niet zo hard tegen de randen).
Ze slaagden vaker in één keer (minder "probeer het nog eens").
Zelfs als de camera's slecht werkten (bijvoorbeeld als het donker was of als het beeld bevroor), bleven de robots met TacFiLM werken omdat ze op hun "gevoel" konden vertrouwen.

Samenvattend

TacFiLM is als het geven van een gevoelige huid aan een robot die al heel slim is. In plaats van de robot te laten "leren" om te voelen door hem een zware hersentraining te geven, geven ze hem een slimme knop die zijn bestaande vaardigheden direct aanpast op basis van wat hij voelt.

Het resultaat? Robots die niet alleen kijken, maar ook voelen hoe ze moeten bewegen, waardoor ze net zo behendig kunnen worden als een mens bij het uitvoeren van delicate taken.

Probleemstelling

Robotica staat voor een uitdaging bij het uitvoeren van complexe manipulatie taken die veel contact vereisen (contact-rich manipulation), zoals het invoegen van pennen in gaten of het aansluiten van kabels. Bestaande Vision-Language-Action (VLA) modellen, zoals OpenVLA, zijn zeer succesvol in semantisch redeneren en genereren van acties op basis van visuele en taalinput. Echter, deze modellen vertrouwen bijna uitsluitend op visuele waarneming.

Visie heeft beperkingen bij contactrijke taken:

Het kan geen contactkrachten, oppervlaktefrictie, compliantie of schuifkrachten waarnemen.
Visie faalt vaak bij occlusie (verduistering) of vereist millimeter-nauwkeurige aanpassingen die visueel moeilijk te detecteren zijn.

Bestaande pogingen om tactiele signalen te integreren in VLA-modellen hebben twee grote nadelen:

Token-concatenatie: Het toevoegen van tactiele tokens aan de inputsequentie verlengt de context, wat de computationele kosten verhoogt en de prestaties kan verslechteren door de context te verzwaren.
Zware pretraining: Veel methoden vereisen grote schaal multimodale pretraining of het trainen van aparte tactiele encoders, wat rekenkracht en data-intensief is.

Er is behoefte aan een lichtgewicht fusiestrategie die tactiele informatie kan integreren tijdens het finetunen van bestaande VLA-modellen zonder de bestaande visueel-taal prioriteiten te verstoren of de architectuur zwaar te belasten.

Methodologie: TacFiLM

De auteurs stellen TacFiLM voor, een nieuwe modale fusie-aanpak die tactiele signalen integreert via Feature-wise Linear Modulation (FiLM).

Kernprincipes:

Architectuur: Het model bouwt voort op OpenVLA-OFT (een combinatie van SigLIP en DINOv2 visuele encoders en een LLaMA 2 7B taalmodel).
Fusie Mechanisme: In plaats van tactiele tokens toe te voegen aan de input, gebruikt TacFiLM de tactiele embedding om de intermediaire visuele features te conditioneren.
- Tactiele beelden (van sensoren zoals DIGIT) worden gecodeerd door een vooraf getrainde tactiele encoder (bijv. T3 of Sparsh).
- De resulterende embedding ( $z$ ) wordt gebruikt om per-kanaal schaal- ( $\gamma$ ) en verschuivings- ( $\beta$ ) parameters te genereren via een MLP.
- Deze parameters worden toegepast op de features van de Vision Transformer (ViT) blokken in het visuele encoder-deel van de VLA, volgens de formule:
  $\text{FiLM}(F^n|\gamma, \beta) = F^n \odot (1 + \gamma) + \beta$
- Dit gebeurt vóór de multi-head self-attention lagen.
Efficiëntie: Omdat er geen extra tokens worden toegevoegd en de meeste modelgewichten bevroren blijven (alleen de FiLM-lagen en LoRA-parameters worden gefinetuned), is de methode zeer parameter-efficiënt.
Vooraf getrainde Representaties: Het systeem maakt gebruik van bestaande, vooraf getrainde tactiele encoders (T3 en Sparsh-varianten), waardoor geen nieuwe encoders getraind hoeven te worden voor specifieke taken.

Belangrijkste Bijdragen

TacFiLM: Een nieuwe, lichtgewicht modale fusie-methode die tactiele signalen integreert via image-conditioning (FiLM) in plaats van token-concatenatie.
Empirisch Bewijs: Uitgebreide experimenten tonen aan dat TacFiLM de succesratio met tot 30% verbetert, de uitvoeringstijd verkort en de contactkrachten verlaagt ten opzichte van concateneringsmethoden en visie-only baselines.
Onderzoek naar Encoders: Een evaluatie van verschillende vooraf getrainde tactiele encoders (T3, Sparsh-MAE, Sparsh-IJEPA, Sparsh-DINO) om te bepalen welke het beste werkt voor VLA-integratie.

Resultaten

De auteurs hebben meer dan 700 rollouts uitgevoerd op een Franka Emika Panda-robotarm met een DIGIT-tactiele sensor, over diverse invoegtaken (peg-insertion) en kabel-aansluittaken.

In-distribution taken (bekende objecten/omgevingen):

Succesratio: TacFiLM bereikte een 100% succesratio op de taak "Circle-Peg (3mm clearance)", terwijl de visie-only baseline 86,67% haalde.
Directe invoeging: Het percentage directe invoegingen (zonder correctie) was aanzienlijk hoger voor TacFiLM (36,67%) vergeleken met TactileConcat (16,67%) en OpenVLA (3,33%).
Kracht en Tijd: TacFiLM paste minder kracht toe (gemiddeld 7,64 N vs 14,94 N bij de baseline) en voltooide taken sneller.

Out-of-distribution (OOD) taken (nieuwe vormen/omgevingen):

Generalisatie: TacFiLM behield sterke prestaties op onbekende taken (zoals HDMI-kabels en pentagon-pennen).
HDMI-kabel: Terwijl de baselines bijna faalden (0-13% succes), behaalde TacFiLM 66,67% succes.
Krachtbeheersing: Bij moeilijkere taken (2mm clearance) toonde TactileConcat een sterke toename in uitgeoefende kracht, terwijl TacFiLM lage krachten handhaafde, wat wijst op betere gevoeligheid voor contactdynamiek.

Ablatie Studies:

FiLM Integratie: Het toepassen van FiLM op alle ViT-blokken ("AllFiLM") leverde de beste resultaten op, hoewel het toepassen op slechts een subset (bijv. alleen vroege blokken) ook goed presteerde en de rekentijd verlaagde.
Robuustheid: Bij visuele degradatie (gedimde verlichting of bevroren frames) bleef TacFiLM 100% succesvol, terwijl visie-only modellen sterk achteruitgingen. Dit bewijst dat tactiele feedback visuele onzekerheid kan compenseren.
Encoder Keuze: Sparsh-DINO bleek de beste prestaties te leveren voor de tactiele representatie.

Betekenis en Impact

TacFiLM demonstreert dat het integreren van tactiele feedback in grote taalmodellen voor robotica niet noodzakelijk zwaar of complex hoeft te zijn. Door gebruik te maken van FiLM-conditioning:

Behoudt het model zijn semantische kennis: De visueel-taal prioriteiten van het grote model worden niet verstoord door extra tokens.
Verbeterde fysieke interactie: Robots worden gevoeliger voor contactkrachten en kunnen taken veiliger en efficiënter uitvoeren met minder kracht.
Toekomstbestendig: De methode biedt een schaalbare route om multimodale sensoren toe te voegen aan bestaande foundation modellen zonder volledige hertraining.

De studie onderstreept dat voor contactrijke manipulatie taken, visie alleen niet volstaat en dat tactiele feedback essentieel is voor robuustheid, vooral in onvoorspelbare omgevingen.