ViTaPEs: Visuotactile Position Encodings for Cross-Modal Alignment in Multimodal Transformers

Dit paper introduceert ViTaPEs, een transformer-architectuur die door middel van een innovatieve twee-staps positie-injectie visuele en tactiele data effectief combineert voor taak-agnostische representaties, wat leidt tot state-of-the-art prestaties in herkenning, zero-shot generalisatie en robotische grijpvoorspelling.

De kern

Stel je voor dat je een nieuwe taal moet leren, maar je hebt twee verschillende leraren: één die alleen naar beelden kijkt (visie) en één die alleen voelt (tactiel). De beeldleraar ziet de vorm van een appel, maar de voelleraar voelt de ruwe schil en de zachte plek waar de steel zit.

Tot nu toe waren robot- en AI-systemen vaak slecht in het samenvoegen van deze twee leraren. Ze konden de informatie niet goed combineren, alsof ze twee boeken lazen in verschillende talen zonder vertaler.

De onderzoekers van deze paper (ViTaPEs) hebben een slimme oplossing bedacht. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: Twee Werelden, Geen Gedeeld Woordenboek

Normaal gesproken kijken robots naar een foto en voelen ze iets, maar ze doen dit alsof het twee losse verhalen zijn.

• Visie is als een landschapschilderij: je ziet de hele boom, de vorm en de kleur.
• Tactiel is als een close-up van een hand die de schil aftast: je voelt de textuur, de hardheid en de druk.

Het probleem is dat AI-modellen vaak vergeten waar iets precies zit in die twee werelden. Ze weten niet dat de ruwe plek die de hand voelt, precies overeenkomt met de groene vlek op de foto. Ze missen de "ruimtelijke kaart" die beide werelden aan elkaar koppelt.

2. De Oplossing: ViTaPEs (De Slimme Vertaler)

De onderzoekers hebben een nieuw systeem gebouwd dat ze ViTaPEs noemen. Je kunt dit zien als een super-slimme vertaler die twee soorten "posities" (locaties) gebruikt om de twee leraren samen te brengen.

Stel je voor dat je een grote groep mensen in een zaal hebt. Je hebt twee groepen:

• Groep A (De Ooggetuigen): Zij kijken naar een scherm.
• Groep B (De Voelers): Zij voelen aan objecten in hun handen.

Om te zorgen dat ze goed met elkaar kunnen praten, doet ViTaPEs twee dingen:

Stap 1: De Eigen Kaart (Lokale Positie)

Eerst geeft ViTaPEs aan elke groep een eigen kaart.

• De ooggetuigen krijgen een kaart met de indeling van het scherm (links, rechts, boven, beneden).
• De voelers krijgen een kaart met de indeling van hun vingers (waar de druk is, waar de textuur ruw is).
  Dit zorgt ervoor dat iedereen binnen hun eigen groep weet waar ze zijn. Dit is de lokale positie.

Stap 2: De Gedeelde Zaal (Globale Positie)

Vervolgens brengt ViTaPEs beide groepen in dezelfde grote zaal. Maar nu komt het slimme deel: voordat ze gaan praten, krijgt iedereen in de zaal een nieuw, gedeeld nummerplaatje.

• Het nummerplaatje zegt niet alleen "ik ben links", maar ook "ik ben de voeler die praat met de ooggetuige rechts".
• Dit is de globale positie. Het zorgt ervoor dat de voeler en de ooggetuige die over hetzelfde stukje appel praten, elkaar "vinden" in de chaos van de zaal.

3. Waarom werkt dit zo goed?

In het verleden probeerden robots dit door één grote, statische kaart te gebruiken, of door te vertrouwen op modellen die al op tekst waren getraind (zoals ChatGPT voor beelden). Dat werkte niet goed voor het voelen, omdat voelen heel anders werkt dan kijken.

ViTaPEs gebruikt een tweestaps-methode:

1. Eerst leren ze hun eigen taal (de eigen kaart).
2. Daarna leren ze de gedeelde taal (de zaal) op het moment dat ze echt gaan communiceren.

Dit is als het leren van een nieuwe taal: eerst leer je je moedertaal (visie of voelen) perfect, en daarna leer je de grammatica die nodig is om die twee talen in één zin te combineren.

4. Wat kan dit nu doen? (De Resultaten)

De onderzoekers hebben hun systeem getest in de echte wereld, en de resultaten zijn indrukwekkend:

• Materiaal herkennen: Het kan precies zeggen of iets van zijde, hout of rubber is, alleen door te kijken en te voelen.
• Objecten vinden: Het herkent voorwerpen zelfs als ze er anders uitzien dan in de training (bijvoorbeeld een ander soort camera of een andere hand).
• Robots grijpen: Dit is misschien wel het coolste: een robotarm kan een object vastpakken en weten of het grip heeft, zelfs als het object nieuw is. Het systeem werkt zelfs als de camera of de sensor tijdelijk "blind" is (bijvoorbeeld als er een stukje van de foto ontbreekt).

Conclusie

Kortom: ViTaPEs is als het geven van een tweestaps-opleiding aan een robot. Eerst leert hij hoe hij moet kijken en hoe hij moet voelen, en daarna leert hij hoe hij die twee vaardigheden perfect op elkaar moet laten afstemmen met een slimme "ruimtelijke kaart".

Hierdoor wordt de robot niet alleen slimmer, maar ook veel veerkrachtiger. Hij kan dingen doen in de echte wereld, waar dingen niet altijd perfect zijn, zonder dat we hem voor elke nieuwe situatie opnieuw hoeven te programmeren. Het is een grote stap naar robots die echt kunnen "voelen" en "zien" zoals wij doen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "ViTaPEs: Visuotactile Position Encodings for Cross-Modal Alignment in Multimodal Transformers", geschreven in het Nederlands.

1. Het Probleem

Tactiel waarnemen (voelen) biedt essentiële lokale informatie zoals textuur, stijfheid en kracht, wat visuele waarneming aanvult. Hoewel er recente vooruitgang is geboekt in het leren van visuo-tactiele representaties, blijven er significante uitdagingen bestaan:

• Fusie en Generalisatie: Bestaande methoden worstelen met het effectief samenvoegen van deze modaliteiten en generaliseren vaak slecht naar nieuwe taken of omgevingen zonder zware afhankelijkheid van vooraf getrainde visueel-taalmodellen (VLM's).
• Positieverlies: Bestaande benaderingen negeren vaak de noodzaak van positie-coderingen (positional encodings). Dit is cruciaal omdat visuo-tactiele correlaties complexe, multi-stadia ruimtelijke redenering vereisen.
• Beperkte Schaalbaarheid: Veel huidige modellen zijn specifiek afgestemd op downstream-taken (zoals objectmanipulatie) en missen de veelzijdigheid voor bredere toepassingen. Daarnaast vertrouwen ze vaak op gesimuleerde data met lage resolutie of frozen visuele encoders, wat de expressiviteit beperkt.

2. Methodologie: ViTaPEs Architectuur

De auteurs introduceren ViTaPEs, een transformer-gebaseerde architectuur die visuele en tactiele input verwerkt via een uniek multi-stadia positie-injectie systeem. Het doel is het leren van taak-agnostische representaties.

De kern van de methode bestaat uit twee specifieke injectiepunten voor positie-informatie:

1. Lokale (Modality-Specifieke) Positie-coderingen:

   • Elke moditeit (visueel en tactiel) behoudt zijn eigen ruimtelijke lay-out (bijv. patroon van vervorming op de sensor of het beeldveld).
   • Er worden aparte, leerbare positie-coderingen ($PE_{visual}$ en $PE_{tactile}$) toegevoegd aan de token-embeddings binnen elke stream, voordat ze worden samengevoegd. Dit behoudt de interne geometrie van elke sensor.

2. Globale Positie-codering (Gedeelde Referentie):

   • Nadat de visuele en tactiele tokenreeksen zijn samengevoegd (concatenatie), wordt er een enkele, geleerde globale positie-codering ($PE_{global}$) toegevoegd aan de gezamenlijke sequentie.
   • Injectiepunt: Deze globale codering wordt toegevoegd direct voor de self-attention laag, maar na een niet-lineaire projectie-head ($g$).
   • Doel: Dit zorgt voor een gedeelde "positieve vocabulaire" op het moment dat cross-modale interactie plaatsvindt. Hierdoor kan het model correspondenties leren zonder dat een geometrisch gekalibreerde uitlijning wordt aangenomen.

Architectuurdetails:

• Input wordt gepatchified en geprojecteerd naar een embedding-dimensie $D$.
• De lokale PEs worden toegevoegd, gevolgd door een niet-lineaire MLP-projectie ($g$).
• De globale PE wordt toegevoegd aan de geconcateneerde output van $g$.
• De sequentie gaat vervolgens door een standaard Transformer-encoder (Self-Attention), waarbij zowel intra-modale als cross-modale relaties worden gemodelleerd.

3. Belangrijkste Bijdragen

• Multi-Stadia Positie-coderingen: Een nieuw ontwerp dat zowel de ruimtelijke structuur binnen elke moditeit als een gedeelde cross-modale referentie encodeert voordat attention plaatsvindt. Dit overwint het onvermogen van eerdere modellen om multi-stadia ruimtelijke redenering uit te voeren.
• Gestructureerde Analyse van Token-stem: De auteurs formaliseren een consistentie-eigenschap voor token-re-indexing en tonen aan dat de injectie van lokale PEs vóór de niet-lineariteit ($g$) essentieel is voor het ontkoppelen van niet-lineaire geometrische vervorming en lineaire uitlijning.
• Zero-Shot Generalisatie en Transfer Learning: ViTaPEs toont aan dat het, getraind met zelftoezicht (Self-Supervised Learning of SSL), uitstekend generaliseert naar onbekende domeinen en sensoren zonder fijnafstemming (fine-tuning).

4. Resultaten

ViTaPEs werd geëvalueerd op meerdere grote real-world datasets (TAG, OF-Real, YCB-Slide, Grasp dataset) en presteerde overtuigend:

• Materialenherkenning (TAG Dataset): ViTaPEs behaalde de state-of-the-art resultaten in categorie-, hardheid- en textuurclassificatie (bijv. 80,1% nauwkeurigheid in categorie onder supervisie, 75,9% in SSL). Het versloeg zowel CNN-baselines als andere Transformer-modellen (VTT, RoPE).
• Objectidentificatie: Op de OF-Real en YCB-datasets behaalde ViTaPEs respectievelijk 92,7% en 96,9% nauwkeurigheid (SSL), wat een aanzienlijke verbetering is ten opzichte van concurrenten.
• Zero-Shot Generalisatie: Bij het overschakelen tussen datasets (bijv. van TAG naar OF-Real) zonder extra training, behaalde ViTaPEs de hoogste resultaten (68,1% lineaire probe, 65,2% zero-shot), wat aantoont dat de representaties robuust zijn tegen sensorverschillen.
• Robot Gripen: Op de Grasp-dataset (voorspellen van grijpsucces) overtrof ViTaPEs alle baselines, zelfs in een low-data regime (10k samples), met 70,7% nauwkeurigheid bij fine-tuning en 60,4% bij zero-shot transfer.
• Ablatie Studies: Experimenten bevestigden dat:
  • Leerbare PEs superieur zijn aan sinusoidale PEs.
  • Zowel lokale als globale PEs noodzakelijk zijn voor optimale prestaties.
  • De injectie van lokale PEs voor de niet-lineaire projectie-head cruciaal is voor de prestaties.
  • Het model robuust blijft zelfs als tot 40% van de tactiele input ontbreekt.

5. Betekenis en Conclusie

ViTaPEs markeert een doorbraak in visuo-tactiele representatielearning door het probleem van ruimtelijke uitlijning expliciet aan te pakken via een multi-stadia positie-injectie strategie.

• Onafhankelijkheid: Het model is minder afhankelijk van enorme, vooraf getrainde visueel-taalmodellen en kan effectief leren op specifieke visuo-tactiele data.
• Robuustheid: De architectuur is uiterst robuust tegen domeinverschuivingen en sensorvariaties, wat essentieel is voor de toepassing in de echte wereld (bijv. robotica).
• Toekomstperspectief: De resultaten suggereren dat het expliciet modelleren van ruimtelijke relaties op verschillende schalen (lokaal per sensor en globaal bij fusie) de sleutel is tot effectieve cross-modale integratie. De auteurs plannen om de schaalbaarheid van ViTaPEs te vergroten voor complexere robotmanipulatie-taken.

Kortom, ViTaPEs biedt een nieuwe standaard voor het samenvoegen van zien en voelen, waarbij het niet alleen de nauwkeurigheid verbetert, maar ook de flexibiliteit en generalisatievermogen van multimodale systemen aanzienlijk vergroot.