Seeing Through Touch: Tactile-Driven Visual Localization of Material Regions

Probleemstelling

Het paper adresseert het probleem van tactiele lokalisatie: het identificeren van specifieke gebieden in een afbeelding die dezelfde materiaaleigenschappen delen als een gegeven tactiele invoer.

• Huidige beperkingen: Bestaande visuo-tactiele methoden vertrouwen voornamelijk op globale uitlijning (bijv. het vergelijken van samengevoegde representaties of CLS-tokens). Dit stelt modellen in staat om te bepalen of een afbeelding en een tactiel signaal bij hetzelfde materiaal horen, maar ze falen in het lokaliseren van waar in het beeld dit materiaal zich bevindt.
• Dataset-uitdagingen: Bestaande datasets (zoals Touch-and-Go) bestaan voornamelijk uit close-up, textuur-gerichte afbeeldingen waar het hele beeld één materiaal vertegenwoordigt. Dit beperkt de visuele diversiteit en maakt het leren van fijne, lokale cross-modale overeenkomsten moeilijk.

Methodologie: Seeing Through Touch (STT)

De auteurs introduceren een framework genaamd Seeing Through Touch (STT) dat zich richt op lokale visuo-tactiele uitlijning via dichte kruismodale feature-interacties.

1. Architectuur:

   • Het model gebruikt een Vision Backbone en een Tactile Backbone (beide gebaseerd op DINOv3, een zelftoezichtend pre-getraind model).
   • Een Aligner-module (bestaande uit LayerNorm en een 1x1 convolutie) projecteert de features van beide modaliteiten naar een gedeelde representatieruimte.
   • In plaats van globale tokens, worden dichte feature-kaarten gebruikt ($H \times W$).
   • Similarity Map: De tactiele feature wordt geaggregeerd tot een 1D-vector. Deze wordt vervolgens inwendig vermenigvuldigd met de visuele feature-map om een saliëntiekaart (gelijkheidskaart) te genereren die aangeeft welke pixelgebieden de tactiele sensatie matchen.

2. Trainingsstrategie en Data:

   • Contrastive Learning: Het model wordt getraind om positieve paren (tactiel + bijbehorend visueel) dicht bij elkaar te brengen en negatieve paren verder weg te duwen.
   • Material Diversity-Based Pairing: Om de beperkingen van bestaande datasets te overwinnen, introduceren de auteurs een strategie waarbij één tactiel monster wordt gekoppeld aan meerdere visueel diverse afbeeldingen van hetzelfde materiaal.
     • In-domain: Koppeling van tactiele frames aan verschillende visuele frames binnen dezelfde materiaalcategorie in de Touch-and-Go dataset.
     • Out-domain: Koppeling van tactiele data aan "in-the-wild" web-afbeeldingen (verzameld via zoekmachines en LLM-generatie van query's) die dezelfde materiaalcategorie hebben maar sterk variëren in context, objectgrootte en omgeving.
   • Nieuwe Datasets: De auteurs hebben twee nieuwe datasets geconstrueerd voor evaluatie:
     • TG-Test: Een verfijnde versie van Touch-and-Go met pixel-level segmentatiemaskers.
     • Web-Material: Een dataset van 32.107 web-afbeeldingen met diverse scènes en materialen, eveneens geannoteerd met segmentatiemaskers.

Belangrijkste Bijdragen

1. Lokale Uitlijning: Een nieuw model dat dichte tactiele saliëntiekaarten produceert om beeldregio's te identificeren die overeenkomen met een tactiele invoer, in plaats van alleen globale classificatie.
2. Data-Strategie: Een innovatieve "Material Diversity-Based Pairing" strategie die de visuele diversiteit vergroot door in-the-wild afbeeldingen te koppelen aan tactiele data, wat de robuustheid van het model verbetert, zelfs bij zwakke tactiele signalen.
3. Nieuwe Benchmarks: De constructie van twee nieuwe datasets (TG-Test en Web-Material) met grondwaarheid-segmentatiemaskers, essentieel voor het kwantitatief evalueren van tactiele lokalisatie.

Resultaten

Experimenten op zowel nieuwe als bestaande benchmarks (TG-Test, Web-Material, OpenSurfaces) tonen aan dat STT aanzienlijk beter presteert dan bestaande methoden:

• Prestaties: STT behaalt de hoogste scores op mAP en mIoU. Bijvoorbeeld op de Web-Material dataset behaalt STT een mIoU van 60.94, vergeleken met 52.34 voor de lokale variant zonder uit-domain data en 32.16 voor een globale uitlijning baseline (TVL).
• Interactieve Lokalisatie: Het model kan nauwkeurig verschillende materialen in dezelfde scène onderscheiden wanneer de tactiele invoer verandert (Interactive IoU van 37.0 vs. 1.0 voor globale methoden).
• Robuustheid: De material-diversity pairing helpt het model om ook te presteren met zwakkere tactiele signalen (aan het begin en einde van een aanrakingsgebeurtenis), wat cruciaal is voor praktische toepassingen waar sensoren niet altijd perfect contact maken.
• Ablatie: Het gebruik van DINOv3 als backbone voor zowel visueel als tactiel bewijs effectiever dan het initialiseren met gespecialiseerde tactiele backbones (zoals T3), wat suggereert dat visuele texturen goed vertalen naar tactiele interpretatie.

Significantie

Dit werk is een doorbraak in het veld van multisensorische waarneming. Het beweegt visuo-tactiele learning weg van globale classificatie naar fijne-granulariteit lokalisatie, wat essentieel is voor robotica (bijv. het selecteren van specifieke objecten op basis van aanvoelen) en interactieve systemen.

• Het demonstreert dat machines kunnen leren om visuele scènes te "voelen" door cross-modale relaties te leren op pixelniveau.
• Het benadrukt de noodzaak van diverse, realistische datasets ("in-the-wild") om modellen robuust te maken voor de complexiteit van de echte wereld, in plaats van alleen gecontroleerde close-ups.
• Het biedt een fundament voor toekomstig onderzoek in interactieve perceptie en multisensorisch begrip van scènes.