💻 computer science

Heterogeneous Tactile Transformer

Het artikel introduceert de Heterogeneous Tactile Transformer (HTT), een framework dat gebruikmaakt van een nieuwe dataset van 1,6 miljoen paren frames om gedeelde tactiele representaties over diverse sensortypes te leren, waardoor schaalbare, overdraagbare contactrijke manipulatiebeleid mogelijk wordt gemaakt.

Oorspronkelijke auteurs: Jianxin Bi, Qiang Wang, Jayaram Reddy, Kelvin Lin, Soibkhon Khajikhanov, Ruihan Gao, Harold Soh

Gepubliceerd 2026-06-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jianxin Bi, Qiang Wang, Jayaram Reddy, Kelvin Lin, Soibkhon Khajikhanov, Ruihan Gao, Harold Soh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotarm probeert te leren hoe hij delicate objecten moet hanteren, zoals het oppakken van een rijpe tomaat of het aandraaien van een piepklein schroefje. Om dit veilig te doen, heeft de robot "gevoel" nodig. Maar hier is het probleem: net zoals mensen verschillende soorten tastzin hebben (sommige mensen zijn gevoelig voor textuur, anderen voor druk), hebben robots ook verschillende soorten "tastsensoren", en ze spreken allemaal een andere taal.

Sommige sensoren zijn als hoogresolutiecamera's die foto's maken van een zacht oppervlak om te zien hoe het vervormt (geweldig om vormen te zien, maar misschien wat traag). Anderen zijn als arrays van drukknoppen die precies vertellen hoe hard iets terugduwt, maar ze geven geen duidelijk beeld van hoe het object eruitziet.

Omdat deze sensoren verschillende "talen" spreken, kan een robot die getraind is op het ene type sensor, de gegevens van een ander type sensor meestal niet begrijpen. Het is alsof je een hond probeert te leren Frans spreken door alleen Engelse boeken te gebruiken; de hond begrijpt er niets van.

De Oplossing: De "Universele Vertaler" voor Robotvoel

De auteurs van dit paper hebben een nieuw systeem ontwikkeld genaamd de Heterogeneous Tactile Transformer (HTT). Denk aan HTT als een universele vertaler die ervoor zorgt dat verschillende soorten tastsensoren van robots elkaar kunnen begrijpen en samen kunnen leren.

Zo hebben ze het gebouwd, met een eenvoudige analogie:

1. De "Taaluitwisselings"-dataset (HPT)

Om de vertaler te onderwijzen, heb je studenten nodig die verschillende talen spreken, maar tegelijkertijd over hetzelfde onderwerp praten. De onderzoekers bouwden een enorme dataset genaamd HPT (Heterogeneous Paired Tactile).

De Opstelling: Ze plaatsten twee verschillende soorten sensoren aan weerszijden van een robotgrijper.
De Actie: Ze lieten de robot tegen 1,6 miljoen verschillende objecten drukken, draaien en glijden (zoals het indrukken van een spons, het draaien van een schroef of het laten glijden van een blok).
Het Resultaat: Omdat de sensoren het exactzelfde ding aanraakten op het exactzelfde moment, kon het systeem leren dat "dit zachte beeld van de camerasensor" overeenkomt met "dit specifieke drukpatroon van de knopsensor."

2. De Trainingsmethode: "Invullen van de gaten"

Het systeem gebruikt een slim trainingsspel genaamd Masked Reconstruction (vergelijkbaar met een "invultekst"-toets).

Het Spel: Het systeem neemt de gegevens van een sensor, verbergt (maskeert) een groot deel ervan, en vraagt de AI om te raden wat er ontbrak.
De Twist: Het raadt niet alleen op basis van dezelfde sensor, maar het kijkt naar de gegevens van de andere sensor om te helpen de gaten in te vullen.
Het Doel: Door dit te doen, leert de AI een gedeelde "innerlijke taal" (een latente ruimte) waar het concept van "een schroef vasthouden" er hetzelfde uitziet, of het nu komt van een camerasensor of een druksensor.

3. De Resultaten: Werkt het?

De onderzoekers testten deze "vertaler" op drie manieren:

Objecten herkennen: Ze vroegen de AI om objecten te identificeren enkel door te voelen. Het HTT-systeem was veel beter in het herkennen van objecten dan eerdere methoden, vooral bij het wisselen tussen verschillende soorten sensoren. Het leerde dat een "zacht" gevoel een "zacht" gevoel is, ongeacht welke sensor het rapporteerde.
Glijden en kracht detecteren: Ze testten of de AI kon merken of een object aan het glijden was of hoe hard er werd geknepen. Het HTT-systeem was uitstekend in dit werk, omdat het de "visuele" details van de camerasensoren combineerde met de "kracht" details van de druksensoren.
Real-world Robottaken (De Grote Test): Dit is het meest indrukwekkende deel. Ze plaatsten het HTT-systeem op een echte robotarm (een Franka-arm met een Sharpa-hand) om twee lastige taken uit te voeren:
1. Een speelgoedschroef aandraaien: De robot moest een schroef herhaaldelijk vastpakken en draaien.
2. Tofu optillen: De robot moest een stuk zachte tofu oppakken zonder het te pletten of te laten vallen.

De Uitkomst:

Zonder de HTT "vertaler" faalde de robot jammerlijk (hij liet de tofu vallen of kon de schroef niet aandraaien).
Met het HTT-systeem werd de robot veel succesvoller. Hij kon de subtiele verschuivingen in contact voelen die nodig waren om de schroef aan te draaien en wist precies hoeveel druk hij op de tofu moest uitoefenen om hem niet te pletten.

Waarom dit ertoe doet

Het paper stelt dat deze aanpak robots in staat stelt om te leren van veel verschillende soorten sensoren tegelijk. In plaats van voor elke nieuwe sensor die je koopt een nieuw robotbrein te moeten trainen, kun je één "universeel brein" (HTT) trainen dat al deze sensoren begrijpt.

Kortom, de auteurs hebben een systeem gebouwd dat robots leert om vloeiend te "spreken via de tast", ongeacht welk merk of type sensor ze gebruiken, waardoor ze veel beter in staat zijn om met delicate, real-world objecten om te gaan.

Technische Samenvatting: Heterogene Tactiele Transformer (HTT)

1. Probleemstelling

Tactiele detectie is essentieel voor contactrijke robotmanipulatie (bijv. het grijpen van breekbare objecten, precisieassemblage), maar het schalen van tactiel leren blijft een aanzienlijke flessenhals. In tegenstelling tot camera's zijn tactiele sensoren inherent heterogeen: ze verschillen fundamenteel in transductiemechanismen, datastructuren en outputformaten.

Optische sensoren (bijv. GelSight, 9DTact) leggen rijke ruimtelijke en geometrische informatie vast via elastomeer-deformatie, maar worden vaak beperkt door de framerate van camera's.
Array-gebaseerde sensoren (bijv. Xela, Tac-02) bieden hoogfrequente temporele signalen en directe kracht-/drukmetingen, maar bieden een lagere ruimtelijke resolutie.

Huidige methoden voor representatieleer richten zich grotendeels op optische sensoren of behandelen sensoren in isolatie. Modellen die getraind zijn op één modaliteit kunnen niet direct data van een andere modaliteit verwerken, wat de creatie van verenigde, sensor-agnostische manipulatiebeleid (policies) verhindert. Er is een gebrek aan grootschalige, gesynchroniseerde datasets die deze verschillende modaliteiten koppelen, en er bestaat geen bestaand framework dat effectief gedeelde representaties over hen heen leert.

2. Methodologie

2.1 De Heterogene Gepaard Tactiele (HPT) Dataset

Om het tekort aan data aan te pakken, hebben de auteurs de Heterogene Gepaard Tactiele (HPT) dataset geconstrueerd met behulp van een Universal Manipulation Interface (UMI) setup.

Schaal: 1,6 miljoen gesynchroniseerde gepaarde frames.
Sensoren: Vier verschillende sensoren: twee optische (GelSight Mini, 9DTact) en twee array-gebaseerde (Xela, Tac-02).
Verzameling: Sensoren werden aan tegenovergestelde zijden van grijpervingers gemonteerd om gelijktijdige contacteigenschappen tijdens interacties met alledaagse objecten vast te leggen.
Componenten: De dataset bevat:
- Ongelabelde Interactiedata: Voor zelfgesuperviseerde pretraining (druk-, draai-, en glijbewegingen).
- Objectclassificatie: 20 verschillende objecten met variërende geometrieën en texturen.
- Krachtinschatting: Gesynchroniseerde 6-D krachtlabels verzameld via een probeeropstelling met een externe F/T-sensor.
- Slipdetectie: Labels afgeleid van wrijvingscoëfficiënt-tijdreeksen, gecategoriseerd in statische, beginnende (incipient) en grove slip.

2.2 Heterogene Tactiele Transformer (HTT) Architectuur

HTT is een zelfgesuperviseerd framework ontworpen om een gedeelde latente ruimte te leren over heterogene sensoren. Het neemt een Masked Autoencoder (MAE) ontwerp aan met de volgende componenten:

Sensor-specifieke Encoders ( $E_i$ ):
- Voor optische sensoren: Vision Transformer (ViT) encoders die ruimtelijke patches verwerken.
- Voor array-sensoren: Self-attention transformers die temporele patches van meerdimensionale tijdreeksen verwerken.
- Inputs worden gepatchificeerd en genormaliseerd voordat ze worden gecodeerd.
Gedeelde Transformer Trunk ( $T$ ): Een verenigde backbone die token-embeddings van alle sensoren verwerkt naar een gemeenschappelijke latente ruimte.
Sensor-specifieke Decoders ( $D_i$ ): Gebruikt tijdens de pretraining om gemaskeerde input-tokens te reconstrueren.
Cross-Modale Predictors ( $P_{ij}$ ): Cross-attention transformers die gemaskeerde doel-sensor embeddings voorspellen met behulp van bron-sensor embeddings en zichtbare doel-embeddings.

2.3 Pretraining Doelstelling

Het model wordt getraind met een gezamenlijke verliesfunctie die twee doelstellingen combineert:

Per-Modaliteit Gemaskeerde Reconstructie ( $L_{MAE}$ ): Moedigt elke sensor aan om robuuste structurele en fysieke kenmerken te extraan door zijn eigen gemaskeerde input te reconstrueren.
Cross-Modale Uitlijning ( $L_{Align}$ ): Traint het model om gemaskeerde doel-sensor embeddings te voorspellen vanuit de volledige embedding van de bron-sensor en de zichtbare embeddings van het doel. Dit lijnt uiteenlopende modaliteiten uit in de gedeelde latente ruimte.
- Een stop-gradient wordt toegepast op het doel om representatie-instorting te voorkomen.
- De uitlijningverlies wordt gewogen door een tijdsafhankelijke coëfficiënt ( $\alpha_t$ ), beginnend bij 0 (warmup) om sensor-specifieke kenmerkontwikkeling toe te staan voordat het toeneemt.

Tijdens downstream taken worden de decoders en predictors weggegooid; alleen de sensor-encoders en de gedeelde trunk worden gebruikt.

3. Belangrijkste Bijdragen

HPT Dataset: Een grootschalige (1,6M frames), gesynchroniseerde dataset die optische en array-gebaseerde tactiele sensoren koppelt, wat onderzoek naar heterogene tactiele representatieleer mogelijk maakt.
HTT Framework: Een zelfgesuperviseerde architectuur die MAE-stijl reconstructie combineert met bidirectionele cross-sensor voorspelling om overdraagbare representaties te leren over heterogene sensortypen heen.
Uitgebreide Evaluatie: Uitgebreide validatie over perceptietaken (classificatie, krachtinschatting, slipdetectie) en manipulatietaken (gesimuleerd en real-world), wat het vermogen van het framework aantoont om te generaliseren naar onbekende sensoren en taken.

4. Experimentele Resultaten

4.1 Tactiele Perceptietaken

Objectclassificatie: HTT presteerde beter dan de "Scratch" baseline op alle vier de sensoren. Op optische sensoren overtrof HTT de sterkste optische-alleen baselines (T3, SITR) met aanzienlijke marges (bijv. +13,5% op 9DTact, +17% op GSMini). Cross-modale uitlijning verbeterde de prestaties op optische sensoren, maar toonde gemengde resultaten op array-sensoren (lichte regressie op Xela), toegeschreven aan de informatie-onbalans tussen modaliteiten.
Krachtinschatting & Slipdetectie: HTT presteerde aanzienlijk beter dan baselines op alle sensoren. Optische-alleen pretraining methoden (T3, SITR) faalden vaak bij de overdracht naar krachtgevoelige taken, terwijl HTT een robuuste prestatie behield. De cross-modale uitlijning was bijzonder effectief voor slipdetectie, waarbij de macro-F1 scores aanzienlijk verbeterden (bijv. +12,0% op TAC-02) door complementaire kracht- en ruimtelijke cues te binden.

4.2 Robot Manipulatie Taken

Real-World Experimenten (Sharpa Hand op Franka Arm):
- Taken: "Toy Screw" (het aandraaien van een schroef) en "Grasp Tofu" (het tillen van zachte tofu zonder het te pletten).
- Setup: Zero-shot adaptatie met gebruik van HTT-embeddings van een sensor (9DTact encoder) die niet gezien is tijdens de pretraining.
- Resultaten: Policies die HT% embeddings gebruiken, presteerden significant beter dan die met ruwe 6-D wrench vectoren of enkel gewrichtsposities.
  - Toy Screw: HTT behaalde 95% succes versus 50% voor wrench-gebaseerde policies. De auteurs schrijven dit toe aan het vermogen van HTT om ruimtelijke contactkenmerken (contactlocatie en verschuiving) te representeren die vereist zijn voor cyclische hergrepen, wat ruwe krachtvectoren niet kunnen vangen.
  - Grasp Tofu: HTT behaalde 55% succes versus 35% voor wrench-gebaseerde policies, waardoor de sliprates met een derde werden verminderd en verbrijzelingsfouten werden geëlimineerd.
Gesimuleerde Taken (ManiFeel): HTT embeddings verbeterden de succesratio's in Peg Insertion en Bulb Installation taken vergeleken met baselines, wat het nut van sensor-agnostische contact-embeddings bevestigt.

5. Betekenis en Claims

Het artikel claimt dat gepaarde heterogene pretraining een praktische weg is naar algemene, sensor-agnostische tactiele representatieleer.

Overdraagbaarheid: HTT leert representaties die zich aanpassen aan nieuwe taken en eerder ongeziene sensoren zonder dat daarvoor sensor-specifieke pretraining nodig is.
Policy Learning: Het framework biedt rijkere contactrepresentaties dan ruwe krachtuitvoer, wat de prestaties van contactrijke manipulatiebeleid direct een boost geeft.
Schaalbaarheid: Door de kloof tussen optische en array-gebaseerde sensoren te overbruggen, adresseert HTT een kritieke flessenhals in het schalen van tactiele leerprocessen, waarbij de beperkingen van single-modality datasets worden overstegen.

De auteurs merken beperkingen op, waaronder de huidige focus op enkel de optische en array families, het gebrek aan studies naar pairing binnen dezelfde familie, en de afwezigheid van expliciete geometrische ruimtelijke uitlijning tussen sensor patches. Toekomstig werk beoogt de uitlijning uit te breiden naar andere sensor-modaliteiten en de cross-modale supervisie te verfijnen.