💻 computer science

HT-Bench: Benchmarking and Learning Dexterous Full-Hand Tactile Representations with Egocentric Vision

Dit artikel introduceert HT-Bench, een grootschalige multi-task benchmark voor behendige volledige hand-tactiele sensoriek, en stelt HandTouch voor, een vector-gekwantiseerde visio-tactiele encoder die bestaande baselines aanzienlijk overtreft in het leren van tactiele representaties door middel van egocentrische visie en volledige hand-tactiele data.

Oorspronkelijke auteurs: Yuzhe Huang, Jiaping Wu, Jiaming Jiang, Hezhe Lin, Aikebaier Aierken, Yunlong Wang, Kun Cheng, Ziyuan Jiao, Yuanxin Zhong

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuzhe Huang, Jiaping Wu, Jiaming Jiang, Hezhe Lin, Aikebaier Aierken, Yunlong Wang, Kun Cheng, Ziyuan Jiao, Yuanxin Zhong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotarm probeert te leren om de wereld te "voelen". Al een lange tijd worstelen wetenschappers met het creëren van een standaardtest hiervoor, vergelijkbaar met het proberen te vergelijken van de smaak van appels uit 200 verschillende boomgaarden wanneer elke boomgaard een andere schaal, een ander type fruit en een andere manier van zoetheid meten gebruikt.

Dit artikel, HT-Bench, pakt dit probleem aan door het spel te veranderen. In plaats van te proberen elke robotarm hetzelfde te laten zijn, hebben de auteurs een enorme, gestandaardiseerde "sportschool" gecreëerd, specifiek voor robots die ogen op de pols gebruiken (egocentrische visie) en gevoelige huid over de hele hand (volledige tactiele sensatie).

Hier is de onderverdeling van hun werk met behulp van eenvoudige analogieën:

1. Het Probleem: Een Rommelige Keuken van Sensoren

Huidige robot-tactiele sensoren zijn als een keuken waar iedereen verschillende maatbekers gebruikt. Sommige sensoren meten druk, andere meten slip, en ze komen allemaal in verschillende vormen voor. Vanwege deze rommel is het moeilijk om te weten of een robot daadwerkelijk aan het "leren" is voelen, of dat hij gewoon een specifieke truc voor één specifieke sensor aan het onthouden is.

2. De Oplossing: HT-Bench (De "Sportschool")

De auteurs bouwden HT-Bench, een gigantische dataset met 10 miljoen videoframes en 7,8 miljoen tactiele frames. Denk hierbij aan een enorme bibliotheek van "films" waarin een robotarm 226 verschillende taken uitvoert (zoals het oppakken van een beker of het draaien aan een knop), en waarbij we zowel kunnen zien wat de robot ziet als precies hoe zijn huid elke enkel moment voelt.

Om te testen of het "brein" van een robot goed is in voelen, vragen ze het niet alleen om één taak uit te voeren. Ze geven het vier verschillende soorten examens:

Het "Geheugenmatch"-spel (Retrieval): De robot krijgt een foto te zien van een hand die iets aanraakt en krijgt de vraag: "Welke van deze 20 andere hand-aanrakingen voelt precies zoals deze?" Het is als een geheugenspel waarbij je moet matchen hoe een textuur voelt, niet alleen hoe het eruitziet.
De "Invul-de-gaten"-puzzel (Inpainting): Stel je een hand voor die een bal aanraakt, maar halverwege de sensoren op de hand worden plotseling blind (zoals een patch dode pixels op een scherm). De robot moet raden wat de ontbrekende sensoren zouden moeten voelen op basis van de rest van de hand en wat hij met zijn ogen ziet.
De "Gedachtenlezer"-test (Visie-naar-Tactiel): De robot ziet een afbeelding van een object (zoals een spons of een rots), maar heeft het nog niet aangeraakt. Hij moet precies voorspellen hoe de druk op zijn huid zal aanvoelen, enkel door naar het object te kijken. Dit is als het zien van een foto van een citroen en instinctief weten dat deze zuur en hobbelig zal aanvoelen voordat je hem zelfs maar aangeraakt hebt.
De "Kristallen Bol"-test (Predictie): De robot kijkt naar een hand die door de tijd heen beweegt en dingen aanraakt. Hij moet voorspellen wat de hand de volgende seconde zal voelen, gebaseerd op wat hij net daarvoor zag en voelde.

3. Het Nieuwe Brein: HandTouch

Om deze examens te halen, bouwden de auteurs een nieuw AI-model genaamd HandTouch. Ze trainden het in drie progressieve stadia, als een student die een nieuwe taal leert:

Stadium 1 (Het alfabet leren): De robot leert om naar een volledige kaart van de aanraking van zijn hand te kijken en deze perfect te reconstrueren. Het leert de "vorm" van hoe druk zich over de hand verspreidt.
Stadium 2 (Context leren lezen): De robot krijgt een kapotte kaart (met ontbrekende delen) en een foto van de scène. Het leert de foto te gebruiken om de ontbrekende delen van de aanrakingskaart in te vullen. Het leert: "Als ik een zacht kussen zie, moet mijn hand zacht voelen, zelfs als mijn sensoren kapot zijn."
Stadium 3 (Het verhaal leren): De robot leert een reeks gebeurtenissen te bekijken en het volgende gevoel te voorspellen. Het begrijpt dat als een hand een helling af glijdt, het gevoel op een specifieke manier zal veranderen.

4. De Resultaten: Een Nieuwe Kampioen

Toen ze HandTouch door de HT-Bench sportschool lieten gaan, verpletterde het de concurrentie.

Geheugenmatch: Het werd beter in het matchen van vergelijkbare gevoelens dan elk vorig model (een verbetering van ongeveer 75% naar 85% nauwkeurigheid).
Invul-de-gaten: Het maakte veel minder fouten bij het raden van ontbrekende aanrakingsgegevens (het verminderde de fouten met meer dan de helft).
Gedachtenlezer: Het werd veel beter in het voorspellen hoe een object voelt door er enkel naar te kijken.

De Kernboodschap

De conclusie van het artikel is dat hoewel we nog niet één enkele test kunnen maken voor elke robotarm die bestaat, we wél een enorme, hoogwaardige standaard kunnen bouwen voor robots die ogen en volledige handsensoren gebruiken. HT-Bench biedt de speeltuin, en HandTouch bewijst dat robots met de juiste training kunnen leren om de wereld te "voelen" op een manier die slim, aanpasbaar en generaliseerbaar is naar nieuwe taken die ze nog nooit eerder hebben gezien.

Wat zij NIET claimden:

Zij zeiden niet dat deze robot nu chirurgie kan uitvoeren of delicate klinische taken kan uitvoeren.
Zij claimden niet dat dit werkt op elke soort robot-sensor (zoals alleen een vingertip-sensor of een krachtsensor op een been).
Zij zeiden niet dat dit klaar is voor direct commercieel gebruik in huishoudens; het is een onderzoeksbenchmark om toekomstige robots daar te helpen komen.

Technische Samenvatting: HT-Bench en HandTouch

Probleemstelling

Het vaststellen van een universele benchmark voor het leren van tactiele representaties in robotische manipulatie wordt momenteel belemmerd door de intrinsieke heterogeniteit van tactiele sensoren. Deze heterogeniteit komt voort uit diverse sensordesigns (hardwareprincipes, ruimtelijke lay-outs, signaalmodaliteiten), variërende robotlichamen en inconsistente dataformaten. In tegenstelling tot visuele perceptie, die profiteert van gestandaardiseerde datasets en volwassen evaluatieprotocollen, blijft tactiel leren beperkt tot taakspecifieke pipelines en sensorafhankelijke verwerking. Hierdoor is het moeilijk te bepalen of geleerde kenmerken representeren dat het gaat om overdraagbare tactiele representaties of louter taakspecifieke aanpassingen. De auteurs stellen dat het zoeken naar een enkele universele benchmark om alle sensorverschillen op te lossen onpraktisch is. In plaats daarvan stellen zij een schaalbare, veelbelovende richting voor: egocentrische visie gekoppeld aan volledige hand-tactiele data. Deze setting legt interactie-gecentreerde visuele context vast naast gedistribueerde contactinformatie tijdens behendige manipulatie, wat een basis biedt om te evalueren of tactiele encoders contactgeometrie kunnen coderen, kunnen aansluiten bij visuele informatie en kunnen generaliseren naar ongeziene taken.

Methodologie

1. HT-Bench: Een grootschalige multi-task benchmark

De auteurs introduceren HT-Bench, een benchmark bestaande uit ongeveer 10 miljoen RGB-frames en 7,8 miljoen tactiele frames verzameld over 226 diverse taken in verschillende omgevingen (bijv. huishouden, elektronica-werkbank, chemie-laboratorium). De dataset is gesynchroniseerd tussen egocentrische visie en volledige hand-tactiele sensoren.

Om generalisatie te evalueren, gebruikt HT-Bench een task-level Out-of-Distribution (OOD) split-strategie: één interactietaken wordt apart gehouden voor OOD-evaluatie, terwijl de resterende taken in een verhouding van 9:1 worden verdeeld voor training en in-distributie testen.

HT-Bench evalueert tactiele representaties via vier complementaire taken:

Fijnmazige Tactiele Gelijkenis Zoekopdracht (Retrieval): Een 1-vs-20 retrieval taak waarbij encoders kandidaat-tactiele kaarten moeten rangschikken op basis van de Structural Similarity Index Measure (SSIM) ten opzichte van een query, wat de preservatie van fijnmazige contactgeometrie test.
Gemaskeerde Tactiele Inpainting: Het model reconstrueert ontbrekende regio's van een tactiele kaart met behulp van resterende tactiele observaties en gesynchroniseerde visuele cues. Dit test ruimtelijk redeneren en het vermogen om met partiële informatieverlies om te gaan (het simuleren van sensoruitval).
Visie-naar-Tactiele Synthese (RGB-naar-Tactiel): Gegeven een enkel RGB-frame voorspelt het model de bijbehorende tactiele drukverdeling. Dit evalueert cross-modale uitlijning en het vermogen om tactiele reacties af te leiden uit de visuele objectgeometrie.
Multimodale Tactiele Frame Voorspelling: Het model voorspelt de tactiele verdeling op tijdstip $T$ ( $t_T$ ) met behulp van recente visuele observaties ( $v_{T-2}$ ) en het verleden van de tactiele trajecten ( $t_{T-2}$ ). Dit beoordeelt temporele contactmodellering en dynamisch interactiebegrip.

2. HandTouch: Vector-gekwantiseerde Visie–Tactiele Encoder

Om aan de evaluatievereisten van HT-Bench te voldoen, stellen de auteurs HandTouch voor, een vector-gekwantiseerde visie–tactiele encoder getraind via een progressieve driefasige pipeline:

Fase 1: Vector-Gekwantiseerde Tactiele Reconstructie (Ruimtelijke Topologie):
- Een convolutionele laag tokenizeert genormaliseerde tactiele kaarten in patches, die worden verwerkt door een 8-laagse Vision Transformer (ViT) encoder.
- Een gefactoriseerde vector-kwantizer met een gedeelde codebook ( $K=2048$ ) projecteert continue latente kenmerken naar een discrete tokenruimte.
- Om codebook-instorting (collapse) te voorkomen, wordt een codebook-herstartmechanisme gebruikt dat onderbenutte vermeldingen herinitialiseert met actieve kenmerken uit de huidige batch.
- Het doel is om de input tactiele kaart te reconstrueren vanuit gekwantiseerde tokens, waarbij een structureel discriminerende ruimtelijke topologie wordt geleerd.
Fase 2: Cross-Modale Gemaskeerde Tactiele Inpainting (Visie–Touch Uitlijning):
- Het model leert gecorrumpeerde tactiele kaarten te reconstrueren met behulp van zowel resterende tactiele data als gesynchroniseerde visuele cues.
- Een curriculum-gebaseerde duale maskeringstrategie wordt toegepast:
  - Regionale Willekeurige Maskering: Maskeert specifieke handdelen (duim, vingers, palm) om partiële verlies te simuleren.
  - Volledige Maskering: Maskeert de gehele tactiele kaart, waardoor het model wordt gedwongen om tactiele reacties primair uit de visuele context af te leiden. De waarschijnlijkheid van volledige maskering neemt toe tijdens de training.
- Visuele kenmerken (van een bevroren pre-trained ViT) worden via cross-attention in de tactiele decoder geïnjecteerd. Een leerbaar hand-specifiek token ( $t_{hand}$ ) wordt toegevoegd om geometrische ambiguïteiten tussen de linker- en rechterhand op te lossen.
Fase 3: Multimodale Tactiele Frame Voorspelling (Temporele Dynamiek):
- Het model integreert recente visuele observaties en het verleden van de tactiele historie om de toekomstige tactiele verdeling te voorspellen.
- Deze fase verfijnt de predictiemodules, de gedeelde codebook en de decoder om de temporele evolutie van contacttoestanden te vangen.

Belangrijkste Bijdragen

HT-Bench: De introductie van een grootschalige, multi-task benchmark specifiek ontworpen voor behendige volledige hand-tactiele sensing, voorzien van gesynchroniseerde egocentrische visie en tactiele data, met task-level OOD-splits om generalisatie rigoureus te evalueren.
HandTouch: Een nieuwe vector-gekwantiseerde visie–tactiele encoder die overdraagbare representaties leert via progressieve ruimtelijke, cross-modale en temporele trainingsdoelen.
Uitgebreide Evaluatie: Een multi-perspectief evaluatiekader dat contactgeometrie-codering, visuele uitlijning en generalisatie naar ongeziene taken beoordeelt, bewegend voorbij enkelvoudige downstream-doelen.

Experimentele Resultaten

Experimenten op HT-Bench tonen aan dat HandTouch consistent presteert ten opzichte van representatieve baselines (CNN-gebaseerd, ResNet-18, VQ-VAE en ViT-gebaseerde encoders):

Fijnmazige Retrieval: HandTouch verbeterde de Recall@5 van 74,65% naar 85,23% en de Hit@1 van 94,27% naar 99,27% vergeleken met de sterkste baseline (ViT-gebaseerd).
Gemaskeerde Tactiele Inpainting: Op de standaard test-split verminderde HandTouch de volledige afbeelding RMSE van 0,022 naar 0,010 en verhoogde de cIoU van 0,762 naar 0,911. Het behield superieure prestaties op OOD-splits eveneens.
Visie-naar-Tactiele Synthese: HandTouch verbeterde de OOD cIoU van 0,628 naar 0,705, wat wijst op sterkere cross-modale generatie en generalisatie. Hoewel VQ-VAE een iets lagere RMSE vertoonde in OOD-settings, bereikte HandTouch een significant hogere cIoU, wat suggereert dat het scherpere, gelokaliseerde contactpatronen beter vastlegt.
Temporele Voorspelling: HandTouch demonstreerde nauwkeurige voorspelling van tactiele verdelingen in zowel in-distributie als OOD-settings, wat het vermogen valideert om temporele contactdynamiek te modelleren.

Betekenis en Claims

Het artikel claimt dat HT-Bench een schaalbare en praktische basis biedt voor het evalueren en verbeteren van tactiele representatie-leren in behendige manipulatie, specifiek binnen het regime van egocentrische visie gekoppeld aan volledige hand-sensing. Door de focus te verschuiven van een universele (maar momenteel onpraktische) benchmark naar een schaalbare, datagedreven aanpak, beogen de auteurs de voorafgaande vraag te beantwoorden wat een effectieve representatie-backbone vormt voor volledige hand-tactiele perceptie.

De auteurs stellen dat HandTouch de effectiviteit van progressieve training (ruimtelijk, cross-modaal, temporeel) en vector-kwantisatie aantoont bij het leren van representaties die structureel discriminerend, visueel gegrond en temporeel bewust zijn. De resultaten suggereren dat grootschalige egocentrische volledige hand-tactiele data als fundament kunnen dienen voor algemeen tactiel representatie-leren.

Het artikel blijft bescheiden over de reikwijdte en erkent dat HT-Bench niet alle tactiele sensing-paradigma's dekt (bijv. alleen vingertoppen-sensoren, kracht/koppel-sensing of andere robotlichamen) en dat de huidige evaluaties zich richten op representatie-niveau capaciteiten in plaats van directe downstream robotische prestaties. Toekomstig werk wordt geïdentificeerd als noodzakelijk om de benchmark uit te breiden naar bredere hardware, diepere ablatie-studies uit te voeren en prestaties te valideren in real-world closed-loop manipulatie taken.