💻 computer science

HT-Bench: Benchmarking and Learning Dexterous Full-Hand Tactile Representations with Egocentric Vision

Cet article présente HT-Bench, un benchmark multi-tâches à grande échelle pour la détection tactile dextre de la main complète, et propose HandTouch, un encodeur vision-tactile vectorisé qui surpasse de manière significative les bases de référence existantes dans l'apprentissage de représentations tactiles à travers la vision égocentrée et des données tactiles de la main complète.

Auteurs originaux : Yuzhe Huang, Jiaping Wu, Jiaming Jiang, Hezhe Lin, Aikebaier Aierken, Yunlong Wang, Kun Cheng, Ziyuan Jiao, Yuanxin Zhong

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuzhe Huang, Jiaping Wu, Jiaming Jiang, Hezhe Lin, Aikebaier Aierken, Yunlong Wang, Kun Cheng, Ziyuan Jiao, Yuanxin Zhong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez essayer d'apprendre à une main robotique à « ressentir » le monde. Pendant longtemps, les scientifiques ont lutté pour créer un test standard pour cela, un peu comme essayer de comparer le goût des pommes provenant de 200 vergers différents alors que chaque verger utilise une échelle différente, un type de fruit différent et une méthode différente pour mesurer le sucre.

Ce document, HT-Bench, s'attaque à ce problème en changeant la donne. Au lieu d'essayer de forcer chaque main robotique à être la même, les auteurs ont créé une « salle de sport » massive et standardisée spécifiquement pour les robots qui utilisent des yeux au poignet (vision égocentrée) et une peau sensible sur toute la main (tactile pleine main).

Voici la décomposition de leur travail en utilisant des analogies simples :

1. Le Problème : Une cuisine de capteurs désordonnée

Actuellement, les capteurs tactiles des robots sont comme une cuisine où tout le monde utilise des tasses doseuses différentes. Certains capteurs mesurent la pression, d'autres le glissement, et ils ont tous des formes différentes. À cause de ce désordre, il est difficile de savoir si un robot est réellement en train d'« apprendre » à ressentir ou s'il est simplement en train de mémoriser un tour spécifique pour un capteur précis.

2. La Solution : HT-Bench (La « Salle de Sport »)

Les auteurs ont construit HT-Bench, un immense ensemble de données contenant 10 millions de cadres vidéo et 7,8 millions de cadres tactiles. Considérez cela comme une immense bibliothèque de « films » où une main robotique accomplit 226 tâches différentes (comme ramasser une tasse ou tourner un bouton), et où nous pouvons voir à la fois ce que le robot voit et exactement comment sa peau ressent chaque instant.

Pour tester si le « cerveau » d'un robot est doué pour le toucher, ils ne lui demandent pas seulement de faire un travail. Ils lui font passer quatre types d'examens différents :

Le jeu du « Match de Mémoire » (Récupération) : On montre au robot l'image d'une main touchant quelque chose et on lui demande : « Lequel de ces 20 autres contacts de main ressemble exactement à celui-ci ? » C'est comme un jeu de mémoire où vous devez associer la sensation d'une texture, pas seulement son aspect.
Le puzzle du « Texte à Trous » (Inpainting) : Imaginez une main touchant une balle, mais la moitié des capteurs de la main deviennent soudainement aveugles (comme une zone de pixels morts sur un écran). Le robot doit deviner ce que les capteurs manquants devraient ressentir en se basant sur le reste de la main et sur ce qu'il voit avec ses yeux.
Le test du « Lecteur de Pensées » (Vision-vers-Tactile) : Le robot voit l'image d'un objet (comme une éponge ou un rocher) mais ne l'a pas encore touché. Il doit prédire exactement comment la pression sera ressentie sur sa peau rien qu'en regardant l'objet. C'est comme voir la photo d'un citron et savoir instinctivement qu'il sera acide et rugueux avant même de le toucher.
Le test de la « Boule de Cristal » (Prédiction) : Le robot regarde une main en mouvement touchant des objets au fil du temps. Il doit prédire ce que la main ressentira la seconde suivante, en se basant sur ce qu'elle a vu et ressenti un instant auparavant.

3. Le Nouveau Cerveau : HandTouch

Pour réussir ces examens, les auteurs ont construit un nouveau modèle d'IA appelé HandTouch. Ils l'ont entraîné en trois étapes progressives, comme un étudiant apprenant une nouvelle langue :

Étape 1 (Apprendre l'alphabet) : Le robot apprend à regarder une carte complète du toucher de sa main et à la reconstruire parfaitement. Il apprend la « forme » de la façon dont la pression se diffuse sur la main.
Étape 2 (Apprendre à lire le contexte) : Le robot reçoit une carte brisée (avec des parties manquantes) et une image de la scène. Il apprend à utiliser l'image pour remplir les parties manquantes du toucher. Il apprend que « si je vois un oreiller doux, ma main devrait ressentir de la douceur, même si mes capteurs sont défectueux ».
Étape 3 (Apprendre l'histoire) : Le robot apprend à regarder une séquence d'événements et à prédire la sensation suivante. Il comprend que si une main glisse le long d'une rampe, la sensation changera d'une manière spécifique.

4. Les Résultats : Un Nouveau Champion

Lorsqu'ils ont soumis HandTouch à la salle de sport HT-Bench, il a écrasé la compétition.

Match de Mémoire : Il est devenu meilleur pour associer des sensations similaires que n'importe quel modèle précédent (passant d'environ 75 % à 85 % de précision).
Texte à Trous : Il a fait beaucoup moins d'erreurs lorsqu'il devait deviner les données tactiles manquantes (réduisant les erreurs de plus de moitié).
Lecteur de Pensées : Il est devenu bien meilleur pour prédire comment un objet est ressenti par la simple vue.

L'essentiel

Le document conclut que, bien que nous ne puissions pas encore construire un test unique pour chaque main robotique existante, nous pouvons construire un standard massif et de haute qualité pour les robots qui utilisent des yeux et des capteurs tactiles complets. HT-Bench fournit le terrain de jeu, et HandTouch prouve qu'avec le bon entraînement, les robots peuvent apprendre à « ressentir » le monde de manière intelligente, adaptable et capable de se généraliser à de nouvelles tâches qu'ils n'ont jamais vues auparavant.

Ce qu'ils n'ont PAS affirmé :

Ils n'ont pas dit que ce robot peut maintenant pratiquer la chirurgie ou effectuer des tâches cliniques délicates.
Ils n'ont pas affirmé que cela fonctionne sur chaque type de capteur robotique (comme un capteur uniquement au bout des doigts ou un capteur de force sur une jambe).
Ils n'ont pas dit que c'est prêt pour une utilisation commerciale immédiate dans les foyers ; il s'agit d'un benchmark de recherche pour aider les futurs robots à y parvenir.

Résumé Technique : HT-Bench et HandTouch

Problématique

L'établissement d'un benchmark universel pour l'apprentissage de représentations tactiles dans la manipulation robotique est actuellement entravé par l'hétérogénéité intrinsèque de la détection tactile. Cette hétérogénéité découle de la diversité des capteurs (principes matériels, configurations spatiales, modalités de signaux), de la variété des morphologies de robots et de l'incohérence des formats de données. Contrairement à la perception visuelle, qui bénéficie de jeux de données standardisés et de protocoles d'évaluation matures, l'apprentissage tactile reste contraint par des pipelines spécifiques aux tâches et des traitements dépendants des capteurs. Par conséquent, il est difficile de déterminer si les caractéristiques apprises représentent des représentations tactiles transférables ou de simples adaptations spécifiques à une tâche. Les auteurs soutiennent que chercher un benchmark universel unique pour résoudre tous les écarts entre capteurs est irréaliste. Au lieu de cela, ils proposent d'explorer une direction évolutive et prometteuse : la vision égocentrée couplée à des données tactiles de la main complète. Ce cadre capture un contexte visuel centré sur l'interaction aux côtés d'informations de contact distribuées lors d'une manipulation dextre, fournissant une base pour évaluer si les encodeurs tactiles peuvent encoder la géométrie de contact, s'aligner avec l'information visuelle et se généraliser à des tâches inédites.

Méthodologie

1. HT-Bench : Un benchmark multi-tâches à grande échelle

Les auteurs introduisent HT-Bench, un benchmark comprenant environ 10 millions de cadres RGB et 7,8 millions de cadres tactiles collectés à travers 226 tâches diverses dans divers environnements (ex. : maison, établi d'électronique, laboratoire de chimie). Le jeu de données est synchronisé entre la vision égocentrée et les capteurs tactiles de la main complète.

Pour évaluer la généralisation, HT-Bench emploie une stratégie de division Out-of-Distribution (OOD) au niveau de la tâche : une tâche d'interaction est mise de côté pour l'évaluation OOD, tandis que les tâches restantes sont divisées selon un ratio 9:1 pour l'entraînement et le test en distribution (in-distribution).

HT-Bench évalue les représentations tactiles à travers quatre tâches complémentaires :

Recherche de similitude tactile fine (Fine-Grained Tactile Similarity Retrieval) : Une tâche de recherche de 1 contre 20 où les encodeurs doivent classer des cartes tactiles candidates en fonction de l'indice de similitude structurelle (SSIM) par rapport à une requête, testant la préservation de la géométrie de contact fine.
Inpainting tactile masqué (Masked Tactile Inpainting) : Le modèle reconstruit des régions manquantes d'une carte tactile en utilisant les observations tactiles restantes et les indices visuels synchronisés. Cela teste le raisonnement spatial et la capacité à gérer la perte partielle d'informations (simulant des défaillances de capteurs).
Synthèse vision-vers-tactile (RGB-to-Tactile) : Étant donné un seul cadre RGB, le modèle prédit la distribution de pression tactile correspondante. Cela évalue l'alignement cross-modal et la capacité à inférer des réponses tactiles à partir de la géométrie visuelle de l'objet.
Prédiction de trames tactiles multimodales (Multimodal Tactile Frame Prediction) : Le modèle prédit la distribution tactile à l'instant $T$ ( $t_T$ ) en utilisant des observations visuelles récentes ( $v_{T-2}$ ) et des trajectoires tactiles passées ( $t_{T-2}$ ). Cela évalue la modélisation du contact temporel et la compréhension de l'interaction dynamique.

2. HandTouch : Encodeur vision-tactile par quantification vectorielle

Pour répondre aux exigences d'évaluation de HT-Bench, les auteurs proposent HandTouch, un encodeur vision-tactile par quantification vectorielle entraîné via un pipeline progressif en trois étapes :

Étape 1 : Reconstruction tactile par quantification vectorielle (Topologie spatiale) :
- Une couche de convolution vectorise les cartes tactiles normalisées en patchs, qui sont traités par un encodeur Vision Transformer (ViT) à 8 couches.
- Un quantificateur vectoriel factorisé avec un codebook partagé ( $K=2048$ ) projette les caractéristiques latentes continues dans un espace de jetons (tokens) discrets.
- Pour éviter l'effondrement du codebook (codebook collapse), un mécanisme de redémarrage du codebook réinitialise les entrées sous-utilisées en utilisant les caractéristiques actives du lot actuel.
- L'objectif est de reconstruire la carte tactile d'entrée à partir des jetons quantifiés, apprenant ainsi une topologie spatiale structurellement discriminante.
Étape 2 : Inpainting tactile masqué cross-modal (Alignement Vision-Toucher) :
- Le modèle apprend à reconstruire des cartes tactiles corrompues en utilisant à la fois les données tactiles restantes et les indices visuels synchronisés.
- Une stratégie de masquage double basée sur un curriculum est employée :
  - Masquage aléatoire régional : Masque des parties spécifiques de la main (pouce, doigts, paume) pour simuler une perte partielle.
  - Masquage complet : Masque l'intégralité de la carte tactile, forçant le modèle à inférer les réponses tactiles principalement à partir du contexte visuel. La probabilité de masquage complet augmente au cours de l'entraînement.
- Les caractéristiques visuelles (issues d'un ViT pré-entraîné gelé) sont injectées dans le décodeur tactile via une attention croisée (cross-attention). Un jeton spécifique à la main ( $t_{hand}$ ) apprenable est ajouté pour résoudre les ambiguïtés géométriques entre la main gauche et la main droite.
Étape 3 : Prédiction de trames tactiles multimodales (Dynamique temporelle) :
- Le modèle intègre des observations visuelles récentes et des historiques tactiles passés pour prédire la distribution tactile future.
- Cette étape affine les modules de prédiction, le codebook partagé et le décodeur pour capturer l'évolution temporelle des états de contact.

Contributions clés

HT-Bench : L'introduction d'un benchmark à grande échelle et multi-tâches spécifiquement conçu pour la détection tactile de la main complète et dextre, présentant des données visuelles égocentrées et tactiles synchronisées, ainsi que des divisions OOD par niveau de tâche pour évaluer rigoureusement la généralisation.
HandTouch : Un nouvel encodeur vision-tactile par quantification vectorielle qui apprend des représentations transférables grâce à des objectifs d'entraînement progressifs (spatiaux, cross-modaux et temporels).
Évaluation complète : Un cadre d'évaluation multi-perspectives évaluant l'encodage de la géométrie de contact, l'alignement visuel et la généralisation à des tâches inédites, allant au-delà des objectifs uniques en aval.

Résultats expérimentaux

Les expériences sur HT-Bench démontrent que HandTouch surpasse systématiquement les bases de référence représentatives (basées sur CNN, ResNet-18, VQ-VAE et des encodeurs basés sur ViT) :

Recherche fine (Fine-Grained Retrieval) : HandTouch a amélioré le Recall@5 de 74,65 % à 85,23 % et le Hit@1 de 94,27 % à 99,27 % par rapport à la base de référence la plus forte (basée sur ViT).
Inpainting tactile masqué : Sur le split de test standard, HandTouch a réduit l'RMSE de l'image complète de 0,022 à 0,010 et a augmenté le cIoU de 0,762 à 0,911. Il a maintenu des performances supérieures sur les splits OOD également.
Synthèse vision-vers-tactile : HandTouch a amélioré le cIoU OOD de 0,628 à 0,705, indiquant une meilleure génération cross-modale et une meilleure généralisation. Bien que le VQ-VAE ait montré un RMSE légèrement inférieur dans les contextes OOD, HandTouch a obtenu un cIoU nettement plus élevé, suggérant une meilleure capture des motifs de contact nets et localisés.
Prédiction temporelle : HandTouch a démontré une prédiction précise des distributions tactiles tant dans les contextes in-distribution qu'OOD, validant sa capacité à modéliser les dynamiques de contact temporelles.

Signification et affirmations

L'article affirme que HT-Bench fournit une base évolutive et pratique pour évaluer et faire progresser l'apprentissage de représentations tactiles dans la manipulation dextre, spécifiquement dans le régime de la vision égocentrée couplée à la détection de la main complète. En déplaçant l'attention d'un benchmark universel (mais actuellement irréaliste) vers une approche pilotée par les données et évolutive, les auteurs visent à répondre à la question préalable de ce qui constitue un backbone de représentation efficace pour la perception tactile de la main complète.

Les auteurs affirment que HandTouch démontre l'efficacité de l'entraînement progressif (spatial, cross-modal, temporel) et de la quantification vectorielle pour apprendre des représentations qui sont structurellement discriminantes, visuellement ancrées et temporellement conscientes. Les résultats suggèrent que les données tactiles de la main complète égocentrées à grande échelle peuvent servir de fondation pour l'apprentissage de représentations tactiles générales.

Le papier reste modeste quant à son champ d'application, reconnaissant que HT-Bench ne couvre pas tous les paradigmes de détection tactile (ex. : capteurs uniquement au bout des doigts, détection de force/couple, ou autres morphologies que la main) et que les évaluations actuelles se concentrent sur les capacités de niveau de représentation plutôt que sur la performance robotique directe en aval. Des travaux futurs sont identifiés comme nécessaires pour étendre le benchmark à un matériel plus large, mener des études d'ablation plus approfondies et valider les performances dans des tâches de manipulation en boucle fermée dans le monde réel.