More with LESS -- Local Scene Representations for Tactile Imaging

Résumé Technique : More with LESS – Représentations de Scènes Locales pour l'Imagerie Tactile

Énoncé du Problème
L'imagerie tactile (TI) vise à reconstruire la structure interne d'objets mous par le toucher, une capacité cruciale pour le diagnostic médical (ex: détection de lésions) et la manipulation robotique. Bien que les approches récentes d'apprentissage auto-supervisé (SSL), telles que les travaux de Rimon et al. [34], aient démontré des résultats prometteurs, elles souffrent de limitations significatives :

1. Représentations Globales : Les méthodes existantes encodent l'intégralité des scènes tactiles en un seul vecteur non structuré. Cela ignore la nature compositionnelle des objets physiques, nécessissant un entraînement sur « toutes les combinaisons d'objets possibles » pour généraliser, ce qui est coûteux en calcul et souvent irréalisable.
2. Dépendance au Robot : Les méthodes précédentes reposent sur une cinématique robotique précise pour le suivi de la pose et des motifs de mouvement verticaux, limitant leur applicabilité aux dispositifs tenus à la main où la palpation humaine implique des mouvements complexes et non verticaux.
3. Dimensionnalité : Les travaux précédents étaient largement restreints à l'imagerie 2D, manquant les informations structurelles plus riches disponibles dans les volumes 3D.

Méthodologie : LESS (Local Encoder for Spatial Sensing)
Les auteurs proposent LESS, une architecture neuronale centrée sur l'objet conçue pour exploiter la nature intrinsèquement locale de la détection tactile. L'idée centrale est que la réponse tactile de la structure interne d'un objet à une position spécifique est presque indépendante des structures situées à des positions distantes.

• Architecture :

  • Grille de Particules : Au lieu d'un vecteur global unique, la scène tactile est modélisée comme une grille de $N$ représentations locales (particules). Chaque particule est un réseau de neurones récurrent (spécifiquement une unité récurrente à porte, ou GRU) avec un champ récepteur spatial défini.
  • Traitement Local : Chaque particule traite uniquement la séquence de mesures tactiles (force et pose) tombant dans son champ récepteur. Les entrées sont centrées par rapport à la position de la particule et encodées à l'aide d'encodages positionnels sinusoïdaux et de MLP.
  • Poids Partagés : Toutes les particules partagent des poids, permettant au modèle d'apprendre des réponses tactiles locales qui sont invariantes à la position absolue.
  • Reconstruction d'Image : Les états latents de toutes les particules sont fusionnés pour reconstruire des images 2D ou 3D. Pour la génération d'images, l'état latent de chaque particule est mappé vers un patch d'image local via une convolution transposée. Ces patches sont assemblés en moyennant les logits et en appliquant une softmax pour produire l'image finale.
  • Estimation de l'Incertitude : La nature locale de l'architecture permet une estimation de l'incertitude au niveau du pixel en utilisant l'entropie de Shannon des probabilités de classe, car l'incertitude à un emplacement n'est pas entrelacée avec des emplacements distants.

• Entraînement et Collecte de Données :

  • Apprentissage Auto-Supervisé (SSL) : L'encodeur-décodeur est entraîné par prédiction de force. Le modèle prédit la force à une position future étant donné la représentation locale actuelle, en minimisant l'erreur quadratique moyenne (MSE).
  • Jeux de Données : Les auteurs ont collecté le plus grand ensemble de données d'interaction tactile sur corps mous à ce jour (~800 heures), comprenant :
    • data-v1 : Mouvements de « piqûre » (poke) verticaux (similaires aux travaux précédents).
    • data-poke : Mouvements verticaux avec des orientations de capteurs variées.
    • data-primitive : Mouvements téléopérés ressemblant à la palpation humaine.
    • data-handheld : Données manuelles collectées avec un capteur tenu à la main et suivi par un système d'estimation de pose basé sur des repères fiduciaires.
  • Fantômes : Fantômes modulaires avec des peaux en silicone souple et des remplissages en hydrogel contenant des inclusions de formes, tailles et nombres variés (simple, multiples, connectées). La vérité terrain a été obtenue via l'IRM 3T.
  • Fonctions de Perte : Pour la reconstruction d'image, les auteurs utilisent une combinaison de perte Focal et de perte Dice pour traiter le déséquilibre des classes entre les petites inclusions et le large gel de fond.

Contributions Clés

1. Généralisation Compositionnelle Zero-Shot : LESS démontre la capacité de généraliser à des configurations inédites. Des modèles entraînés exclusivement sur des fantômes avec des inclusions simples reconstruisent avec précision des objets avec des inclusions multiples et des dimensions plus larges lors des tests. Ceci est rendu possible car le modèle apprend des motifs locaux plutôt que des combinaisons globales de scènes.
2. Reconstruction 3D : La méthode étend l'imagerie tactile des coupes 2D aux volumes 3D complets. De manière surprenante, l'entraînement sur des étiquettes 3D améliore les métriques de reconstruction 2D par rapport à un entraînement uniquement 2D, probablement grâce à l'apprentissage des régularités spatiales entre les coupes adjacentes.
3. Imagerie Tactile Portative : Les auteurs présentent un système de preuve de concept tenu à la main. En incorporant un suivi de pose externe et en s'entraînant sur divers primitives de mouvement (y compris des mouvements humains), ils permettent une imagerie en temps réel en dehors d'une configuration robotique fixe.
4. Incertitude Spatiale : L'architecture fournit des estimations d'incertitude localisées, identifiant les zones où l'opérateur devrait collecter des données supplémentaires, une caractéristique difficile à atteindre avec des représentations globales.

Résultats Expérimentaux

• Généralisation : Lors de tests zero-shot sur des fantômes à « inclusions multiples » et « larges » (hors distribution), LESS a nettement surpassé la référence globale (GLOBAL). Par exemple, sur l'ensemble des inclusions multiples, LESS a atteint un score F1 de 71,1 % contre 44,6 % pour GLOBAL.
• 3D vs 2D : L'entraînement sur des volumes 3D a produit une meilleure précision de reconstruction 2D (par exemple, une erreur de centre de masse plus faible) que l'entraînement sur des tranches 2D seules.
• Robustesse de la Pose : Le système reste stable avec un bruit de position jusqu'à ~1 mm et un bruit d'orientation jusqu'à ~0,1 radian.
• Performance du Système Portatif : Bien que les capteurs tenus par des robots aient donné une précision légèrement supérieure (erreur CoM 1,6 mm) aux opérations manuelles (8,4 mm), l'entraînement sur des données de mouvement diverses (data-primitive) a considérablement réduit l'écart de performance par rapport à l'entraînement sur les seules données de piqûre robotique.

Signification et Revendications
L'article affirme que LESS représente une étape significative vers une imagerie tactile pratique et indépendante de l'opérateur. En passant d'une représentation globale à une représentation locale, la méthode surmonte l'inefficacité des données des approches SSL précédentes, permettant de généraliser à des objets complexes et composites sans réentraînement. Le développement d'un système portatif avec visualisation de l'incertitude en temps réel comble le fossé entre la recherche robotique et l'utilité clinique, pouvant potentiellement aider les dispositagers à domicile et guider les médecins lors des examens. Les auteurs notent que bien que le travail actuel utilise des fantômes synthétiques, le cadre technique (particulièrement le système portatif) est conçu pour faciliter l'évaluation future sur les tissus humains.