Résumé Technique : TACTFUL

Énoncé du Problème

La manipulation robotique repose traditionnellement sur la vision pour la localisation et l'identification d'objets, traitant souvent le capteur tactile comme une modalité secondaire ou corrective. Cependant, dans les environnements visuellement obstrués ou confinés (par exemple, des bacs d'entrepôt, des sacs encombrés), la vision est peu fiable ou indisponible. Alors que les humains peuvent sans effort localiser et identifier des objets grâce au toucher et aux priors géométriques, les systèmes robotiques peinent à réaliser une exploration tactile autonome. Les approches tactiles existantes reposent souvent sur des signaux de contact simplifiés, un entraînement basé sur la simulation ou des heuristiques artisanales, avec une démonstration limitée de performances de haute fidélité sur du matériel réel pour la tâche combinée de la découverte d'objets dans un espace de travail inconnu et de la reconstruction de leur géométrie pour l'identification.

Méthodologie

Le document présente TACTFUL, un cadre sans vision permettant à un robot multi-doigts d'explorer de manière autonome des espaces de travail confinés, de découvrir des objets par contact et de les identifier par reconstruction tactile. Le système fonctionne entièrement sur du matériel réel sans pré-entraînement par simulation.

1. Matériel et Configuration

Le système utilise une main dextre à cinq doigts de la série Inspire RH56DFTP montée sur un bras robotique UR10e. La main est équipée de 1 062 taxels résistifs mesurant les forces de contact normales. L'espace de travail est un bac aux limites connues contenant des objets imprimés en 3D placés à des emplacements arbitraires. Aucune caméra n'est utilisée.

2. Cadre d'Apprentissage (POMDP)

La tâche est formulée comme un Processus de Décision Markovien Partiellement Observable (POMDP). L'agent doit inférer l'emplacement et la forme des objets uniquement à partir du feedback tactile accumulé et de la proprioception.

• Espace d'Observation ($O$) : Comprend des données proprioceptives (pose de l'effecteur terminal, angles articulaires, configuration de la main) et des lectures tactiles à haute résolution. Il incorpore de manière cruciale un encodage de nuage de points tactile ($c_t$) généré par Sonata, un encodeur basé sur un transformeur auto-supervisé qui compresse l'historique des contacts tactiles en une représentation de la couverture spatiale et de la structure géométrique.
• Espace d'Action ($A$) : Défini comme des changements incrémentiels de la pose de l'effecteur terminal ($\Delta p_t$) et des angles des articulations des doigts ($\Delta h_t$).
• Représentation de l'État : Pour gérer les dépendances temporelles, l'état consiste en une séquence des $k=10$ dernières observations, traitée par une architecture Transformer avec des mécanismes d'auto-attention.

3. Stratégie d'Entraînement : Initialisation par BC + PPO

L'apprentissage de politiques tactiles directement par apprentissage par renforcement (RL) dans le monde réel est inefficace et risqué. TACTFUL emploie un pipeline d'entraînement en deux étapes :

1. Initialisation par Imitation par Apprentissage (BC) : Une politique est pré-entraînée hors ligne sur 5 311 démonstrations téléopérées uniquement tactiles. Le modèle BC apprend à régresser les actions expertes (delta pose et configuration) à partir de l'état d'observation, capturant les stratégies de contact de base et les motifs d'exploration locale.
2. Entraînement PPO en ligne : La politique BC initialise l'acteur dans un cadre d'Optimisation de Politique Proximale (PPO). La politique est affinée en ligne sur du matériel réel.
   • Réseau Critique (Critic) : Reçoit une "information privilégiée" (pose approximative à 6 degrés de liberté de l'objet cible) pour stabiliser l'estimation de la valeur, ce qui n'est pas disponible pour l'acteur lors du déploiement.
   • Réseau Acteur (Actor) : Utilise la même architecture Transformer que le critique mais repose uniquement sur les données tactiles et proprioceptives observables.

4. Programme de Récompense Dynamique

Une fonction de récompense composite guide l'agent à travers des phases distinctes d'exploration et de raffinement, avec des poids évoluant au fil du temps ($t$) dans l'horizon de l'épisode ($T$) :

• Récompense de Contact ($r_{contact}$) : Encourage des points de contact nouveaux et spatialement distincts (nouvelles activations de taxels > 5 mm des contacts précédents) pour favoriser une couverture de surface à haute résolution.
• Récompense d'Exploration ($r_{explore}$) : Encourage l'agent à visiter de nouvelles régions de l'espace de travail (suivies via une grille de voxels de 1 cm$^3$) pour éviter les minima locaux et assurer une découverte globale.
• Récompense de Reconstruction ($r_{recon}$) : Pénalise les représentations de forme inexactes en mesurant la distance de Chamfer entre la reconstruction dense actuelle et la vérité terrain.
• Programme (Schedule) : Au début de l'épisode, $r_{explore}$ est fortement pondéré pour faciliter la découverte d'objets. À mesure que l'épisode progresse, les poids de $r_{contact}$ et $r_{recon}$ augmentent pour prioriser le raffinement de la surface et la précision géométrique.

5. Complétion de Forme

Les nuages de points tactiles épars sont transmis à un modèle de diffusion de nuage de points pré-entraîné pour générer des géométries d'objets denses et complètes. Ce modèle agit comme un a priori appris sur la bibliothèque d'objets connue, comblant le fossé entre les données tactiles éparses et les formes 3D complètes pour l'identification.

Principales Contributions

1. Politique d'Exploration Tactile Apprise : Développement d'une politique unique permettant à un robot multi-doigts d'explorer de manière autonome des espaces de travail confinés et de localiser des objets en utilisant uniquement le capteur tactile, sans vision.
2. Programme de Récompense Dynamique : Introduction d'un mécanisme de récompense variant dans le temps qui équilibre l'exploration globale de l'espace de travail avec le raffinement du contact local, en exploitant les a priori géométriques au niveau de l'objet pour guider la reconstruction 3D.
3. Validation en Monde Réel : Démonstration d'une identification d'objets fiable basée uniquement sur la géométrie tactile reconstruite, entraînée entièrement sur du matériel réel sans simulation.

Résultats Expérimentaux

Le cadre a été évalué sur trois objets géométriquement divers (un cube, un cylindre déformé et une tasse déformée) placés dans un bac. Le robot avait pour tâche de localiser un objet cible spécifique parmi des distracteurs.

• Performance : La méthode TACTFUL a atteint un taux de succès de 77 % (moyenne sur les objets) avec une erreur de reconstruction Chamfer-L2 moyenne de 0,015 m.
• Comparaisons :
  • A surpassé une base heuristique (taux de succès de 0,416–0,5) qui manquait d'apprentissage à partir du feedback de contact.
  • A surpassé le BC-only (taux de succès de 0,416–0,583), démontrant la valeur de l'adaptation par RL en ligne.
  • A surpassé le RL sans initialisation par BC (taux de succès de 0,583–0,75), confirmant que l'initialisation par BC fournit un a priori structuré crucial pour un apprentissage réel sûr et efficace.
• Études d'Ablation :
  • Le retrait de n'importe quel composant de récompense ($r_{contact}$, $r_{explore}$ ou $r_{recon}$) a considérablement dégradé les performances, confirmant la nécessité d'équilibrer l'exploration, la qualité du contact et la précision de la reconstruction.
  • Le retrait du modèle de complétion de forme a réduit les taux de succès à 34 %, soulignant son rôle dans la résolution des ambiguïtés géométriques inhérentes aux données tactiles éparses.

Signification et Revendications

L'article affirme que TACTFUL démontre que le capteur tactile peut servir de modalité primaire efficace pour le raisonnement au niveau de l'objet dans des environnements non structurés, obstrués ou confinés, plutôt que d'être simplement un recours réactif pour la vision. En combinant un apprentissage structuré (BC), un façonnage de récompense dynamique et des a priori de complétion de forme, le système parvient à une localisation et une identification d'objets robustes sans entrée visuelle. Les auteurs notent que bien que le travail actuel soit limité à une bibliothèque connue de trois objets et des scènes statiques, les résultats valident le potentiel d'un raisonnement tactile autonome dans des contextes réels où la vision est absente.