Close-Fitting Dressing Assistance Based on State Estimation of Feet and Garments with Semantic-based Visual Attention

Résumé Technique : Assistance à l'habillage ajusté basée sur l'estimation de l'état des pieds et des vêtements avec une attention visuelle sémantique

Énoncé du problème
L'article traite du défi de l'assistance autonome à l'habillage pour les vêtements ajustés, spécifiquement les chaussettes, dans le contexte d'un vieillissement de la population et d'une pénurie de soignants. Les recherches précédentes se sont concentrées sur les vêtements amples (ex. : chemises, pantalons) qui permettent un désalignement important ; or, l'habillage de vêtements serrés nécessite des ajustements de force précis pour gérer la friction et l'accrochage contre la peau tout en tenant compte de la déformation du vêtement. Un obstacle majeur réside dans la variabilité de la morphologie humaine (taille du pied, forme, teint, flexibilité) et la difficulté de simuler avec précision la friction peau-vêtement pour l'apprentissage par renforcement. Les méthodes existantes reposent souvent lourdement sur les données RGB, ce qui limite la généralisabilité à des arrière-plans ou des objets inconnus, et peinent à équilibrer la nature élastique du tissu avec le contrôle directionnel des forces de traction.

Méthodologie
Les auteurs proposent un cadre d'apprentissage par imitation multimodal qui intègre la compréhension sémantique des objets avec l'estimation de la profondeur spatiale et le retour somatosensoriel. Le système est conçu pour fonctionner sans dépendre uniquement des valeurs RGB, améliorant ainsi la robustesse face aux variations d'arrière-plan et d'apparence.

1. Perception Sémantique et Spatiale (Modèle Ventral-Dorsal) :

   • Inspiré par les deux voies du système visuel humain, le modèle combine SAM2 (Segment Anything Model 2) pour la segmentation sémantique (voie ventrale) et Depth Anything Model (DAM) pour l'estimation de la profondeur (voie dorsale).
   • SAM2 génère des masques binaires pour les chaussettes et les pieds, atténuant l'influence des variations de couleur et des occlusions.
   • DAM infère la profondeur à partir d'images RGB monoculaires. Le système fusionne ces éléments en intégrant les valeurs de profondeur dans les régions masquées, créant ainsi une « carte de profondeur masquée » qui fournit les relations spatiales 3D (x, y, z) entre la chaussette et le pied.

2. Mécanismes d'Attention :

   • Attention Somatosensorielle : Un réseau à noyau sélectif (SKNet) est employé pour sélectionner dynamiquement les noyaux d'extraction de caractéristiques optimaux (3×3 et 5×5) en fonction de l'échelle d'entrée. Cela permet de capturer les changements locaux et globaux du retour tactile, essentiels pour gérer l'élasticité et la friction de l'interface chaussette-pied.
   • Attention Visuelle : Un réseau de neurones récurrents à attention spatiale (SARNN) traite les masques sémantiques et les cartes de profondeur. Il applique un softmax spatial pour générer des cartes d'attention, calculant les points clés 3D attendus. Cela permet au système de se concentrer sur le contexte géométrique plutôt que sur de simples régions saillantes en 2D, favorisant une localisation robuste lors des occlusions.

3. Politique de Contrôle (LSTM Hiérarchique) :

   • La politique centrale est un LSTM hiérarchique (spécifiquement l'EIPL avec LSTM hiérarchique). Il traite six points clés 3D extraits, les angles articulaires, les couples articulaires et les informations tactiles du pouce.
   • L'architecture utilise un « union LSTM » pour intégrer le contexte global de toutes les modalités, qui fournit ensuite un feedback aux « bottom LSTMs » spécifiques à chaque modalité. Cette structure modélise les dépendances intra-modales et inter-modales.
   • Le réseau prédit l'état suivant de la séquence sensori-motrice, produisant les prochains angles articulaires, les couples, et une image reconstruite pour l'étape temporelle suivante.

4. Entraînement et Collecte de Données :

   • Pour garantir la sécurité et éviter de peser sur les sujets humains lors de la collecte de données, le modèle a été entraîné à l'aide d'un mannequin.
   • Les données ont été collectées via téléopération avec une manette PS, capturant 12 échantillons sur trois angles de pied (30°, 40°, 50°).
   • La fonction de perte combine l'erreur quadratique moyenne (MSE) pour les angles articulaires, les couples, les valeurs tactiles, les images prédites et les points d'attention.

Principales Contributions

• Apprentissage par Imitation Multimodal pour les Vêtements Ajustés : Ce papier établit une méthode de manipulation de vêtements ajustés qui s'adapte aux différences individuelles humaines grâce à une interaction de force appropriée, dépassant les limites des études sur les vêtements amples.
• Généralisation Basée sur la Sémantique : En utilisant des masques sémantiques et l'estimation de la profondeur plutôt que des données RGB brutes, le modèle démontre sa capacité à se généraliser à des pieds humains et des environnements d'arrière-plan inconnus.
• Entraînement et Évaluation Orientés vers la Sécurité : L'étude valide un pipeline où un modèle entraîné sur un mannequin est transféré avec succès à de vrais sujets humains, répondant aux défis éthiques et de sécurité de la collecte de données d'habillage sur l'homme.

Résultats Expérimentaux
Le système a été évalué sur un robot humanoïde (AIREC) avec 10 participants humains (tailles de pieds de 23,0 à 26,5 cm) et comparé à Action Chunking with Transformer (ACT) et Diffusion Policy (DP).

• Étude d'Ablation : Le retrait du LSTM hiérarchique ou de la combinaison de SAM2 et DAM a provoqué une chute dramatique des taux de réussite (passant de 100 % à 5 % et 0 %, respectivement). Le retrait de DAM ou de SKNet a entraîné une dégradation modérée, soulignant le rôle critique de la profondeur et de l'attention tactile.
• Performance de Généralisation :
  • Le modèle proposé a atteint un taux de réussite de 84 % (42/50) sur des arrière-plans connus et de 74 % (37/50) sur des arrière-plans inconnus.
  • En revanche, ACT a obtenu 66 % sur des arrière-plans connus et 0 % sur des arrière-plans inconnus. DP n'a pas réussi à accomplir la tâche.
• Adaptation de la Force : Le modèle proposé a maintenu des forces tactiles constantes à travers différentes tailles de pieds (environ 19N aux orteils, 21N au talon), tandis qu'ACT a montré une grande sensibilité aux variations de taille et une application de force incohérente.
• Signification Statistique : Un test de Wilcoxon signé-rang a confirmé une différence statistiquement significative (p < 0,01) et une taille d'effet importante entre le modèle proposé et ACT.

Signification et Revendications
L'article affirme que le modèle proposé estime avec succès l'état à la fois du vêtement et du pied, permettant une assistance précise à l'habillage pour les vêtements ajustés. L'intégration de la compréhension sémantique avec l'attention visuelle et somatosensorielle permet au robot de s'adapter aux différences individuelles de taille, de forme et de flexibilité des pieds sans nécessifier de réentraînement sur des données humaines. Les auteurs soulignent que cette approche surmonte les limites des politiques visuelles purement basées sur le RGB et de l'apprentissage par renforcement basé sur la simulation, qui peinent face à la dynamique complexe de l'élasticité du tissu et de la friction cutanée.

Limites et Travaux Futurs
Les auteurs notent modestement que si le système gère bien les phases d'insertion et d'habillage consécutives, la précision de l'étape initiale d'insertion de l'orteil reste limitée et n'a pas été rigoureusement évaluée. Les échecs lors des essais humains ont été attribués à la variabilité morphologique (ex. : flexibilité limitée de la cheville, accrochage de l'ongle du gros orteil) et à un lever de bras prématuré pour les pieds plus larges. Les travaux futurs visent à étendre la méthode pour gérer l'adaptation dynamique aux mouvements imprévus du pied et à améliorer la replanification de mouvement en ligne basée sur la détection de contacts non intentionnels.