Résumé technique : BoxTwin – Apprentissage de la dynamique des objets articulés élastoplastiques à partir de vidéos

Énoncé du problème

La manipulation robotique dans des environnements non structurés nécessite des jumeaux numériques capables d'anticiper les interactions physiques. Bien que des jumeaux numériques existent pour les corps rigides et les matériaux élastiques linéaires, ils échouent à modéliser les Objets Articulés Élastoplastiques (OAE). Les OAE, tels que les boîtes pliables, les assemblages de tôles ou les portes charnières, présentent une triade complexe de phénomènes physiques que les modèles actuels ne peuvent pas capturer simultanément :

1. Élasticité non linéaire : Des relations contrainte-déformation qui s'écartent du comportement de Hooke, provoquant une dissipation d'énergie et un couplage entre les degrés de liberté.
2. Déformation plastique : Des altérations de forme irréversibles qui surviennent une fois que les charges critiques sont dépassées, établissant de nouvelles configurations de repos.
3. Évolution des dommages : La dégradation progressive des paramètres matériels (ex. : perte de rigidité) due aux cycles de chargage répétés causés par des micro-fractures et des décollements.

Les approches existantes traitent généralement soit la dynamique rigide, soit la déformation élastique statique, laissant sans réponse la nature entrelacée de la plasticité, de l'élasticité non linéaire et des dommages progressifs dans les objets articulés. Cette limitation cause l'échec des robots dans des tâches impliquant la saisie, le pliage ou la prévision des états post-interaction.

Méthodologie : Le cadre BoxTwin

BoxTwin est un cadre de jumeau numérique interactif conçu pour apprendre la dynamique complète des OAE directement à partir de données vidéo. Le système intègre un pipeline de reconstruction piloté par la vidéo avec un modèle constitutif sensible à la physique.

1. Représentation du corps articulé

L'OAE est modélisé comme une collection de liaisons rigides connectées par des articulations de type charnière idéale, représentant des plis flexibles. La topologie est définie par un arbre cinématique enraciné $G = (V, E)$. La configuration est décrite par un vecteur d'angles d'articulation $q$. Le système utilise la formulation de Lagrange standard pour la dynamique dans l'espace des articulations :
$$M(q)\ddot{q} + C(q, \dot{q})\dot{q} + g(q) = \tau$$
où $\tau$ représente les forces généralisées issues des contacts externes.

2. Modélisation constitutive sensible à la physique

Au lieu de paramètres statiques, BoxTwin emploie un modèle calibré qui évolue au fil du temps pour capturer trois comportements spécifiques :

• Réponse élastique non linéaire : Le couple élastique $\tau^{el}_e$ pour une charnière est modélisé comme une application lisse et différentiable $f_{\theta_e}(\Delta_e)$ de l'écart de déformation $\Delta_e = q_e - \bar{q}_e$. Cela capture le comportement non linéaire de la charnière tout en restant apte à la différenciation analytique.
• Déformation plastique : Le réglage permanent est modélisé en permettant à l'angle de repos $\bar{q}_e$ d'évoluer via une variable scalaire interne $\alpha_e$ (rotation plastique accumulée). Le flux plastique s'active lorsque l'écart élastique dépasse un seuil de limite d'élasticité $\Delta^y_e$. L'évolution de $\alpha_e$ suit une règle de flux lisse $g_{\psi_e}(\Delta_e)$.
• Évolution des dommages : Pour rendre compte de la perte de rigidité et de la capacité réduite de réglage permanent, une variable de dommage scalaire $d_e \in [0, 1]$ est introduite. Cette variable atténue multiplicativement à la fois le couple élastique et le taux de flux plastique. Le taux de dommage $\dot{d}_e$ est piloté par une fonction lisse et monotone de la glissade plastique cumulative $P_e(t)$, qui enregistre la rotation plastique absolue totale au fil du temps.

3. Pipeline d'apprentissage

Le cadre reconstruit la scène à partir de vidéos d'entrée pour extraire les paramètres de l'OAE. Il utilise ensuite ces paramètres pour prédire les états futurs. Le système met continuellement à jour les propriétés matérielles pour refléter l'accumulation de dommages variable dans le temps, permettant une simulation et un contrôle robustes.

Évaluation expérimentale

Les auteurs ont évalué BoxTwin à l'aide du simulateur MuJoCo dans deux scénarios distincts :

A. Test de pliage (Déformation manuelle)

• Configuration : Un humain a déformé manuellement un OAE composé de deux panneaux et d'une articulation unique, un panneau étant ancré. Des marqueurs de couleur sur les panneaux ont permis de dériver les angles d'articulation.
• Résultat : La même actuation appliquée à l'objet physique a été transférée à la simulation. Le modèle a suivi avec précision les trajectoires d'angles d'articulation sur de longues séquences, reproduisant fidèlement les réponses cinématiques instantanées et l'évolution graduelle des propriétés matérielles (hystérésis et usure).

B. Test de prédiction (Manipulation par double bras)

• Configuration : Des robots à deux bras Trossen Aloha manipulaient divers OAE (assemblages à une ou plusieurs articulations). Le système fonctionnait dans une configuration maître-esclave, où les bras maîtres recevaient des commandes de haut niveau et les bras esclaves exécutaient les actions physiques.
• Résultat : Les trajectoires complètes (positions, vitesses, couples, poses de l'effecteur terminal) ont été enregistrées et rejouées dans un simulateur basé sur la physique avec des paramètres cinématiques/dynamiques identiques et des paramètres d'OAE identifiés expérimentalement. La simulation a montré une correspondance étroite avec les mesures du matériel physique dans tous les cas de test, validant l'environnement pour le développement d'algorithmes et le transfert d'apprentissage sans essais physiques répétitifs.

Contributions clés et importance

L'article affirme introduire le premier cadre de jumeau numérique interactif capable de capturer la dynamique complète des OAE lors de la manipulation robotique réelle. Ses principales contributions incluent :

1. Intégration de dynamiques complexes : Réussir à combiner la reconstruction pilotée par la vidéo avec un modèle sensible à la physique qui gère simultanément l'élasticité non linéaire, la déformation plastique et l'évolution des dommages.
2. Capacité prédictive : La capacité de prédire le comportement plastique post-contact et la dynamique à long terme, une capacité absente des modèles d'OAE précédents qui étaient limités aux simulations statiques ou aux hypothèses de corps rigides.
3. Contrôle adaptatif : Permettre un contrôle prédictif et adaptatif d'objets déformables dans des environnements non structurés où les hypothèses traditionnelles de corps rigides échouent.

Les auteurs positionnent BoxTwin comme une étape fondamentale vers une collaboration humain-robot plus sûre et plus adaptable, permettant aux robots de prévoir les interactions et d'affiner les tactiques de manipulation pour des objets déformables subissant des changements physiques irréversibles.