Bidirectional Tutoring for Developmental Motor Learning in Robots: Co-Developed Interaction Dynamics Support Stable Learning

Résumé technique : Tutorat bidirectionnel pour l'apprentissage moteur développemental chez les robots

Énoncé du problème
Les approches actuelles de l'apprentissage moteur des robots, particulièrement l'apprentissage par la démonstration (Learning from Demonstration - LfD) et l'enseignement kinesthésique, traitent souvent le processus de tutorat comme étant unidirectionnel. Dans ces contextes, un tuteur (humain ou IA) fournit des démonstrations que le robot reçoit passivement, ignorant le comportement continu et la dynamique interne du robot. Cela néglige une propriété fondamentale de l'apprentissage développemental humain : l'interaction sociale est intrinsèquement bidirectionnelle, où les tuteurs et les apprenants s'adaptent dynamiquement l'un à l'autre. Les auteurs émettent l'hypothèse que l'interaction unidirectionnelle échoue à préserver la « cohérence comportementale » à travers les phases de développement, entraînant des représentations sensori-motrices incohérentes et une faible généralisation. À l'inverse, ils proposent qu'un tutorat bidirectionnel, où les interventions du tuteur sont couplées au comportement actif du robot, peut façonner des trajectoires co-développées qui maintiennent la cohérence et favorisent un apprentissage stable par étapes.

Méthodologie
L'étude examine cette hypothèse à travers des expériences d'apprentissage moteur développemental utilisant un robot humanoïde physique (Torobo) effectuant une tâche de manipulation d'objet (atteindre, saisir, soulever et rapporter un cylindre rouge). La recherche compare deux modes de tutorat :

1. Tutorat unidirectionnel : Le robot est placé en mode de compensation de la gravité, et le tuteur guide physiquement le robot à travers la séquence de tâches sans que le robot ne génère ses propres actions.
2. Tutorat bidirectionnel : Le robot génère des actions basées sur ses propres prédictions sous contrôle compliant. Le tuteur n'intervient que lorsque cela est nécessaire pour corriger les écarts, créant ainsi une interaction couplée en temps réel.

Deux configurations expérimentales distinctes ont été employées pour valider les résultats :

• Expérience avec tuteur humain : Un expérimentateur humain a interagi physiquement avec le robot pour servir de preuve de concept d'une interaction bidirectionnelle incarnée.
• Expérience avec tuteur IA : Pour contrôler la variabilité du comportement humain, un tuteur IA a été implémenté en utilisant le même cadre neuronal sous-jacent. Le tuteur IA utilisait un mécanisme d'inférence en ligne pour estimer sa propre variabilité de mouvement attendue et ajuster la force d'intervention en fonction de l'écart entre sa prédiction et l'action intentionnelle du robot.

Cadre computationnel
Le système d'apprentissage repose sur le Principe de l'Énergie Libre (FEP) utilisant un Réseau de Neurones Récurrents Variationnels inspiré du codage prédictif (PV-RNN).

• Architecture du modèle : Le PV-RNN minimise l'énergie libre variationnelle pour inférer les variables latentes, équilibrant l'« exactitude » (correspondance avec les observations sensorielles) et la « complexité » (adhérence aux a priori).
• Inférence en ligne : Pendant l'interaction, le réseau effectue une régression d'erreur au sein d'une fenêtre glissante pour mettre à jour ses estimations postérieures en temps réel, permettant au robot d'ajuster son comportement dynamiquement.
• Rejeu génératif (Generative Replay) : Pour permettre un apprentissage stable à travers des séquences successives sans stocker de données historiques brutes, les auteurs ont étendu le PV-RNN avec un mécanisme de rejeu génératif. Cela permet au modèle d'échantillonner à partir de sa distribution a priori pour reconstruire les motifs sensori-moteurs précédemment appris, atténuant l'oubli catastrophique tout en intégrant de nouvelles séquences tutorées.

Résultats clés
Les expériences ont été menées sur dix phases de développement avec des emplacements d'objets variables. Les résultats ont systématiquement favorisé le tutorat bidirectionnel :

• Performance de la tâche : Dans les expériences humaines et d'IA, la condition bidirectionnelle a atteint des taux de réussite nettement plus élevés lors des tests autonomes, particulièrement dans les phases ultérieures. La condition unidirectionnelle a montré une amélioration initiale suivie d'un déclin ou d'un plateau, échouant à se généraliser efficacement à de nouvelles positions d'objets.
• Cohérence de la trajectoire : L'analyse des trajectoires tutorées a révélé que les interactions bidirectionnelles produisaient des chemins plus cohérents sur les plans spatio-temporel et organisationnel. Les trajectoires unidirectionnelles présentaient une grande variabilité et un faible alignement entre les phases.
• Dynamique d'apprentissage : La condition bidirectionnelle a entraîné une perte d'entraînement plus faible (énergie libre variationnelle), indiquant que les trajectoires co-développées étaient plus compatibles avec la dynamique sensori-motrice existante du robot.
• Intervention du tuteur : Dans les contextes bidirectionnels, le montant total de l'intervention du tuteur (couple physique des humains ou poids d'intervention de l'IA) a diminué progressivement au fil des phases, suggérant que le robot a acquis des compétences motrices indépendantes et nécessitait moins de guidage au fil du temps.

Principales contributions

1. Proposition de cadre : L'article propose le tutorat bidirectionnel comme un cadre d'apprentissage moteur développemental où l'intervention du tuteur est couplée au comportement continu de l'apprenant, permettant aux trajectoires d'être co-développées plutôt qu'imposées.
2. Validation empirique : À travers des expériences avec des tuteurs humains et IA sur un robot réel, l'étude démontre que le tutorat bidirectionnel produit des trajectoires plus cohérentes et soutient un apprentissage par phases plus stable par rapport aux méthodes unidirectionnelles.
3. Extension algorithmique : Les auteurs étendent le cadre PV-RNN avec un mécanisme de rejeu génératif, permettant un apprentissage stable séquence par séquence à partir d'épisodes tutorés uniques tout en prévenant l'oubli catastrophique.

Signification et affirmations
Les auteurs affirment que le tutorat bidirectionnel agit comme un échafaudage efficace pour l'apprentissage moteur développemental chez les robots en préservant la cohérence comportementale. Ils soutiennent que les expériences d'apprentissage ne sont pas de simples entrées fixes mais sont façonnées par la dynamique interne du sujet durant l'interaction. En permettant aux expériences antérieures du robot de contraindre la formation de nouvelles trajectoires, le tutorat bidirectionnel favorise l'émergence de modèles comportementaux cohérents qui se généralisent mieux que ceux appris par démonstration passive. L'étude suggère que cette approche incarnée et socialement ancrée est cruciale pour reproduire la stabilité de l'apprentissage développemental humain dans les systèmes artificiels. Les auteurs restent modestes quant à la portée de leurs travaux, notant des limites telles que la nature simplifiée du tuteur IA par rapport à l'adaptabilité humaine et l'utilisation d'un seul tuteur humain lors de la phase de preuve de concept, reconnaissant que des travaux futurs sont nécessaires pour appliquer ces principes à des tâches plus complexes et à des interactions humaines diversifiées.