Curiosity-Driven Development of Action and Language in Robots Through Self-Exploration

Résumé Technique : Développement de l'Action et du Langage par la Curiosité chez les Robots via l'Auto-Exploration

Énoncé du Problème
L'article aborde une divergence fondamentale entre l'intelligence artificielle et les sciences cognitives : les nourrissons humains acquièrent des compétences linguistiques et motrices avec une remarquable capacité de généralisation à partir d'expériences éparses et limitées, tandis que les modèles artificiels à grande échelle (tels que les LLM) nécessitent des milliards de jetons d'entraînement pour atteindre des capacités similaires. Le problème central est d'identifier les mécanismes qui permettent un apprentissage développemental aussi efficace, en se concentrant spécifiquement sur la compositionnalité (la capacité à recombiner systématiquement des éléments connus en de nouvelles structures), la généralisation à partir de données minimales, et la gestion des exceptions (gérer les irrégularités sans oubli catastrophique). Les auteurs examinent si l'auto-exploration guidée par la curiosité chez les agents incarnés peut reproduire les trajectoires développementales observées chez les nourrissons humains, telles que la transition de la mémorisation par cœur vers une généralisation systématique et l'émergence de courbes d'apprentissage en forme de U lors de la gestion des exceptions.

Méthodologie
L'étude utilise un robot mobile simulé équipé d'un bras manipulateur, de capteurs visuels et de capteurs tactiles distribués. Le robot apprend à exécuter des commandes motrices en réponse à des phrases impératives (ex. : « pousse le cube rouge ») grâce à une nouvelle intégration de l'Inférence Active et de l'Apprentissage par Renforcement (RL).

• Architecture du Modèle : Le système utilise un Réseau de Neurones Récurrents Variationnel (VRNN) comprenant trois composants principaux :
  1. Modèle Vers l'Avant (Forward Model) : Prédit les observations sensorielles futures ($o_{t+1}$) basées sur les sensations actuelles ($o_t$), les voix de commande ($o_{cw}$) et les commandes motrices ($a_t$). Il apprend en minimisant l'Énergie Libre de Preuve ($F$), qui équilibre la précision (erreur de reconstruction) et la complexité (divergence de Kullback-Leibler entre le postérieur et le prior).
  2. Acteur : Génère des commandes motrices pour maximiser la valeur prédite des résultats futurs.
  3. Critique : Estime la fonction de valeur ($Q$) en utilisant l'algorithme Soft Actor-Critic (SAC).
• Motivation Intrinsèque (Curiosité) : Contrairement au RL standard qui repose uniquement sur des récompenses extrinsèques (succès de la tâche), ce cadre incorpore des récompenses intrinsèques dérivées de l'Énergie Libre Attendue ($G$). L'agent est motivé à minimiser $G$, ce qui inclut :
  • Curiosité (Valeur Épistémique) : Maximiser le gain d'information en recherchant des conséquences sensorielles imprévisibles (modélisé par la maximisation de la divergence KL entre le prior et le postérieur).
  • Entropie Motrice : Encourager des mouvements exploratoires aléatoires pour éviter une convergence prématurée.
  • Récompense Extrinsèque : Atteindre les objectifs spécifiés par les phrases impératives.
• Configuration Expérimentale : Le robot opère dans un simulateur physique (PyBullet) avec un ensemble d'objets variant en forme et en couleur. Les phrases impératives sont composées de verbes, d'adjectifs et de noms.
  • Expérience 1 : Examine l'effet des niveaux de curiosité (aucune, sensorimotrice, et totale) sur la vitesse d'apprentissage et la généralisation.
  • Expérience 2 : Teste l'impact de l'échelle de compositionnalité (variation de la taille du vocabulaire) sur la performance de généralisation.
  • Expérience 3 : Étudie la gestion des exceptions en inversant certaines correspondances commande-action pour induire des trajectoires d'apprentissage non monotones.

Contributions Clés

1. Inférence Active Amortie pour l'Apprentissage Développemental : L'article propose une méthode pour « amortir » l'inférence en utilisant le Q-learning pour approximer la minimisation de l'énergie libre attendue. Cela permet aux agents d'apprendre à être curieux, en récompensant efficacement l'acquisition de gain d'information parallèlement au succès de la tâche.
2. Opérationnalisation de la Compositionnalité : L'étude définit la compositionnalité non pas comme une structure sémantique formelle, mais comme la capacité de généralisation systématique à travers de nouvelles combinaisons d'éléments connus (verbes, adjectifs, noms) dans un contexte incarné.
3. Compte Mécaniste de l'Apprentissage en U : Le modèle démontre comment l'apprentissage en forme de U (correct $\to$ erreur $\to$ correct) émerge naturellement de la tension entre la mémorisation par cœur, la surgénéralisation et la redéscription ultérieure des représentations internes pour gérer les exceptions.

Résultats

• La Curiosité Accélère l'Apprentissage : Les agents dotés de « toute la curiosité » (incluant le retour de la voix) ont atteint un taux de réussite de généralisation de 85,1 % sur des phrases non apprises après 60 000 époques, tandis que les agents sans curiosité n'ont atteint que 41 % au même stade. Prolonger l'entraînement sans curiosité à 120 000 époques a produit une performance comparable (80,8 %), indiquant que la curiosité améliore principalement l'efficacité d'échantillonnage et la vitesse d'apprentissage plutôt que d'être strictement nécessaire pour la capacité finale.
• Dépendance à l'Échelle : La performance de généralisation dépend fortement de l'échelle des éléments compositionnels. À mesure que la taille du vocabulaire augmentait (de petit à grand), le taux de réussite sur les objectifs non appris s'est amélioré de manière spectaculaire (passant d'environ 29 % à 85 %), soutenant l'hypothèse qu'un répertoire compositionnel plus large facilite une meilleure généralisation à partir de données éparses.
• Progression du Rote vers la Généralisation : L'analyse des représentations internes (via PCA) a révélé qu'au début de l'entraînement, le robot ne réussissait que sur les paires phrase-action exactement apprises. La généralisation à de nouvelles combinaisons n'est apparue qu'après que les représentations internes des verbes et des adjectifs sont devenues factorisées et alignées.
• Gestion des Exceptions et Courbes en U : Dans l'Expérience 3, 9 robots sur 10 ont présenté des courbes d'apprentissage caractéristiques en forme de U lorsqu'ils étaient entraînés avec des correspondances commande-action inversées. L'analyse interne a montré que le robot surgénéralisait initialement (appliquant la règle générale aux exceptions), provoquant des erreurs, avant de redécrire finalement ses représentations internes pour encoder correctement les exceptions.
• Planification Mentale : Les robots entièrement entraînés pouvaient générer des « plans mentaux » précis (simulant des états sensoriels futurs sans entrée sensorielle réelle) pour atteindre des objectifs, tandis que les robots partiellement entraînés produisaient des prédictions inexactes, soulignant le rôle d'un modèle vers l'avant robuste dans la conceptualisation.

Signification et Revendications
L'article affirme que ses résultats fournissent un compte mécaniste de la manière dont la motivation intrinsèque (curiosité) et l'inférence active peuvent soutenir une généralisation compositionnelle scalable et la gestion des exceptions dans les agents artificiels. Les conclusions suggèrent que :

• L'exploration guidée par la curiosité est un mécanisme critique pour accélérer l'apprentissage développemental et atteindre une efficacité d'échantillonnage, répondant au problème de la « pauvreté du stimulus » en permettant aux agents d'apprendre une généralisation structurée à partir de données limitées.
• L'apprentissage en forme de U n'est pas seulement un mode d'échec, mais la signature d'une redéscription représentationnelle, où l'agent réorganise ses connaissances internes pour accommoder les exceptions, reflétant les modèles observés dans l'acquisition du langage chez l'enfant.
• L'échelle compte : La capacité de généraliser systématiquement n'est pas seulement une fonction de l'algorithme d'apprentissage, mais est fortement influencée par la richesse de l'environnement compositionnel (taille du vocabulaire).

Les auteurs déclarent explicitement leur modestie quant à leurs affirmations : le modèle est un banc d'essai simplifié et non un modèle complet du développement du langage humain. Il manque l'étayage social, l'attention conjointe et les étapes de développement progressives présentes chez les nourrissons humains. L'étude vise à démontrer comment une généralisation structurée peut émerner d'un apprentissage sensorimoteur guidé par la curiosité sous des hypothèses minimales, plutôt qu'à répliquer toute la complexité du développement cognitif humain.