Towards Zero-Shot Task Transfer with Neurosymbolic World Models

Imaginez un agent d'intelligence artificielle apprenant à naviguer dans un monde complexe, un peu comme un enfant apprenant à marcher. Dans le domaine de l'apprentissage automatique, ces agents s'appuient souvent sur des « modèles de monde », qui sont des cartes mentales internes leur permettant de prédire ce qui se passera ensuite s'ils entreprennent une action spécifique. En simulant ces scénarios futurs dans leur esprit, les agents peuvent planifier leurs mouvements sans avoir besoin d'essayer physiquement chaque possibilité dans le monde réel. Cette approche est devenue incroyablement puissante, permettant aux ordinateurs de maîtriser des jeux et de contrôler des robots en apprenant à partir de données sensorielles de haute dimension, telles que des flux d'images vidéo. Cependant, un obstacle majeur subsiste : ces cartes mentales sont généralement construites pour une tâche unique et spécifique. Si l'objectif change — par exemple, passer de l'atteinte d'une porte rouge à l'atteinte d'une porte bleue — l'agent doit souvent réapprendre toute sa compréhension du monde, car sa carte interne est étroitement liée à la récompense spécifique qu'il poursuivait pendant l'entraînement.

Des chercheurs de la KU Leuven en Belgique ont développé une nouvelle approche pour résoudre cette rigidité, créant un système capable de s'adapter instantanément à de nouveaux objectifs, sans avoir besoin d'interagir à nouveau avec l'environnement. Leur travail introduit un type de modèle de monde « neurosymbolique », un système hybride qui combine la force de reconnaissance de formes des réseaux de neurones avec la structure logique claire du raisonnement symbolique. Au lieu d'apprendre une représentation unique et entremêlée du monde, ces modèles apprennent à séparer les détails sensoriels bruts d'un environnement des faits de haut niveau qui déterminent le succès. Cette séparation permet à l'agent de conserver sa compréhension de la manière dont le monde bouge et change, tout en remplaçant simplement la règle de ce qui constitue une « victoire ». Le résultat est un agent capable d'apprendre un environnement complexe une seule fois, puis d'appliquer ce savoir à des tâches entièrement nouvelles, une capacité connue sous le nom de transfert à zéro coup (zero-shot transfer), simplement en redéfinissant l'objectif en termes des mêmes faits sous-jacents.

L'innovation centrale réside dans la façon dont le modèle traite l'information. Les modèles de monde traditionnels apprennent une version compressée et abstraite du monde qui est difficile à interpréter pour les humains et difficile à réutiliser. En revanche, les nouveaux modèles neurosymboliques forcent le système à identifier et à prédire des propriétés spécifiques et structurées de l'état, telles que les coordonnées d'un agent ou l'emplacement d'un objet. Ces propriétés agissent comme un pont. Le modèle utilise son réseau de neurones pour comprendre le monde visuel désordonné et le traduire en ces faits symboliques clairs. Une fois que le modèle possède ces faits, il utilise un composant logique distinct pour prédire les récompenses. Comme la prédiction de la récompense dépend uniquement de ces faits clairs, les chercheurs peuvent simplement remplacer la fonction de récompense par une nouvelle qui cible un objectif différent, et le modèle comprend immédiatement comment s'y préparer. L'agent n'a pas besoin de voir le nouvel objectif ou de l'essayer ; il lui suffit de relancer ses simulations mentales avec la nouvelle règle, en utilisant la même carte interne de la façon dont le monde fonctionne.

Pour tester cette idée, les chercheurs ont entraîné leurs modèles sur plusieurs environnements distincts, incluant une tâche de navigation basée sur une grille où un agent doit trouver un but, une version 3D de cette même tâche avec un mouvement continu, et un jeu de puzzle appelé Sokoban où des boîtes doivent être poussées vers des points spécifiques. Lors de ces phases d'entraînement, les agents ont appris à naviguer et à atteindre un objectif spécifique, tel que rejoindre un emplacement de but fixe. Les chercheurs ont ensuite mis les modèles au défi avec de nouvelles tâches où les règles de mouvement de l'environnement restaient exactement les mêmes, mais où les objectifs changeaient. Dans un scénario, le but pourrait se déplacer dans une autre pièce ; dans un autre, l'agent pourrait devoir atteindre une configuration spécifique d'objets plutôt qu'un point unique. Les modèles ont été capables de s'adapter à ces nouveaux objectifs sans aucune interaction supplémentaire avec l'environnement réel. Ils y sont parvenus grâce à deux méthodes : soit en planifiant de nouveaux chemins à l'aide d'un algorithme de recherche qui explorait les possibilités dans leur esprit, soit en affinant entièrement leur politique de décision au sein de leurs simulations internes.

Les résultats ont montré que cette approche non seulement fonctionnait, mais qu'elle le faisait plus efficacement que les méthodes standards. Les modèles neurosymboliques ont appris les tâches d'entraînement avec moins d'exemples, suggérant que la manière structurée dont ils traitent l'information les aide à saisir l'environnement plus rapidement. Plus important encore, face à de nouvelles tâches, ils se sont adaptés instantanément. Alors que les modèles traditionnels nécessiteraient une période de réentraînement ou une quantité massive de nouvelles données pour comprendre le nouvel objectif, les agents neurosymboliques ont simplement appliqué leurs connaissances existantes du monde au nouvel objectif. Cela était vrai même lorsque les chercheurs fournissaient uniquement des informations partielles sur les faits symboliques pendant l'entraînement, ou lorsqu'ils ne fournissaient aucune supervision directe pour ces faits, s'appuyant sur la structure même du modèle pour guider l'apprentissage.

Ce travail démontre une étape significative vers une intelligence artificielle plus flexible et réutilisable. En découplant la compréhension du fonctionnement du monde de l'objectif spécifique que l'agent cherche à atteindre, les chercheurs ont créé un système qui se comporte davantage comme un apprenant général que comme un outil spécialisé. L'agent ne se contente pas de mémoriser un chemin vers une destination ; il apprend le terrain et les règles de mouvement, ce qui lui permet de naviguer vers n'importe quelle destination définie dans ce terrain. Bien que le système nécessite toujours que les nouveaux objectifs soient décrits en utilisant le même ensemble de faits de haut niveau appris lors de l'entraînement, il élimine la nécessité d'un réentraînement coûteux chaque fois qu'une tâche change. Cela suggère un avenir où les systèmes intelligents peuvent être déployés dans des environnements dynamiques, prêts à relever de nouveaux défis dès qu'ils surviennent, simplement en étant informés de ce qu'ils doivent chercher, plutôt que de devoir réapprendre comment tout voir à nouveau.