Learning to Assemble Novel Structures with Unfamiliar Parts under Semantic Constraints

Imaginez que vous construisez un château massif et complexe en briques LEGO. Vous avez les briques, vous avez les instructions pour les assembler physiquement, et vous avez un bras robotisé pour l'empilement. Mais voici le hic : le robot ne connaît pas les règles du château. Il sait qu'une brique rouge s'emboîte sur une bleue, mais il ne sait pas que dans ce royaume spécifique, « Les briques rouges sont réservées à la tour du Roi, jamais au donjon ». Si le robot essaie de construire un donjon avec une brique rouge, cela peut être physiquement possible, mais c'est un désastre « sémantique » — cela brise l'histoire du château. C'est le défi de l'IA neurosymbolique, un domaine qui tente d'apprendre aux robots à combiner l'« intuition » de la perception du monde (réseaux de neurones) avec les « règles logiques » de la manière dont les choses devraient être (raisonnement symbolique). Habituellement, les robots apprennent en vous regardant accomplir une tâche une ou deux fois. Mais que se passe-t-il si vous introduisez un tout nouveau type de brique ou une nouvelle règle au milieu de la partie ? Le robot peut-il apprendre à la volée, non seulement en observant vos mains, mais aussi en écoutant vos paroles ?

Ce document, intitulé « Learning to Assemble Novel Structures with Unfamiliar Parts under Semantic Constraints » (Apprendre à assembler des structures inédites avec des pièces inconnues sous contraintes sémantiques), explore précisément ce scénario. Les chercheurs ont construit un monde simulé où un robot tente d'assembler des camions jouets. Le piège ? Le robot part de zéro concernant ce qu'est un « camion benne », à quoi ressemble un « benne » (dumper), ou la règle selon laquelle « les camions bennes ne peuvent pas avoir de pièces jaunes ». À mesure que le robot tente de construire, il commet des erreurs. Un enseignant humain intervient alors, non pas seulement pour montrer au robot comment bouger son bras, mais pour expliquer la logique de l'erreur. L'équipe a testé différentes façons d'enseigner : montrer une image au robot, lui donner une étiquette comme « ceci est une cabine », ou lui donner une règle sous forme de phrase complète comme « Tous les camions bennes doivent avoir une benne ».

Les résultats, issus de leurs simulations informatiques, suggèrent que la méthode la plus efficace pour enseigner au robot est celle des règles sous forme de phrases complètes. Lorsque l'enseignant disait simplement « Utilisez ceci au lieu de cela », le robot apprenait lentement et commettait de nombreuses erreurs. Mais quand l'enseignant expliquait la règle générale (« Les parties colorées d'un camion benne ne doivent pas être jaunes »), le robot apprenait beaucoup plus vite et assemblait les camions avec beaucoup moins d'erreurs. Il s'avère que donner au robot une « règle empirique » réutilisable est comme lui remettre un guide de référence pour l'avenir, plutôt que de simplement corriger un mouvement isolé. L'étude montre que si les robots deviennent meilleurs pour voir et saisir, ils ont réellement besoin de nos mots pour comprendre le sens de l'assemblage, surtout lorsqu'ils rencontrent des pièces et des règles qu'ils n'ont jamais vus auparavant.

L'histoire du robot constructeur qui parle

Imaginez un robot nommé « Builder-Bot » assis devant une table couverte de pièces de jouets colorées et cubiques. Sa mission ? Construire des types de camions spécifiques, comme des camions de pompiers, des camions lanceurs de missiles ou des camions bennes. Mais Builder-Bot est une page blanche. Il n'a pas encore été entraîné sur ces camions spécifiques. Il ne sait pas ce qu'est une « benne », il ne sait pas qu'un « camion de pompiers » a besoin d'une échelle, et il ne sait certainement pas la règle secrète selon laquelle « les camions de pompiers doivent avoir des garde-boue rouges ».

Dans le monde réel, si vous appreniez à un robot à construire un camion, vous pourriez simplement lui montrer une vidéo de vous en train de le faire une ou deux fois. Le robot observerait vos mains, mémoriserait les mouvements et tenterait de les copier. C'est ce qu'on appelle l'apprentissage par démonstration. Cela fonctionne très bien pour l'aspect physique : « Prends le bloc rouge, déplace-le ici, emboîte-le là ». Mais c'est très mauvais pour les règles. Si vous montrez au robot la construction d'un camion de pompiers avec un garde-boue rouge, puis que plus tard vous lui demandez de construire un camion benne, le robot pourrait accidentellement mettre un garde-boue jaune sur le camion benne. Physiquement, le garde-boue jaune s'adapte parfaitement. Mais sémantiquement, c'est une erreur car les camions bennes ont des règles différentes. Le robot ne peut pas deviner la règle simplement en vous regardant ; il doit se la faire dire.

C'est là qu'intervient l'approche « neurosymbolique » du document. Voyez le cerveau du robot comme ayant deux pièces distinctes.

1. La Salle de Vision (Neurale) : C'est là que le robot regarde la table. Il voit un amas de pixels et dit : « Cela ressemble à une cabine, j'en suis sûr à 80 % ». Il est doué pour deviner ce que sont les objets en fonction de ce qu'il a déjà vu.
2. La Salle de Logique (Symbolique) : C'est là que le robot garde son livre de règles. Il détient des énoncés tels que « Si c'est un camion de pompiers, il doit avoir une échelle ». Cette pièce est parfaite pour vérifier si un plan est cohérent, mais elle est aveugle au monde à moins que la Salle de Vision ne lui dise ce qu'elle voit.

Les chercheurs voulaient voir comment ces deux pièces pouvaient communiquer lorsqu'ils rencontrent quelque chose de totalement nouveau. Ils ont mis en place une simulation où le robot tente de construire des camions tout en discutant avec un enseignant humain. L'enseignant peut aider de plusieurs manières, et les chercheurs ont testé quatre différents « styles d'enseignement » pour voir lequel aidait le robot à apprendre le plus rapidement.

Les quatre styles d'enseignement

Les chercheurs ont comparé quatre façons dont l'enseignant pouvait interagir avec Builder-Bot :

1. L'Observateur Silencieux (NoLabels+CaseMemory) : L'enseignant n'utilise aucun mot spécifique comme « cabine » ou « benne ». Il se contente de pointer du doigt et de dire : « Utilise celui-ci, pas celui-là ». Le robot doit deviner le nom des pièces et se souvenir de la correction spécifique pour ce moment précis. C'est comme essayer d'apprendre une nouvelle langue où l'enseignant ne fait que pointer des objets sans les nommer.
2. Le Nommeur (LabelsOnly) : L'enseignant donne les noms au robot. « Ceci est une cabine. Ceci est une benne. » Le robot apprend le vocabulaire et peut reconnaître les pièces, mais il ne reçoit aucune règle sur la manière de les utiliser.
3. Le Correcteur (Labels+CaseMemory) : L'enseignant donne les noms et se souvient des erreurs spécifiques. « Rappelle-toi, pour un camion benne, utilise la cabine rouge, pas la bleue. » Le robot apprend les noms et stocke une liste de « choses à ne pas faire » pour des situations spécifiques, mais il ne comprend pas la règle générale sous-jacente.
4. Le Donneur de Règles (Labels+TeacherRules) : C'est le pack complet. L'enseignant donne les noms et explique les règles générales. « Un camion benne doit avoir une benne », ou « Les parties colorées d'un camion benne ne doivent pas être jaunes ». Le robot prend ces phrases et les transforme en règles logiques strictes dans sa Salle de Logique.

La grande découverte : Les règles l'emportent sur les exemples

Lorsque les chercheurs ont lancé la simulation 30 fois avec 40 défis d'assemblage différents chacun, un schéma clair est apparu.

Le robot qui n'a reçu que des étiquettes et des corrections spécifiques (Style 3) a appris aussi bien que celui qui n'a reçu que des étiquettes (Style 2). Tous deux ont fait mieux que l'observateur silencieux, mais ils ont encore commis beaucoup d'erreurs. Pourquoi ? Parce que lorsque le robot voyait une nouvelle pièce ou un nouveau type de camion, il devait deviner en se basant sur sa mémoire d'erreurs passées spécifiques. C'était comme essayer de résoudre un puzzle en se souvenant de chaque fois où l'on a placé une pièce au mauvais endroit, plutôt que de comprendre l'image sur la boîte.

Cependant, le robot qui a reçu les règles générales (Style 4) s'est distingué. Il a commis nettement moins d'erreurs et a appris beaucoup plus vite. La conclusion clé est que le robot n'est pas seulement devenu meilleur pour voir les pièces ; il est devenu meilleur pour planifier. Lorsque le robot entendait « Les camions bennes ont une benne », il ne se contentait pas de mémoriser ce camion-là. Il mettait à jour son livre de règles interne. La fois suivante où il devait construire un camion benne, sa Salle de Logique vérifiait immédiatement : « Ai-je une benne ? Non ? Alors je ne peux pas construire ce camion pour l'instant. »

Le document suggère que cet apprentissage de la « contrainte sémantique » est le facteur clé. En communiquant les règles du monde en langage naturel, l'enseignant a donné au robot un outil qu'il peut utiliser encore et encore. Il n'a pas eu besoin de réapprendre la leçon à chaque fois qu'un nouveau camion apparaissait. Le robot pouvait prendre la règle « Les camions de pompiers ont besoin de garde-boue rouges » et l'appliquer à n'importe quel camion de pompiers rencontré, même s'il n'avait jamais vu ce garde-boue rouge spécifique auparavant.

Pourquoi cela importe (et ce que ce n'est pas)

Il est important de noter qu'il ne s'agit pas d'un robot qui peut aller construire une vraie voiture dans un garage demain. Les expériences se sont déroulées entièrement dans une simulation informatique avec des camions jouets. Les « yeux » du robot étaient parfaits (il savait exactement où se trouvait chaque pièce) et l'enseignant suivait un script strict. Les chercheurs précisent bien que c'est une étape vers la création de robots plus adaptables, et non un problème résolu.

Mais l'implication est passionnante. À l'avenir, si vous voulez qu'un robot vous aide à construire des meubles ou à assembler un kit complexe, vous n'aurez pas besoin de passer des heures à vous filmer en train de le faire. Vous pourrez peut-être simplement dire : « Hé, les pieds de cette table doivent être les plus lourds, pas les plus légers », et le robot comprendra instantanément la règle et l'appliquera à la prochaine table que vous lui demanderez de construire.

Le document montre que si les robots sont de plus en plus doués pour voir et bouger, ils apprennent encore à écouter la logique de notre langage. En combinant la capacité du robot à voir avec sa capacité à raisonner sur des règles, nous pouvons leur apprendre à gérer l'imprévu, les transformant de simples imitateurs rigides en partenaires d'apprentissage flexibles. Le robot n'a pas seulement appris à construire un camion ; il a appris comment apprendre les règles du jeu.