A Compositional Paradigm for Foundation Models: Towards Smarter Robotic Agents
Cet article propose d'intégrer les principes de l'apprentissage continu et de la compositionnalité aux modèles de fondation afin de surmonter leurs limites d'adaptation aux scénarios réels dynamiques, permettant ainsi le développement d'agents robotiques plus flexibles, efficaces et intelligents.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayiez d'apprendre à un robot à tout faire, de préparer des toasts à réparer un robinet qui fuit. Pendant longtemps, la meilleure façon de faire cela était de construire un « super-cerveau » pour le robot — un modèle massif et omniscient entraîné sur des téraoctets de données. Considérez cela comme l'embauche d'un génie qui a lu tous les livres de la bibliothèque et regardé toutes les vidéos d'Internet. Ces « Modèles de Fondation » sont incroyablement intelligents ; ils peuvent discuter comme un humain, reconnaître des images et même contrôler des bras robotisés. Mais il y a un piège : ils sont comme un sac à dos géant et lourd. Une fois que vous l'avez mis, il est difficile de le modifier. Si le robot doit apprendre une toute nouvelle compétence, comme ouvrir un type spécifique de bocal, vous devez souvent retirer tout le sac à dos, réentraîner le génie à partir de zéro et le remettre. Cela prend un temps infini, consomme énormiment d'électricité et, si le robot oublie comment faire des toasts en apprenant à ouvrir des bocaux, c'est un problème appelé « oubli catastrophique ».
Pour corriger cela, les scientifiques étudient deux idées différentes : l'Apprentissage Continu et la Compositionnalité. L'Apprentissage Continu est comme un étudiant qui n'arrête jamais d'étudier ; il continue d'ajouter de nouvelles connaissances à son cerveau sans oublier les anciennes. La Compositionnalité, c'est comme construire avec des briques LEGO. Au lieu d'un seul bloc de plastique massif et monolithique, vous avez de nombreuses petites briques spécialisées. Vous pouvez les assembler de différentes manières pour construire un château, une voiture ou un vaisseau spatial. Si vous devez transformer le vaisseau spatial en sous-marin, il vous suffit de remplacer quelques briques au lieu de faire fondre l'ensemble de la structure. La grande question est la suivante : pouvons-nous utiliser ces blocs de construction semblables à des LEGO pour rendre les robots plus intelligents, plus rapides et plus faciles à mettre à jour que les géants sacs à dos que nous avons aujourd'hui ?
Cet article, intitulé « A Compositional Paradigm for Foundation Models: Towards Smarter Robotic Agents », suggère que la réponse est oui. Les auteurs soutiennent que le simple fait de rendre les modèles d'IA de plus en plus gros se heurte à un mur. Ils proposent qu'au lieu d'entraîner un modèle unique, massif et rigide, nous devrions construire des systèmes qui combinent des parties plus petites et spécialisées. Ils ont testé cette idée dans deux mondes très différents : la reconnaissance d'images et le contrôle de bras robotisés.
D'abord, ils ont examiné la classification d'images. Imaginez présenter à un ordinateur un flux de différents types d'images, comme des oiseaux, des voitures et des fleurs, les uns après les autres. Au lieu de réentraîner tout le système de vision par ordinateur à chaque fois qu'un nouveau type d'image apparaît, les auteurs ont utilisé une approche « LEGO ». Ils ont entraîné de petits modules séparés (appelés adaptateurs LoRA) pour chaque nouvelle tâche. Ensuite, ils ont utilisé un processus de fusion intelligent pour les assembler. Ils ont constaté que cette méthode était non seulement plus précise, mais aussi beaucoup plus rapide à entraîner. Dans leurs tests sur un ensemble de données comprenant 50 tâches différentes, leur méthode « LEGO » a atteint une précision de 55,17 %, battant les autres méthodes qui n'ont réussi qu'à atteindre 47,56 % ou 36,02 %. Mieux encore, il n'a fallu que 170,61 secondes pour l'entraîner, alors que les concurrents ont mis plus de 300 secondes.
Ensuite, ils ont transposé cette idée au monde réel de la robotique. Ils voulaient voir si un robot pouvait apprendre à manipuler des objets sans avoir besoin d'un super-ordinateur. Ils ont construit un système qui utilise de petits « adaptateurs » pré-entraînés pour ajuster le cerveau existant d'un robot, lui permettant de s'adapter à de nouveaux contextes à la volée. Les résultats sont frappants. Dans une tâche de manipulation robotique, leur méthode légère a obtenu un taux de réussite de 0,91 (ce qui signifie qu'elle a réussi 91 % du temps) et a obtenu une récompense de 0,60 par étape. En revanche, des modèles beaucoup plus complexes et célèbres comme OpenVLA et InstructRL ont totalement échoué, affichant un taux de réussite de 0,0. Alors que les modèles lourds mettaient de 40 à 92 heures pour s'entraîner, la méthode des auteurs a accompli la tâche en seulement 14 heures.
L'article conclut que pour que les robots deviennent de véritables agents intelligents capables de gérer le monde réel complexe et changeant, ils doivent cesser d'être des géants statiques et devenir des collections flexibles de compétences. En combinant ces petites parties efficaces, nous pouvons créer des agents qui apprennent de nouvelles choses sans oublier les anciennes, tout en utilisant beaucoup moins d'énergie et de temps. Il s'agit d'un passage de la construction d'un unique super-cerveau immuable à l'assemblage d'une équipe d'experts spécialisés capables de travailler ensemble, de s'adapter instantanément et de résoudre des problèmes avec un niveau de flexibilité que l'ancienne méthode ne pouvait tout simplement pas égaler.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.