CORAL: Scalable Multi-Task Robot Learning via LoRA Experts

Le papier présente CORAL, un cadre évolutif qui atténue les interférences entre tâches dans l'apprentissage robotique multi-tâches en gelant un seul modèle VLA pré-entraîné et en attachant des experts LoRA légers et isolés par tâche, permettant ainsi une gestion dynamique sans interférence paramétrique ni oubli catastrophique.

L'essentiel

Imaginez que vous essayez d'enseigner à un robot comment faire des milliers de tâches différentes : ouvrir une porte, plier un t-shirt, verser de l'eau, ou réparer une voiture.

Le problème, c'est que si vous essayez d'entraîner un seul cerveau (un seul modèle d'intelligence artificielle) pour tout faire en même temps, il se perd. C'est comme essayer d'apprendre à un étudiant à être à la fois un chef étoilé, un pilote de course et un chirurgien cardiaque en lui donnant un seul gros manuel. Les connaissances se mélangent, les instructions se contredisent, et le robot finit par faire des erreurs partout. C'est ce qu'on appelle l'interférence : apprendre une chose fait oublier ou gâcher l'autre.

D'un autre côté, si vous créez un cerveau séparé pour chaque tâche, vous avez besoin d'une bibliothèque de livres gigantesque qui ne rentre plus dans la tête du robot (problème de stockage).

Voici la solution proposée par les chercheurs dans ce papier : CORAL.

L'Analogie du Chef d'Orchestre et des Solistes

Imaginez un orchestre symphonique :

1. Le Cerveau Gelé (Le Chef d'Orchestre) :
   CORAL commence par un "chef d'orchestre" très intelligent et très entraîné. Il connaît déjà la musique de base, comment tenir un instrument, comment lire une partition, et comment bouger. Ce chef est figé (gelé) : on ne le modifie plus jamais. Il représente la base de connaissances générale du robot.

2. Les Experts LoRA (Les Solistes) :
   Au lieu de changer le chef d'orchestre pour chaque nouvelle pièce de musique, CORAL ajoute de petits solistes (des experts) très légers et spécialisés.

   • Pour la tâche "Ouvrir une porte", on a un petit expert "Porte".
   • Pour la tâche "Faire un nœud", on a un petit expert "Nœud".
   • Ces experts sont minuscules (comme des cartes de visite) comparés au gros cerveau du chef.

3. Le Manager (Le Directeur de Scène) :
   C'est la partie la plus géniale. Quand le robot reçoit une instruction en langage naturel (ex: "S'il te plaît, ouvre la porte"), un petit manager intelligent regarde la phrase.

   • Il comprend immédiatement : "Ah, c'est la tâche 'Porte' !"
   • Il va chercher instantanément le petit expert "Porte" et le branche au chef d'orchestre.
   • Le robot exécute la tâche parfaitement.
   • Dès que la tâche est finie, il débranche cet expert et, si la prochaine commande est "Plie le t-shirt", il branche instantanément l'expert "T-shirt".

Pourquoi c'est révolutionnaire ?

• Zéro Confusion : Comme chaque tâche a son propre petit expert, ils ne se marchent jamais sur les pieds. L'expert "Porte" n'essaie pas de plier le t-shirt, donc il n'y a pas de conflit. Le robot ne "oublie" jamais ce qu'il a appris précédemment.
• Économie d'Espace : Au lieu de stocker 100 gros cerveaux complets (ce qui prendrait des centaines de gigaoctets), le robot ne stocke qu'un seul gros cerveau + 100 petites cartes de visite. C'est comme avoir une bibliothèque de 100 livres dans un seul tiroir !
• Vitesse Éclair : Le changement d'expert se fait en quelques millisecondes, sans ralentir le robot. C'est comme changer de disque sur un lecteur CD sans coupure.

En résumé

CORAL, c'est comme donner à un robot un couteau suisse (le cerveau de base) et une boîte de petites lames interchangeables (les experts LoRA).

• Si vous devez couper du pain, vous mettez la lame "pain".
• Si vous devez visser, vous mettez la lame "vis".
• Vous n'avez pas besoin d'avoir 100 couteaux suisses différents dans votre poche.

Grâce à cette méthode, les chercheurs ont pu entraîner un vrai robot (le Galaxea R1) à faire des tâches complexes dans le monde réel, comme ouvrir des portes ou manipuler des objets fragiles, sans que le robot ne se perde ni ne oublie ses compétences précédentes. C'est une étape majeure pour rendre les robots intelligents, polyvalents et capables d'apprendre de nouvelles choses toute leur vie, sans jamais avoir besoin de "réapprendre" depuis zéro.

Résumé technique

Voici un résumé technique détaillé du papier de recherche "CORAL: Scalable Multi-Task Robot Learning via LoRA Experts", présenté par Frontier Robotics.

1. Problématique

L'adaptation des modèles Vision-Language-Action (VLA) au déploiement robotique réel se heurte à un dilemme fondamental dans l'apprentissage multi-tâches :

• Interférence des tâches : Le fine-tuning conjoint d'un seul modèle sur plusieurs tâches hétérogènes entraîne souvent des conflits de gradients et un transfert négatif, dégradant les performances de certaines compétences au profit d'autres.
• Contraintes de stockage et de déploiement : Maintenir un checkpoint complet (plein modèle) par tâche est prohibitif en termes de stockage et de mémoire embarquée, surtout à grande échelle.
• Oubli catastrophique : L'apprentissage séquentiel de nouvelles tâches sur un même modèle entraîne généralement l'effacement des compétences précédemment acquises.

L'objectif est de concevoir un système capable d'apprendre une infinité de tâches de manière évolutive, sans interférence entre les tâches, sans oubli catastrophique et avec des contraintes de stockage minimales pour le déploiement sur robot.

2. Méthodologie : Le Framework CORAL

CORAL propose une architecture agnostique (indépendante du modèle de base et du robot) basée sur deux principes clés : l'isolement strict des paramètres et l'utilisation de la langue comme routeur.

A. Architecture Hybride

Le système repose sur deux composants principaux :

1. Un Backbone VLA Gelé : Un modèle pré-entraîné (Vision-Language-Action) unique, noté $\theta_{base}$, qui capture les priors généraux de l'embodiment (cinématique, structure visuelle-linguistique commune). Ce modèle est figé et ne subit aucune mise à jour.
2. Une Bibliothèque d'Experts LoRA : Pour chaque tâche spécifique, un adaptateur Low-Rank Adaptation (LoRA) léger et indépendant ($\theta_k$) est entraîné. Ces experts sont compacts (environ 100 fois plus petits qu'un modèle complet) et strictement isolés les uns des autres.

B. Processus d'Apprentissage

1. Pré-entraînement Général : Le modèle de base est pré-entraîné sur un large éventail de données pour acquérir une compréhension générale de la robotique.
2. Adaptation Spécifique aux Tâches : Pour chaque nouvelle tâche, un expert LoRA est entraîné brièvement (quelques époques) uniquement sur les démonstrations de cette tâche. La base reste gelée, garantissant que l'apprentissage d'une tâche n'affecte pas les autres.

C. Le "CORAL Manager" (Moteur d'Inférence Dynamique)

Contrairement aux architectures Mixture-of-Experts (MoE) classiques qui nécessitent des réseaux de routage appris (gating networks) complexes, CORAL utilise une propriété intrinsèque de la robotique : l'instruction linguistique identifie la tâche.

• Routage Déterministe : L'instruction de l'utilisateur sert d'index direct pour charger l'expert LoRA correspondant.
• Switching à Zéro Latence : Le gestionnaire fusionne dynamiquement l'expert LoRA avec le modèle de base en mémoire (via une opération de fusion de poids) avant l'inférence. Ce processus prend moins de 100 ms et n'ajoute aucune surcharge de calcul (FLOPs) par rapport au modèle de base seul.

3. Contributions Clés

• Système d'Apprentissage à Vie Évolutive : Résolution des conflits entre généralisation, spécialisation et efficacité de mise à l'échelle en isolant les mises à jour de paramètres par tâche.
• Élimination de l'Interférence Multi-Tâches : En séparant physiquement les paramètres des tâches, CORAL élimine les conflits de gradients et l'ambiguïté instructionnelle fine, surpassant le fine-tuning conjoint.
• Briser la Barrière du Stockage : Un expert LoRA est ~100 fois plus petit qu'un checkpoint complet. Cela permet de stocker des centaines de compétences sur un seul robot sans dépasser les budgets mémoire embarqués.
• Agnosticisme : Le framework fonctionne avec n'importe quel modèle VLA pré-entraîné et n'importe quel type de robot (manipulateurs, mobiles, etc.).

4. Résultats Expérimentaux

Les auteurs ont validé CORAL sur des benchmarks de simulation (LIBERO, WidowX, Google Robot) et sur un robot réel (Galaxea R1).

• Performance sur Simulation (LIBERO) :
  • CORAL a atteint un taux de réussite moyen de 99,3 % sur le benchmark LIBERO avec SimVLA, surpassant l'état de l'art (X-VLA).
  • Avec le modèle $\pi0.5$, il a obtenu 98,4 %, soit une amélioration de +1,5 % par rapport à la base, avec un gain massif de +3,4 % sur la suite difficile "LIBERO-Long".
• Robustesse et Transfert (WidowX & Google Robot) :
  • Sur les tâches WidowX, CORAL a atteint 97,9 % de réussite, surpassant des modèles massifs comme DD-VLA.
  • Sur Google Robot, il a atteint 84,9 %, dépassant X-VLA et RT-2-X de manière significative.
• Apprentissage de Nouvelles Capacités (Monde Réel) :
  • Dans un scénario d'apprentissage de nouvelles tâches (ouvrir des portes, appuyer sur des boutons d'ascenseur) non présentes dans les données d'entraînement initiales, CORAL a maintenu des performances élevées.
  • Comparaison : Le fine-tuning conjoint a échoué (24,5 % de réussite) à cause des interférences, tandis que le fine-tuning indépendant (avec sauvegarde de modèles complets) était efficace mais impossible à déployer pour des raisons de stockage. CORAL a égalé les performances du fine-tuning indépendant avec une fraction du stockage.
• Efficacité :
  • Stockage : Une bibliothèque de 40 experts ne prend que ~1 Go (contre ~3 Go pour un seul modèle complet).
  • Latence : Le changement d'expert se fait en < 100 ms sans impact sur la vitesse d'inférence.

5. Signification et Impact

CORAL représente une avancée majeure pour le déploiement pratique de l'IA robotique. En transformant le problème de l'apprentissage continu en un problème de conception système (isolement des paramètres + routage par instruction), il résout simultanément les trois obstacles majeurs du domaine : l'interférence des tâches, l'oubli catastrophique et les contraintes matérielles.

Cette approche rend possible le déploiement de robots "polyvalents" capables d'apprendre de nouvelles compétences tout au long de leur vie opérationnelle sans nécessiter de réentraînement massif du modèle de base ni de stockage prohibitif, ouvrant la voie à une véritable robotique d'apprentissage à vie (lifelong learning) dans des environnements réels complexes.