ACE-Brain-0: Spatial Intelligence as a Shared Scaffold for Universal Embodiments

Ce rapport présente ACE-Brain-0, un cerveau fondationnel généraliste qui unifie le raisonnement spatial, la conduite autonome et la manipulation robotique au sein d'un seul modèle multimodal en exploitant l'intelligence spatiale comme échafaudage universel et en appliquant une nouvelle paradigme « Échafaudage-Spécialisation-Réconciliation » pour surmonter les défis de l'apprentissage multi-embodiments.

L'essentiel

Imaginez que vous essayez d'enseigner à un seul et unique cerveau artificiel comment faire trois choses très différentes : conduire une voiture, piloter un drone dans le ciel, et faire le ménage avec un bras robotique.

C'est le défi que relève le ACE-Brain-0, présenté dans ce rapport. Voici une explication simple, imagée, de comment ils y sont parvenus.

Le Problème : Le "Café de l'Esprit" en Surcharge

Habituellement, pour entraîner une intelligence artificielle, on lui donne des données. Si on mélange tout d'un coup (des images de routes, de drones et de robots) dans un seul grand bol, cela crée un chaos.

• L'analogie : C'est comme essayer d'apprendre à jouer du piano, à faire du surf et à cuisiner un soufflé en même temps, en écoutant trois instructeurs qui crient des conseils contradictoires dans votre oreille. Votre cerveau (le modèle) devient confus, il oublie ce qu'il savait déjà (ce qu'on appelle l'oubli catastrophique) et ne devient excellent dans aucune de ces tâches.

La Solution : Le "Scaffolding" (L'Échafaudage)

L'équipe ACE a eu une idée brillante : au lieu de tout mélanger, ils ont découvert que toutes ces machines (voitures, drones, robots) partagent une compétence fondamentale : l'intelligence spatiale.

• L'analogie : Imaginez que vous construisez trois immeubles très différents : un hôpital, un stade et un aéroport. Au lieu de commencer chaque construction de zéro, vous construisez d'abord un système de fondations et de colonnes en béton solide qui sert à tout. Une fois cette base commune (l'échafaudage) en place, vous pouvez ajouter les murs spécifiques à chaque bâtiment sans que cela ne s'effondre.

Pour ACE-Brain-0, cette "fondation commune", c'est la capacité de comprendre l'espace en 3D : savoir où sont les objets, à quelle distance ils sont, et comment ils bougent.

La Méthode : "Échafauder, Spécialiser, Réconcilier"

Le papier décrit une méthode en trois étapes, qu'on pourrait appeler "Construire, Affiner, Fusionner" :

1. Échafauder (Scaffold) :
   D'abord, ils entraînent le modèle uniquement sur des tâches d'intelligence spatiale (comprendre les distances, les angles, les volumes).

   • Image : C'est comme donner au cerveau artificiel un cours intensif de géométrie et d'orientation. Il apprend à "voir" l'espace comme un humain le ferait, peu importe s'il est dans une voiture ou un drone.

2. Spécialiser (Specialize) :
   Ensuite, ils prennent ce cerveau qui connaît déjà bien l'espace et ils créent des "experts" séparés.

   • Un expert apprend à conduire (en utilisant sa connaissance de l'espace).
   • Un autre apprend à piloter un drone.
   • Un troisième apprend à manipuler des objets avec un robot.
   • Image : C'est comme prendre un architecte généraliste (qui connaît bien les fondations) et lui envoyer en stage : l'un chez un constructeur de routes, l'autre chez un pilote de drone, et le troisième chez un menuisier. Chacun apprend son métier spécifique sans interférer avec les autres.

3. Réconcilier (Reconcile) :
   C'est l'étape magique. Au lieu de mélanger les données (ce qui crée le chaos), ils fusionnent les "poids" (les connaissances mathématiques) de ces trois experts pour n'en faire qu'un seul modèle.

   • Image : Imaginez que vous prenez les notes de cours de l'architecte, du pilote et du menuisier, et que vous les combinez intelligemment pour créer un "Super-Man" qui sait tout faire. Ils le font sans avoir besoin de nouvelles données, juste en mélangeant les cerveaux des experts.

Le Résultat : Un Cerveau Universel

Le résultat, ACE-Brain-0, est un modèle unique capable de :

• Répondre à des questions sur la distance entre un lit et une télévision (Robotique).
• Dire si une voiture doit s'arrêter ou passer à un feu rouge (Voiture autonome).
• Compter les voitures vues depuis un drone (Drones).

Pourquoi c'est génial ?
Parce que ce modèle ne "oublie" pas ses compétences. Contrairement aux modèles précédents qui apprenaient une chose et en oubliaient une autre, ACE-Brain-0 a gardé toutes ses connaissances grâce à cette méthode d'échafaudage spatial.

En résumé, les chercheurs ont compris que pour créer une intelligence artificielle capable de vivre dans notre monde physique (que ce soit sur la route, dans les airs ou dans une maison), il faut d'abord lui apprendre à comprendre l'espace, puis lui apprendre les métiers spécifiques, et enfin lui permettre de tout faire en même temps sans se perdre. C'est une victoire majeure pour l'avenir des robots et des véhicules autonomes.

Résumé technique

Résumé Technique : ACE-Brain-0

1. Le Problème : Le Dilemme de la Généralisation Embodied

L'intelligence incarnée universelle vise à créer des agents capables de percevoir, raisonner et agir dans le monde physique à travers des morphologies hétérogènes (véhicules autonomes, robots manipulateurs, drones/UAV). Cependant, entraîner un modèle unique ("cerveau") sur ces domaines diversifiés se heurte à trois obstacles majeurs :

• Interférence des gradients : L'entraînement conjoint de données provenant de domaines aux objectifs d'optimisation contradictoires (ex: conduite vs manipulation fine) dégrade les performances de chaque tâche.
• Oubli catastrophique : L'entraînement séquentiel (fine-tuning étape par étape) permet d'acquérir des compétences spécifiques mais efface les connaissances précédemment acquises.
• Données à longue traîne : La diversité des morphologies crée des distributions de données déséquilibrées, rendant difficile l'équilibre entre la généralisation universelle et la compétence spécifique à un domaine.

Les approches existantes échouent souvent à concilier ces exigences, soit en sacrifiant la spécialisation pour la généralité, soit en perdant la capacité de transfert entre les domaines.

2. Méthodologie : Le Paradigme "Scaffold-Specialize-Reconcile" (SSR)

L'innovation centrale de l'article est l'identification de l'intelligence spatiale comme un "échafaudage" (scaffold) universel. Bien que les morphologies diffèrent, elles partagent un besoin fondamental de modéliser un espace mental 3D (relations géométriques, profondeur, topologie).

Sur cette base, les auteurs proposent le paradigme SSR (Scaffold-Specialize-Reconcile), structuré en plusieurs étapes :

• Étape 1 : Construction de l'Échafaudage Spatial (Scaffold)

  • Un modèle expert est entraîné exclusivement sur des données d'intelligence spatiale (compréhension 3D, relations spatiales, estimation de distance).
  • Ce modèle, noté $\theta_{spatial}$, sert de fondation universelle et de prior structurel pour tous les futurs experts, encapsulant une compréhension géométrique agnostique du domaine.

• Étape 2 : Spécialisation des Experts (Specialize)

  • À partir de l'échafaudage spatial, des experts spécialisés sont entraînés de manière isolée sur leurs domaines respectifs :
    • Conduite autonome (AD) : Perception, planification de trajectoire.
    • Basse altitude (UAV) : Navigation aérienne, détection de terrain.
    • Interaction incarnée (Embodied) : Manipulation d'objets, planification de tâches.
  • L'isolement de l'entraînement évite l'interférence des gradients entre les domaines.

• Étape 3 : Réconciliation par Fusion de Modèles (Reconcile)

  • Les experts spécialisés sont fusionnés en un seul modèle unifié via une fusion de paramètres sans données (data-free model merging).
  • L'algorithme utilise des vecteurs de tâches ($\tau$) pour optimiser la combinaison des poids, minimisant l'interférence tout en préservant les compétences de chaque expert. Cela permet de synthétiser les connaissances sans réapprendre les données.

• Étape 4 & 5 : Affinement et Renforcement

  • SFT Incarné : Un fine-tuning supervisé supplémentaire sur des données d'interaction incarnée pour affiner les capacités d'action.
  • GRPO (Group Relative Policy Optimization) : Une étape de renforcement utilisant des récompenses relatives au sein d'un groupe de réponses pour améliorer la qualité de la prise de décision et la planification multi-étapes.

3. Contributions Clés

1. Théorie de l'Échafaudage Spatial : Démonstration empirique et théorique que l'intelligence spatiale agit comme un pont structurel transférable, catalysant l'apprentissage à travers des morphologies physiques disparates.
2. Paradigme SSR : Une nouvelle stratégie d'entraînement qui découple la structure spatiale partagée de la spécialisation de domaine, résolvant le dilemme stabilité-plasticité grâce à la fusion de modèles sans données.
3. ACE-Brain-0 : La réalisation d'un modèle fondation généraliste (basé sur une architecture MLLM multimodale) capable de gérer simultanément la cognition spatiale, la conduite autonome, la perception aérienne et l'interaction robotique.

4. Résultats Expérimentaux

ACE-Brain-0 a été évalué sur 24 benchmarks couvrant quatre domaines physiques majeurs. Les résultats montrent des performances compétitives, souvent à l'état de l'art (SOTA), surpassant à la fois les modèles MLLM généralistes (comme GPT-4o, Gemini) et les modèles spécialisés existants.

• Intelligence Spatiale :
  • SAT : 92,0 % (vs 79,3 % pour Gemini-2.5-Pro).
  • MindCube : 82,1 % (vs 57,6 % pour Gemini-2.5-Pro).
  • BLINK : 83,9 % (surpassant les modèles fermés).
• Conduite Autonome :
  • NuPlanQA : 91,7 % (nouveau record).
  • MME-RealWorld : 71,2 %.
• Intelligence Basse Altitude (UAV) :
  • UrbanVideo-Bench : 56,9 %.
  • AircopBench : 70,3 %.
• Intelligence Incarnée (Robots) :
  • RoboVQA : 64,6 %.
  • OpenEQA : 70,0 %.

Les études d'ablation confirment que le paradigme SSR évite l'oubli catastrophique observé dans l'entraînement séquentiel et surpasse l'entraînement conjoint (Joint Training) qui souffre d'interférences.

5. Signification et Perspectives

Ce travail établit un nouveau cadre pour l'intelligence artificielle incarnée générale. En prouvant que l'intelligence spatiale est le dénominateur commun universel, ACE-Brain-0 offre une "feuille de route" pour construire des agents capables de s'adapter à de nouvelles morphologies (ex: robots humanoïdes, véhicules sous-marins) sans nécessiter un réentraînement massif.

L'approche suggère que l'avenir des modèles fondationnels physiques ne réside pas dans l'accumulation brute de données hétérogènes, mais dans une synthèse structurée : construire une base géométrique robuste, spécialiser les experts, et les réconcilier intelligemment. Cela ouvre la voie à des systèmes capables d'apprentissage continu et de transfert inter-domaines efficace, essentiels pour le déploiement de l'IA dans des environnements physiques complexes et dynamiques.