ACE-Brain-0: Spatial Intelligence as a Shared Scaffold for Universal Embodiments

In dit rapport wordt ACE-Brain-0 geïntroduceerd, een universeel multimodaal groot taalmodel dat ruimtelijke intelligentie als gedeeld fundament gebruikt om diverse fysieke implementaties, zoals autonoom rijden en robotica, te verenigen via het Scaffold-Specialize-Reconcile-paradigma en GRPO, waardoor state-of-the-art prestaties worden bereikt op 24 benchmarks.

De kern

🧠 ACE-Brain-0: De "Alles-kunnen" Brein voor Robots

Stel je voor dat je een super-intelligente robot wilt bouwen die niet alleen een auto kan besturen, maar ook een drone kan vliegen en een robotarm kan laten koffie zetten. Het probleem is dat deze taken heel verschillend zijn. Een auto rijdt op de grond, een drone vliegt in de lucht, en een robotarm pakt kleine voorwerpen vast.

Tot nu toe was het heel moeilijk om één enkel "brein" te maken dat al deze dingen goed kan. Als je ze allemaal tegelijk traint, vergeten ze elkaar (alsof je probeert om in één keer Italiaans, Japans en Spaans te leren; je begint ze door elkaar te halen). Als je ze één voor één traint, vergeten ze wat ze eerder hebben geleerd (je bent goed in Japans, maar vergeet je Italiaans).

ACE-Brain-0 is de oplossing. Het is een nieuw type kunstmatige intelligentie dat alles kan. Maar hoe doen ze dat? Ze gebruiken een slimme truc die ze het SSR-methode noemen.

Laten we het vergelijken met het bouwen van een meesterkok die ook nog eens een piloot en een architect is.

1. De Grote Inzicht: Ruimtelijk Inzicht is de "Gouden Sleutel"

De onderzoekers ontdekten iets belangrijks: of je nu een auto, een drone of een robotarm bent, je hebt allemaal ruimtelijk inzicht nodig.

• Een auto moet weten waar de andere auto's zijn.
• Een drone moet weten hoe ver het naar de grond is.
• Een robotarm moet weten waar de kop koffie staat.

Ze noemen dit "Spatial Intelligence" (Ruimtelijk Inzicht). Dit is de gemeenschappelijke taal die alle robots spreken. Het is als het fundament van een huis. Als je een goed fundament hebt, kun je er later verschillende soorten verdiepingen op bouwen.

2. De SSR-Methode: Bouwen, Specialiseren, Samenvoegen

In plaats van alles door elkaar te gooien, gebruiken ze drie stappen (zoals het bouwen van een super-robot):

Stap 1: Het Scaffolding (Het Steiger Bouwen)
Stel je voor dat je een steiger bouwt rond een gebouw. Dit steiger is niet het eindproduct, maar het zorgt dat alles stevig staat.

• Wat doen ze? Ze trainen het model eerst puur op ruimtelijk inzicht. Het leert hoe objecten zich in de ruimte verhouden, hoe afstand werkt en hoe 3D-ruimte eruitziet.
• Analogie: Dit is als een student die eerst alleen wiskunde en geometrie studeert, zonder zich te bekommeren om of hij straks auto-rijdt of vliegtuig bestuurt. Hij bouwt een sterk "ruimtelijk brein" op.

Stap 2: Specialiseren (De Experts Opleiden)
Nu het steiger (het fundament) staat, kunnen we aparte experts opleiden.

• Wat doen ze? Ze nemen dat sterke ruimtelijke brein en trainen het apart voor specifieke taken: één versie voor auto's, één voor drones, en één voor robots.
• Waarom apart? Omdat ze anders in de weg lopen. Als je een auto traint terwijl je een drone traint, raken de "gradients" (de leerregels) elkaar in de war. Door ze apart te trainen, wordt elke expert een meester in zijn eigen vak, maar ze delen allemaal hetzelfde sterke fundament.
• Analogie: Je hebt nu een meester-architect, een meester-piloot en een meester-kok. Ze hebben allemaal dezelfde basisopleiding in wiskunde gehad, maar zijn nu gespecialiseerd in hun eigen werk.

Stap 3: Reconcile (De Samenvoeging zonder Verlies)
Dit is de magische stap. Hoe krijg je die drie experts terug in één brein zonder dat ze vergeten wat ze hebben geleerd?

• Wat doen ze? Ze gebruiken een slimme wiskundige truc om de gewichten van de drie modellen te samenvoegen. Ze doen dit zonder extra data te gebruiken (data-vrij). Het is alsof je de kennis van de architect, piloot en kok in één persoon stopt zonder dat de kok vergeet hoe hij moet koken.
• Analogie: Het is alsof je drie verschillende gerechten (Italiaans, Japans, Mexicaans) in één grote, perfecte soep giet, maar zo dat je nog steeds de smaak van elk gerecht kunt proeven. Geen enkel gerecht verdwijnt; ze versterken elkaar.

3. Waarom werkt dit zo goed?

Vroeger probeerden onderzoekers alles in één keer te doen (Joint Training). Dat was als proberen om een student te laten studeren voor drie verschillende examens tegelijk; hij raakte in de war en deed het op geen enkel goed.
Of ze deden het één voor één (Sequential Training). Dat was als eerst Italiaans leren, dan Japans, en dan Spaans. Maar toen hij Spaans leerde, was hij vergeten hoe Italiaans klinkt.

ACE-Brain-0 doet het slim:

1. Bouw een onwrikbaar fundament (Ruimtelijk Inzicht).
2. Bouw aparte, sterke verdiepingen (Experts).
3. Sluit ze naadloos aan op elkaar (Samenvoegen).

4. Het Resultaat

Het resultaat is een model dat 24 verschillende tests heeft doorstaan en bijna overal de beste score haalt.

• Het kan een auto laten rijden alsof het een pro is.
• Het kan een drone laten vliegen door een stad.
• Het kan een robotarm laten vertellen hoe hij een kopje moet pakken.
• En het kan zelfs complexe ruimtelijke puzzels oplossen.

Kortom: ACE-Brain-0 bewijst dat als je robots eerst leert hoe de wereld eruitziet (ruimte, afstand, 3D), ze daarna veel makkelijker kunnen leren om die wereld te beheren, of ze nu wielen, vleugels of armen hebben. Het is de eerste echte "Universele Robot" die niet vergeten is wat hij heeft geleerd.

Technische samenvatting

1. Het Probleem: De Uitdaging van Universele Embodied Intelligence

Het creëren van een universeel "embodied brain" (een AI-model dat kan waarnemen, redeneren en handelen in de fysieke wereld) voor diverse vormen van intelligentie (zoals autonome voertuigen, robots en drones) is een enorme uitdaging. Bestaande benaderingen lopen vast op drie hoofdproblemen:

• Gradient Interferentie: Het gezamenlijk trainen van modellen op gemengde data van verschillende domeinen (bijv. rijden én vliegen) leidt tot conflicterende gradiënten. Dit verstoort de optimalisatie en verhindert dat het model zich specialiseert.
• Catastrofale Vergetelheid: Het sequentieel trainen (eerst leren rijden, dan vliegen) zorgt ervoor dat het model eerdere vaardigheden vergeet wanneer het nieuwe domeinen leert.
• Long-tail Data & Domain Specificity: Het is moeilijk om een evenwicht te vinden tussen algemene generalisatie en domeinspecifieke expertise, vooral omdat morfologieën (de vorm van het apparaat) drastisch verschillen, hoewel ze vaak dezelfde ruimtelijke redeneerbehoeften hebben.

2. Methodologie: Het SSR-Paradigma

De kerninzicht van het paper is dat ruimtelijke intelligentie (spatial intelligence) een universeel raamwerk (scaffold) vormt voor alle fysieke vormen. Of het nu gaat om een auto, een robotarm of een drone: ze hebben allemaal een gemeenschappelijke behoefte aan het modelleren van 3D-ruimtelijke relaties, objectindeling en geometrische gevolgen van acties.

Op basis hiervan introduceren de auteurs ACE-Brain-0, een multimodaal groot taalmodel (MLLM) dat is getraind volgens het Scaffold-Specialize-Reconcile (SSR) paradigma. Dit proces bestaat uit vijf fasen:

1. Stage 1: Spatial Scaffold Training (Het Fundament)

   • Er wordt een "Spatial Expert" getraind op grote schaal ruimtelijke data. Dit model fungeert als een universeel, domein-onafhankelijk fundament dat 3D-ruimtelijk inzicht encodeert. Dit dient als de "shared scaffold" voor alle volgende experts.

2. Stage 2: Supervised Specialized Expert Fine-Tuning (Specialisatie)

   • Onafhankelijke experts worden getraind vanuit het ruimtelijke fundament voor specifieke domeinen:
     • AD Expert: Voor autonoom rijden (perceptie, planning, controle).
     • UAV Expert: Voor lage-vlucht sensoren en drones (navigatie, locatie).
     • Embodied Expert: Voor robotmanipulatie en interactie.
   • Door deze experts geïsoleerd te trainen, wordt gradient interferentie volledig vermeden.

3. Stage 3: Across-Embodiment Reconcile Model Merging (Verzoening)

   • De gespecialiseerde experts worden samengevoegd tot één uniek model via data-vrije modelmerging (data-free model merging).
   • In plaats van de data opnieuw te mengen, worden de parameters van de experts geoptimaliseerd om taakinterferentie te minimaliseren (gebaseerd op task vectors). Dit creëert een model dat de kennis van alle experts combineert zonder dat er extra trainingsdata nodig is voor de fusie.

4. Stage 4: Supervised Fine-Tuning on Embodied Data

   • Het samengevoegde model wordt verder verfijnd met specifieke embodied interactie-data om fijnmazige manipulatievaardigheden te versterken.

5. Stage 5: Reinforcement Learning met GRPO

   • Tot slot wordt Group Relative Policy Optimization (GRPO) toegepast. Dit is een versterkingsleerstrategie die het model optimaliseert op basis van relatieve beloningen voor meerdere gegenereerde antwoorden op dezelfde vraag. Dit verbetert de besluitvormingskwaliteit en het vermogen tot meerstapsplanning.

3. Belangrijkste Bijdragen

• Ruimtelijke Intelligentie als Shared Scaffold: Het paper bewijst empirisch dat ruimtelijk inzicht een overdraagbare structuur is die het leren versnelt over volledig verschillende fysieke domeinen, in plaats van een geïsoleerde vaardigheid te zijn.
• Het SSR-Trainingsparadigma: Een nieuwe architectuur die de stabiliteit-plasticiteit-dilemma oplost door het scheiden van gedeelde structuur (ruimte) en domeinspecifieke specialisatie, gevolgd door een data-vrije verzoening.
• ACE-Brain-0: Een generalist foundation brain die state-of-the-art prestaties bereikt op 24 benchmarks, de eerste die zo'n breed scala aan fysieke intelligenties (ruimte, rijden, vliegen, manipuleren) in één model verenigt.

4. Resultaten

ACE-Brain-0 werd geëvalueerd op 24 benchmarks verdeeld over vier domeinen en presteerde overtuigend:

• Ruimtelijke Intelligentie:
  • Bereikte 92.0% op de SAT-benchmark (ruimtelijk redeneren) en 82.1% op MindCube-Tiny, wat aanzienlijk beter is dan gespecialiseerde modellen en gesloten modellen zoals Gemini-2.5-Pro.
• Autonoom Rijden:
  • Bereikte 71.2% op MME-RealWorld en 91.7% op NuPlanQA, wat de huidige state-of-the-art modellen (zoals MiMo-Embodied en RoboBrain) verslaat.
• Lage-Vlucht Sensing (Drones):
  • Sette nieuwe records op UrbanVideo-Bench (56.9%) en AircopBench (70.3%), met name in complexe verkeerssituaties en geometrische berekeningen vanuit luchtperspectief.
• Embodied Interactie:
  • Bereikte 77.3% op EmbSpatial-Bench en 55.3% op EgoPlan-Bench2, wat aantoont dat het model effectief kan plannen en handelen in eerste-persoonsscenario's.

Ablatie Studies bevestigden dat:

1. Het starten vanuit een ruimtelijk fundament de prestaties op alle domeinen significant verbetert (bijv. +19.3% voor rijden, +16.5% voor drones).
2. Data-vrije modelmerging (Reconcile) superieur is aan gewone gewichtsgemiddelden of sequentieel trainen, omdat het catastrofaal vergeten voorkomt en gradient interferentie elimineert.

5. Betekenis en Impact

Dit paper biedt een fundamenteel nieuw perspectief op het bouwen van universele AI-agenten. In plaats van te proberen één groot model te trainen op alles tegelijk (wat leidt tot interferentie) of modellen stap voor stap te trainen (wat leidt tot vergeten), stelt ACE-Brain-0 een modulaire architectuur voor.

De belangrijkste implicaties zijn:

• Efficiëntie: Het gebruik van een gedeeld ruimtelijk fundament reduceert de noodzaak om geometrisch inzicht voor elk nieuw apparaat opnieuw te leren.
• Schaalbaarheid: Het SSR-paradigma maakt het mogelijk om nieuwe vormen van intelligentie (bijv. onderwaterrobots of looprobots) toe te voegen door simpelweg een nieuwe "expert" te trainen op het bestaande fundament en deze vervolgens te mergen, zonder het hele systeem opnieuw te hoeven trainen.
• Toekomstvisie: Het legt de basis voor "Cross-Embodiment Continual Learning", waarbij AI-systemen levenslang nieuwe vaardigheden kunnen opdoen zonder bestaande kennis te verliezen.

Kortom, ACE-Brain-0 bewijst dat ruimtelijk redeneren de "gemeenschappelijke taal" is van fysieke intelligentie en biedt een bewezen blauwdruk voor het creëren van robuuste, universele embodied AI-systemen.