CORAL: Scalable Multi-Task Robot Learning via LoRA Experts

Het paper introduceert CORAL, een schaalbaar raamwerk voor robotleren dat multi-task interferentie en catastrofale vergeetachtigheid oplost door een enkele Vision-Language-Action-backbone te combineren met lichtgewicht LoRA-experts per taak, wat leidt tot superieure prestaties op zowel simulatie- als echte robotplatforms.

De kern

Stel je voor dat je een robot wilt bouwen die echt slim is. Je wilt dat hij niet alleen een kopje koffie kan halen, maar ook een boek dichtdoet, een deur opent en een overhemd vouwt. Het probleem is dat robots vaak "verwarren" als je ze alles tegelijk leert. Als je ze probeert te leren om een deur te openen terwijl ze ook een overhemd moeten vouwen, raken ze in de war. De ene taak verpest de andere, en ze worden op geen van beide goed.

De onderzoekers van CORAL hebben een slimme oplossing bedacht. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Onveranderlijke Basis" (De Brein)

Stel je een robot voor met een heel groot, superslim brein dat al alles over de wereld weet: hoe objecten eruitzien, wat woorden betekenen en hoe beweging werkt. Dit noemen ze het VLA-basismodel.
In de oude manier van werken, als je de robot iets nieuws leerde (zoals een deur openen), moest je dit brein herschrijven. Als je daarna iets anders leerde (zoals een overhemd vouwen), werd de kennis over de deur vaak gewist of beschadigd. Het was alsof je een boek herschrijft elke keer dat je een nieuwe pagina wilt toevoegen; je verliest de oude tekst.

CORAL doet het anders: Ze laten dat grote brein vrijwel volledig onaangetast. Het blijft zoals het is, perfect en stabiel.

2. De "Slimme Stickers" (De LoRA Experts)

In plaats van het hele brein te herschrijven, plakt CORAL kleine, lichte "stickers" op het brein. Elke sticker is speciaal gemaakt voor één specifieke taak.

• Wil de robot een deur openen? Dan plakt hij de "Deur-sticker" op zijn brein.
• Wil hij een overhemd vouwen? Dan plakt hij de "Overhemd-sticker" erop.

Deze stickers zijn heel klein (duizenden keren kleiner dan het hele brein) en bevatten alleen de specifieke instructies voor die ene taak. Ze verstoren niets van de rest van het brein.

3. De "Regisseur" (De CORAL Manager)

Hoe weet de robot welke sticker hij moet gebruiken? Dat doet de CORAL Manager.
Stel je voor dat de robot een regisseur heeft. Als jij tegen de robot zegt: "Sluit het boek," kijkt de regisseur direct naar zijn lijstje en zegt: "Ah, 'Sluit het boek'! Haal de 'Boek-sticker' uit de kast en plak hem op het brein."

Dit gebeurt razendsnel (binnen een fractie van een seconde). Zodra de robot klaar is met het boek en jij zegt: "Open de deur," haalt de regisseur de boek-sticker eraf en plakt de deur-sticker erop.

• Geen verwarring: Omdat elke taak zijn eigen sticker heeft, botsen ze nooit.
• Geen vergeten: De robot vergeet nooit hoe hij een boek moet sluiten, omdat de sticker voor het boek nog steeds in de kast ligt, klaar om weer gebruikt te worden.

Waarom is dit zo geweldig?

• Het is goedkoop om op te slaan: In plaats van duizenden grote, zware bestanden op te slaan (één voor elke taak), slaat de robot maar één groot brein op en een kast vol met kleine, lichte stickers. Dit bespaart enorm veel ruimte, net alsof je in plaats van duizenden boeken alleen één groot woordenboek en een paar losse post-it'tjes nodig hebt.
• Het werkt direct: De robot hoeft niet te wachten tot hij alles opnieuw heeft geleerd. Hij schakelt gewoon van sticker, net zoals een mens van gedachte wisselt.
• Het werkt overal: Of de robot nu twee armen heeft, vier wielen of een vinger, dit systeem werkt voor allemaal.

Samenvattend

CORAL is als een multitaskende chef-kok die niet zijn hele keuken moet verbouwen om een nieuw gerecht te leren. Hij heeft een vaste, perfecte basiskeuken (het brein) en voor elk nieuw gerecht haalt hij gewoon het juiste recept (de sticker) uit zijn map. Hij kan vandaag een taart bakken en morgen vis grillen, zonder dat de taartrecepten vergeten raken of de visrecepten de taart bederven.

Dit maakt robots veel slimmer, flexibeler en klaar voor de echte wereld, waar ze elke dag nieuwe dingen moeten leren zonder hun oude kennis te verliezen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "CORAL: Scalable Multi-Task Robot Learning via LoRA Experts" in het Nederlands.

1. Het Probleem

De implementatie van Vision-Language-Action (VLA) modellen in de echte robotica stuit op een fundamenteel meer-taken leerprobleem: taakinterferentie.

• Interferentie bij gezamenlijke training: Wanneer een enkel model wordt gefinetuned op meerdere, heterogene taken tegelijkertijd, conflicteren de gradiënten. Dit leidt tot "negatieve transfer", waarbij het verbeteren van de ene vaardigheid de prestaties van andere taken verslechtert.
• Opslag- en implementatiebeperkingen: Het onderhouden van een apart volledig modelcheckpoint per taak is onhaalbaar vanwege de enorme opslagvereisten en de beperkte rekenkracht op randapparatuur (edge devices).
• Vergeetprobleem (Catastrophic Forgetting): Sequentiële training (een taak na de andere) leidt ertoe dat het model nieuwe taken leert ten koste van eerder aangeleerde vaardigheden.

Bestaande oplossingen, zoals complexe gating-netwerken in Mixture-of-Experts (MoE) of traditionele Continue Learning (CL) methoden met replay-buffers, brengen vaak extra latentie, complexiteit of capaciteitsproblemen met zich mee.

2. Methodologie: Het CORAL Framework

CORAL (Scalable Multi-Task Robot Learning via LoRA Experts) is een framework dat de bovenstaande dilemma's oplost door een parameter-isolatieparadigma te hanteren. Het systeem is agnostisch ten opzichte van de onderliggende VLA-architectuur en het robotlichaam (embodiment).

Het proces verloopt in twee hoofdfasen:

A. Embodiment-bewuste Algemene Pre-training

• Een basisbeleid (base policy) wordt getraind of gefinetuned op een grote, diverse dataset die alle beschikbare taken omvat.
• Dit resulteert in een basismodel ($\theta_{base}$) dat de algemene kinematica, controlepatronen en visueel-taalstructuur begrijpt.
• Dit basismodel wordt permanent bevroren (frozen) voor de rest van de levensduur van het systeem.

B. Lichtgewicht Taak-specifieke LoRA Experts

• Voor elke specifieke taak (zowel bestaande als nieuwe) wordt een onafhankelijke, lichtgewicht Low-Rank Adaptation (LoRA) expert getraind.
• Deze experts worden slechts kort getraind (bijv. 1-5 epochs) om overfitting te voorkomen en de algemene generalisatie van het basismodel te behouden.
• De LoRA-modules worden geïnjecteerd in de attention-layers van zowel de visueel-taal-encoder als de actie-head.
• Schaalbaarheid: Een enkele LoRA-expert is extreem compact (bijv. ~26 MB voor een 0.8B parameter model), wat betekent dat honderden experts kunnen worden opgeslagen in de ruimte van één enkel volledig model.

C. Dynamische Implementatie: De CORAL Manager

• Tijdens inferentie fungeert de CORAL Manager als een dynamische engine.
• In tegenstelling tot traditionele MoE-systemen die een geleerde "gating network" nodig hebben om de juiste expert te kiezen, gebruikt CORAL de taal-instructie van de gebruiker als directe router. De instructie identificeert immers inherent de gewenste taak.
• Zero Overhead: De manager laadt de juiste LoRA-expert, "vouw" deze direct in de bevroren basisweegs (merge), voert de inferentie uit en laadt de expert weer uit als de taak verandert.
• Dit wisselproces duurt minder dan 100 ms en voegt geen extra inferentie-latentie of FLOPs toe, omdat de berekening uiteindelijk plaatsvindt op het originele basismodel.

3. Belangrijkste Bijdragen

1. Schaalbaar Systeem voor Levenslang Robotleren: CORAL lost het conflict op tussen generalisatie, specialisatie en schaalbaarheid door een enkel bevroren backbone te combineren met een uitbreidbare bibliotheek van gespecialiseerde experts.
2. Oplossing voor Multi-Task Interferentie: Door taken strikt te isoleren in disjuncte LoRA-experts, wordt parameter-overlapping en gradiëntconflict volledig voorkomen. Dit elimineert de noodzaak voor complexe gating-mechanismen.
3. Doorbreken van de Opslagbarrière: Het framework reduceert de opslagvereisten per taak met een factor 100 (van ~3 GB naar ~26 MB). Dit maakt het mogelijk om duizenden taken op een enkele robot te draaien zonder de opslaglimieten te overschrijden.
4. Deterministische Routing: Het gebruik van taal-instructies als router elimineert de onzekerheid en het trainingsgedrag van geleerde routers, wat cruciaal is voor betrouwbare robotica.

4. Resultaten

Het team heeft CORAL gevalideerd op drie simulatiebenchmarks (LIBERO, WidowX, Google Robot) en op een echte robot (Galaxea R1 Lite).

• Simulatie (LIBERO): CORAL bereikte een nieuwe state-of-the-art met een gemiddelde succesrate van 99,3% (op SimVLA basis) en 98,4% (op $\pi0.5$ basis), wat een significante verbetering is ten opzichte van bestaande modellen zoals X-VLA en DD-VLA. Vooral op de uitdagende "LIBERO-Long" suite was de verbetering groot (+3,4%).
• Real-World Generalisatie: Op de Galaxea R1 robot toonde CORAL sterke zero-shot generalisatie naar onbekende omgevingen en complexe bimanuele taken (zoals een boek dichtdoen of een T-shirt vouwen).
• Nieuwe Vaardigheden & Vergeten: Bij het leren van volledig nieuwe taken (zoals deuren openen en liftknoppen indrukken) zonder data-replay:
  • Gemeenschappelijke training (Joint Fine-tuning) faalde dramatisch (gemiddeld 24,5% succes) door interferentie.
  • Onafhankelijke volledige training presteerde goed maar vereiste enorme opslag.
  • CORAL bereikte prestaties vergelijkbaar met de onafhankelijke training, maar met een fractie van de opslagruimte en zonder vergeten van eerdere taken.

5. Betekenis en Conclusie

CORAL biedt een praktische en schaalbare oplossing voor de implementatie van meervoudige taken in robotica. Het bewijst dat het niet nodig is om enorme modellen te hertrainen of duizenden volledige checkpoints op te slaan om een robot levenslang nieuwe vaardigheden te leren.

Door de strikte scheiding van algemene kennis (in de frozen backbone) en taakspecifieke kennis (in kleine LoRA-experts), en het gebruik van taal als natuurlijke router, creëert CORAL een systeem dat:

1. Interferentie elimineert door constructie.
2. Catastrofaal vergeten voorkomt zonder data-replay.
3. Efficiënt is in zowel opslag als inferentie-tijd.

Dit maakt CORAL een fundamentele stap naar echt levenslang, adaptief robotleren in dynamische, real-world omgevingen.