RACAS: Controlling Diverse Robots With a Single Agentic System

Het artikel introduceert RACAS, een robotonafhankelijk agentic systeem dat gebruikmaakt van drie op taal gebaseerde modules om diverse robotplatforms via natuurlijke taal te besturen zonder dat er aanpassingen aan de broncode of modelgewichten nodig zijn.

De kern

Stel je voor dat je een nieuwe robot koopt. Of het nu een wieltje op de vloer is, een onderwaterduikboot of een robotarm met vijf vingers. In het verleden was het zo: als je die robot iets wilde laten doen, moest je een team van specialisten inhuren. De één moest de motor begrijpen, de ander de camera's programmeren en weer een ander moest de "hersenen" schrijven. Het was alsof je voor elke nieuwe auto een compleet nieuwe motor en een nieuwe bestuurder moest bouwen.

RACAS (de naam van dit nieuwe systeem) is als een universele vertaler en manager die dat allemaal overbodig maakt.

Hier is hoe het werkt, in simpele taal:

1. Het Probleem: De "Taalbarrière"

Robots praten vaak in een taal die voor mensen onbegrijpelijk is (code, getallen, sensoren). Om een robot te laten zeggen "ga naar die brandblusapparaat", moet je eerst een ingewikkeld proces opzetten dat die getallen omzet in bewegingen. Als je van robot wisselt, moet je die hele vertaalslag opnieuw leren.

2. De Oplossing: RACAS als een Slimme Projectmanager

RACAS is een systeem dat werkt met drie speciale AI-assistenten die alleen met elkaar praten in gewone mensentaal. Ze hoeven geen code te schrijven of de robot opnieuw te trainen. Ze hebben alleen een simpele beschrijving nodig van wat de robot is en wat hij kan.

Stel je het voor als een bouwproject:

• De Controller (De Baas): Dit is de projectmanager. Hij krijgt een opdracht: "Haal die brandblusapparaat." Hij denkt na en zegt tegen zijn team: "Ik denk dat ik eerst moet kijken of ik het kan zien."
• De Monitors (De Ogen): Dit zijn de waarnemers. Ze kijken door de camera's van de robot en vertellen de Baas in gewone taal wat ze zien. "Ik zie links een rode doos, maar rechts is het donker." Ze hoeven niet te weten hoe de robot beweegt; ze vertellen alleen wat er te zien is.
• De Memory Curator (De Archivaris): Dit is de slimste assistent. Hij onthoudt alles wat er al gebeurd is. "Vorige keer probeerden we naar links te gaan, maar daar was een muur. Nu weten we dat we rechts moeten zoeken." Hij houdt het geheugen kort en overzichtelijk, zodat de Baas niet verdrinkt in informatie.

3. Het Magische Moment: Geen Nieuwe Training Nodig

Het meest indrukwekkende aan dit systeem is dat je niets hoeft te veranderen als je van robot wisselt.

• Voorbeeld 1: Je hebt een robot met wielen (een Dingo). Je geeft RACAS een briefje: "Ik ben een robot met wielen. Ik kan vooruit, achteruit, links en rechts." RACAS gaat aan het werk.
• Voorbeeld 2: Je hebt nu een robotarm (een 'Limb'). Je geeft RACAS een ander briefje: "Ik ben een arm met vier gewrichten. Ik kan draaien en omhoog/omlaag."
• Voorbeeld 3: Je hebt een onderwaterrobot. Je geeft een briefje: "Ik ben een duikboot. Ik kan op en neer, vooruit en draaien."

In al deze gevallen gebruikt RACAS exact hetzelfde brein. Het enige wat verandert, is het briefje met de beschrijving. De AI past zich direct aan, alsof het een polyglot is die plotseling een nieuwe taal spreekt zonder lessen te hoeven volgen.

4. Wat hebben ze getest?

De onderzoekers hebben dit systeem getest op drie totaal verschillende dingen:

1. Een wielerobot op het land (in de simulatie en in het echt).
2. Een robotarm die ze net hadden bedacht (de AI wist niet eens dat deze bestond!).
3. Een onderwaterrobot in een zwembad.

In alle gevallen slaagde de robot erin om de opdracht uit te voeren, zonder dat de onderzoekers ook maar één regel code hadden aangepast of de robot hadden "geleerd" hoe hij moest werken.

Waarom is dit belangrijk?

Vroeger was het bouwen van een robotoplossing als het bouwen van een handgemaakte maatpak: duur, tijdrovend en alleen voor één persoon (of robot) geschikt.

Met RACAS is het alsof je een universeel pak hebt dat automatisch aanpast aan elke lichaamsvorm. Je kunt van robot wisselen en de "bestuurder" (de AI) blijft hetzelfde. Dit maakt het veel makkelijker, sneller en goedkoper om robots te gebruiken voor nieuwe taken, van het opruimen van een kamer tot het inspecteren van een onderzeeër.

Kortom: RACAS is de sleutel die elke robot de taal van de mens laat spreken, zodat we ze allemaal met dezelfde eenvoudige instructies kunnen aansturen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "RACAS: Controlling Diverse Robots With a Single Agentic System", vertaald en samengevat in het Nederlands.

Titel: RACAS: Diverse Robotbesturing met één Agente Systeem

1. Het Probleem

De huidige robotica-industrie staat voor een aanzienlijke uitdaging bij het overbruggen van de kloof tussen laag-niveau hardware-interface (API's voor sensoren en actuatoren) en hoog-niveau autonoom gedrag.

• Fragmentatie: Het ontwikkelen van een complete besturingspiplijn vereist expertise in verschillende domeinen (hardware/firmware versus planning/leren-algoritmen).
• Gebrek aan Generalisatie: Bestaande oplossingen vereisen vaak hertraining voor elke nieuwe robotvorm (embodiment) of zijn alleen gevalideerd op structureel vergelijkbare platformen (bijv. verschillende manipulatorarmen).
• Barrières: Het aanpassen van systemen aan nieuwe robots vereist doorgaans het aanpassen van broncode, het fine-tunen van modelgewichten of het definiëren van nieuwe beloningsfuncties, wat de prototyping van robotoplossingen vertraagt.

2. Methodologie: RACAS Architectuur

De auteurs introduceren RACAS (Robot-Agnostic Control via Agentic Systems), een samenwerkend agente architectuur die robotbesturing decomposeert in drie modules die uitsluitend communiceren via natuurlijke taal. Het systeem vereist geen wijzigingen in de onderliggende code of modelgewichten; alle aanpassing gebeurt via declaratieve prompt-configuraties.

De drie kernmodules zijn:

1. Controller (Besturing):
   • Functie: Genereert visuele queries op basis van de taak en de huidige context, analyseert waarnemingen en kiest een actie.
   • Input: Een dynamisch samengestelde systeem-prompt die bestaat uit: robotbeschrijving, actiedefinities, omgevingsgeheugen, proprioceptieve staat, actiegeschiedenis en taakspecificatie.
   • Output: Een redeneertraject gevolgd door een geselecteerde actie.
2. Monitors (Perceptie):
   • Functie: Verwerkt beelden van onboard camera's via Vision-Language Models (VLM).
   • Mechanisme: In plaats van vaste objectdetectie, beantwoorden de monitors een door de Controller gegenereerde visuele query (bijv. "Is er een brandblusser links van mij?"). Dit maakt perceptie taak-adaptief.
   • Voor lage resolutie-camera's wordt een super-resolutie-pipeline gebruikt.
3. Memory Curator (Geheugen):
   • Functie: Onderhoudt een gestructureerd, begrensd en persistent geheugen van de interactiegeschiedenis.
   • Mechanisme: In plaats van alles toe te voegen aan de context (wat leidt tot token-beperkingen), herschrijft de Curator het geheugen na elke stap. Het comprimeert redundante informatie, lost tegenstrijdigheden op en houdt relevante details bij.
   • Structuur: Het geheugen is onderverdeeld in vier categorieën: fysieke omgeving, robotstaat, gecureerde geschiedenis van commando's en taakstatus. Het infereert ook ruimtelijke posities door bewegingen en camera-perspectieven te combineren.

Aanpassing aan nieuwe robots:
Om RACAS op een nieuwe robot toe te passen, zijn slechts drie tekstbestanden nodig:

1. Een natuurlijke taalbeschrijving van de robot ($D$).
2. Een gestructureerde definitie van beschikbare acties ($A$).
3. Een taakbeschrijving.
   Er is geen code-aanpassing of hertraining nodig.

3. Belangrijkste Bijdragen

1. RACAS Architectuur: Een nieuwe, coöperatieve multi-module agente architectuur voor gesloten-lus robotbesturing waarbij alle communicatie via natuurlijke taal verloopt.
2. Declaratieve Kennis: Het bewijs dat alle kennis specifiek voor een robotvorm en taak kan worden opgesloten in prompt-configuraties, zonder wijziging in broncode, modelgewichten of beloningsfuncties.
3. Zero-Training Generalisatie: De eerste demonstratie (volgens de auteurs) van een enkel besturingsframework dat succesvol generaliseert over drie radicaal verschillende robotplatforms, inclusief een zeer recente robotarm waar het LLM geen voorafgaande kennis van had.

4. Experimentele Evaluatie en Resultaten

Het systeem werd getest op drie fundamenteel verschillende platformen met variërende morfologie, bewegingsmogelijkheden en omgevingen:

• Clearpath Dingo: Een wielen-gebaseerde grondrobot (gesimuleerd en in de echte wereld).
• Alhakami et al. Limb: Een nieuw, multi-gewrichts robotisch lid (4-DOF arm) met meerdere camera's.
• BlueROV2: Een onderwater-voertuig (ROV) met thrusters.

Taken:

• Objectlocalisatie (Arm): Een brandblusser vinden in een rommelige ruimte.
• Doelbenadering (Dingo): Navigeren naar een brandblusser in een magazijnomgeving.
• Onderwaternavigatie (ROV): Manoeuvreren in 3D naar een groene doos in een tank of zwembad.

Resultaten:

• RACAS slaagde erin om alle toegewezen taken op alle drie de platformen succesvol af te ronden zonder het systeem te wijzigen.
• In vergelijking met een willekeurige baseline (waar mogelijk) presteerde RACAS significant beter (p < 0.01).
• Het aantal stappen dat nodig was om de taken te voltooien was redelijk en dicht bij het theoretische minimum (oracle), hoewel de totale tijd voornamelijk werd bepaald door de API-latentie (5-10 seconden per stap).
• Het systeem bleef effectief zelfs in omgevingen waar willekeurige acties onveilig of inefficiënt waren.

5. Betekenis en Conclusie

RACAS toont aan dat agentic AI de drempel voor het prototypen van robotoplossingen aanzienlijk kan verlagen.

• Vereenvoudiging: Het elimineert de noodzaak voor gespecialiseerde engineers om per platform nieuwe besturingspiplijnen te bouwen of enorme datasets te verzamelen voor training.
• Toekomstvisie: Hoewel de huidige evaluatie beperkt is tot navigatie en localisatie, suggereert het werk dat foundation modellen (LLM/VLM) potentieel hebben om robotica toegankelijker te maken voor diverse platforms.
• Beperkingen: De huidige beperkingen zijn de hoge inferentie-kosten (snelheid) en het gebrek aan dieptewaarneming (geen LiDAR), wat leidt tot suboptimale afstandsinschattingen. Toekomstig werk richt zich op het integreren van manipulatie-primitieven en betere sensorfusie.

Kortom, RACAS bewijst dat een enkel, niet-getraind agente systeem, aangestuurd door natuurlijke taal en een gestructureerd geheugen, effectief kan besturen over een breed spectrum van robotvormen, wat een doorbraak betekent in de richting van robot-agnostische besturing.