Cognition to Control - Multi-Agent Learning for Human-Humanoid Collaborative Transport

Dit artikel introduceert C2C, een drie-laags hiërarchisch systeem dat visuele taalmodellen, multi-agent versterkende leer en whole-body controle combineert om mens-robot samenwerking bij het dragen van objecten te verbeteren door expliciete integratie van deliberatieve planning met stabiele fysieke uitvoering.

De kern

Stel je voor dat je samen met een robot een enorm, lang en zwaar object moet dragen, zoals een ladder of een lange buis. Jij bent de mens, de robot is een humanoïde (een robot die eruitziet als een mens). Het doel is om dit object veilig door een drukke gang te slepen, door smalle poorten te gaan en zelfs om hoeken te draaien, zonder dat het object valt of jullie elkaar in de weg zitten.

Dit klinkt simpel, maar voor een robot is dit een nachtmerrie. Waarom? Omdat robots vaak te star zijn. Als jij plotseling stopt, moet de robot dat ook doen. Als jij een bocht maakt, moet de robot precies die bocht volgen. Als de robot alleen maar op zijn eigen programma kijkt, zal hij je waarschijnlijk omver duwen of het object laten vallen.

De auteurs van dit paper hebben een slimme oplossing bedacht, die ze "Cognition to Control" (Van Denken naar Bewegen) noemen. Ze hebben het brein van de robot in drie lagen verdeeld, net als bij een mens. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Cerebrum" (Het Grote Brein): De Strategische Planner

• Wat doet het? Dit is het deel dat nadenkt over het "grote plaatje". Het kijkt naar de omgeving en zegt: "Oké, we moeten naar die deur toe, maar daar is een stoel in de weg. Laten we eerst naar links gaan en dan rechtdoor."
• De Analogie: Denk aan een tourguide of een kapitein op een schip. Hij ziet de kaart, ziet de obstakels en bepaalt de route. Hij zegt niet precies hoe je je arm moet bewegen, maar hij geeft aan waar jullie naartoe moeten.
• De technologie: Dit deel gebruikt een heel slim AI-model (een VLM) dat kan "zien" en "lezen". Het vertaalt wat het ziet in een plan: "Ga daarheen."

2. De "Cerebellum" (Het Kleine Brein): De Tactische Danspartner

• Wat doet het? Dit is het deel dat zorgt voor de synchronisatie. Het luistert naar de kapitein, maar kijkt ook constant naar jou. Het denkt: "Ah, de kapitein zegt 'ga naar links', maar ik zie dat de mens een beetje naar rechts trekt. Laten we een klein beetje naar rechts bewegen om hem niet te verassen, terwijl we toch naar links gaan."
• De Analogie: Denk aan een danspartner op een dansvloer. Je hoeft niet te praten om te weten wat de ander doet. Als je partner een stap maakt, pas jij je beweging direct aan. Jullie bewegen als één eenheid, zonder dat er een script is dat zegt wie de leider is. Soms ben jij de leider, soms de robot. Ze wisselen dit automatisch en vloeiend.
• De technologie: Dit is een "Multi-Agent Learning" systeem. De robot en de mens (in de simulatie) leren samen te dansen door duizenden keren te oefenen. Ze leren dat ze samen moeten winnen, niet dat de robot de mens moet dwingen.

3. De "Spieren" (De Uitvoering): De Fysieke Controle

• Wat doet het? Dit is het deel dat de daadwerkelijke bewegingen maakt. Het zorgt ervoor dat de robot niet struikelt, dat zijn knieën niet doorzakken en dat hij het object stevig vasthoudt.
• De Analogie: Dit zijn je spieren en zenuwen. Je hersenen zeggen "loop", maar je spieren zorgen ervoor dat je niet omvalt. Dit deel werkt razendsnel (honderden keren per seconde) om evenwicht te houden.
• De technologie: Dit is de "Whole-Body Control". Het vertaalt de plannen van de bovenste lagen naar echte bewegingen in de robot's gewrichten.

Waarom is dit zo speciaal?

Vroeger hadden robots een stijf script: "Als mens stopt, dan stop ik." Als de mens iets anders deed, faalde de robot.
In dit nieuwe systeem is er geen vaste leider.

• Als de mens een zware kant van het object optilt, tilt de robot automatisch mee.
• Als de robot merkt dat de mens vastloopt, helpt hij duwen.
• Ze "praten" niet met woorden, maar met beweging en kracht.

Het is alsof je samen met een onbekende danspartner dansen leert. In het begin struikelen jullie misschien, maar door veel te oefenen (zoals de robot doet in de computer) leren jullie elkaars bewegingen voorspellen. Uiteindelijk dansen jullie alsof jullie elkaars gedachten kunnen lezen.

Wat hebben ze bewezen?

Ze hebben dit getest in de echte wereld met een Unitree G1 robot (een echte humanoïde robot).

• Resultaat: De robot kon samen met mensen zware objecten dragen door smalle deuropeningen en lange gangen, zonder dat het object viel.
• Vergelijking: Robots met de oude, stijve methoden faalden vaak of waren traag. Dit nieuwe systeem was 45% succesvoller en veel stabieler.

Kortom: Ze hebben een robot gemaakt die niet alleen "slim" is (kan plannen maken), maar ook een "goede danspartner" is (kan zich aanpassen aan een mens), zodat jullie samen een zware klus kunnen klaren zonder ruzie te krijgen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Cognition to Control – Multi-Agent Learning for Human-Humanoid Collaborative Transport" in het Nederlands.

Probleemstelling

Effectieve mens-robot samenwerking (Human-Robot Collaboration, HRC) vereist het vertalen van hoge intenties naar contact-stabiele, volledige lichaamsbewegingen, terwijl continu wordt aangepast aan een menselijke partner. Bestaande systemen kampen met drie fundamentele tekortkomingen:

1. Het Kognitie-Actie Gaping: Vision-Language-Action (VLA) systemen zijn vaak reactief (Systeem 1-achtig) en missen de capaciteit voor langdurige, deliberatieve planning (Systeem 2) die nodig is voor complexe, langdurige taken. Ze kunnen strategische intentie moeilijk koppelen aan betrouwbare, laag-latente continue controle.
2. Brittelsheid van Scripted Benaderingen: Traditionele methoden gebruiken vaak expliciete roltoewijzingen (leider-volger) of hand-gemaakte scripts. Deze zijn niet robuust wanneer menselijk gedrag afwijkt van de aannames, wat leidt tot falen in ongestructureerde omgevingen.
3. Niet-stationariteit: Bij het modelleren van de mens als een passieve omgeving of via intentie-inferentie ontstaan kunstmatige niet-stationariteiten tijdens het leerproces. Omdat zowel de robot als de mens zich continu aanpassen, kunnen dit leiden tot oscillerend gedrag of catastrofale fouten, vooral bij taken met fysiek contact.

Er is een dringende behoefte aan een leerparadigma dat wederzijdse aanpassing internaliseert en de kloof tussen semantisch redeneren en fysieke uitvoering overbrugt.

Methodologie: Cognition-to-Control (C2C)

De auteurs stellen een drie-laags hiërarchisch raamwerk voor, genaamd Cognition-to-Control (C2C), dat de beslissingsprocessen ontkoppelt in semantische cognitie, tactische vaardigheid en fysieke uitvoering.

1. Cognitieve Laag (VLM-based Grounding)

• Functie: Werkt als de "cerebrale cortex". Deze laag gebruikt gedecentraliseerde Vision-Language Models (VLM) om semantische informatie uit visuele input te halen.
• Werking: Elke agent (mens en robot) bouwt een eigen perspectief op van de omgeving. De VLMs genereren een gemeenschappelijke taakspecificatie, geïmplementeerd als een reeks "anchors" (wegpunten) voor het zwaartepunt (CoM) van het object.
• Doel: Het vertalen van open-vocabulaire instructies en visuele obstakels naar een consistent, strategisch pad dat als referentie dient voor de lagere lagen.

2. Vaardigheidsbeleid Laag (Deliberative Skill/Coordination)

• Functie: Werkt als de "cerebrale lobes". Dit is de kern van het systeem (Systeem 2) en gebruikt Multi-Agent Reinforcement Learning (MARL).
• Formulering: De samenwerking wordt gemodelleerd als een task-centric Markov potential game. In plaats van expliciete rollen (leider/volger) toe te wijzen, optimaliseren agents gezamenlijk een gedeelde potentiaalfunctie (de voortgang van de taak).
• Mechanisme:
  • Agents hebben onafhankelijke beleidsfuncties (geen parameter-sharing) om rekening te houden met verschillende lichamen (mens vs. humanoid).
  • Ze gebruiken een residueel beleid: de MARL-laag leert alleen de kleine, tactische correcties (residuen) bovenop een nominale controller.
  • Dit elimineert de noodzaak voor expliciete intentie-inferentie; aanpassing ontstaat emergent door de gedeelde beloning.

3. Hele Lichaam Controle Laag (Whole-Body Control - WBC)

• Functie: Werkt als het "cerebellum". Een hoogfrequente controller die de tactische commando's omzet in koppelcommando's voor de gewrichten.
• Doel: Zorgen voor kinematische en dynamische haalbaarheid, contactstabiliteit en het handhaven van de fysieke koppeling met het object en de mens. Deze laag werkt op een veel hogere frequentie dan de MARL-laag.

Belangrijkste Bijdragen

1. Hiërarchische Architectuur: Een raamwerk dat semantisch redeneren ontkoppelt van tactische fysieke coördinatie, waardoor de kloof tussen hoog-niveau navigatie en hoog-frequentie uitvoering wordt overbrugd.
2. Task-Centric Markov Potential Game: Een unificatie van HRC als een spel waarbij leiders- en volgersgedrag emergent ontstaan uit een gedeelde taakpotentiaal, zonder expliciete roltoewijzing. Dit internaliseert de dynamiek van de partner en vermindert bias.
3. Robuustheid in Real-World: Validatie via zware, fysieke transporttaken in beperkte ruimtes, waarbij het systeem superieure weerstand toont tegen diverse menselijke manoeuvres en omgevingsbeperkingen.

Resultaten

De methode is getest in simulatie (Isaac Lab) en fysiek op een Unitree G1 humanoid robot in samenwerking met een mens.

• Prestatieverbetering: Het C2C-raamwerk toonde een 45,6% stijging in het succespercentage vergeleken met een robot-script baseline (IPPO).
• Vergelijking met Baselines:
  • In complexe scenario's (zoals het draaien van lange objecten of doorgaan door smalle poorten) bereikte het MARL-gestuurde systeem successpercentages van 78-88%, terwijl scripts vaak faalden of slechts rond de 50-60% scoorden.
  • In fysieke experimenten (SCT en SLH taken) bereikte de MARL-versie 100% succes, terwijl een Single-Agent RL-baseline slechts 40% haalde.
• Stabiliteit: Het systeem vertoonde lagere kantelhoeken van het object (minder dan 3°/s) en kortere taakvoltooiingstijden, wat aantoont dat de multi-agent coördinatie de fysieke stabiliteit ten goede komt.
• Ablatie-studie: Zonder de cognitieve laag (VLM) of de tactische laag (MARL) faalde het systeem volledig in complexe taken, wat aantoont dat alle drie de lagen essentieel zijn.

Significantie

Dit werk is significant omdat het een oplossing biedt voor het "cognitie-naar-controle" probleem in mens-robot samenwerking. Het bewijst dat het expliciet scheiden van strategisch redeneren (VLM) en tactische aanpassing (MARL) leidt tot robuustere en meer mensachtige samenwerking.

Door mens-robot interactie te modelleren als een gedeelde potentiaalfunctie in plaats van een voorspelbaarheidsprobleem, overbrugt het de kloof tussen de onvoorspelbaarheid van menselijk gedrag en de noodzaak van stabiele fysieke controle. Dit opent de deur voor het inzetten van humanoïde robots in ongestructureerde, menselijke omgevingen voor complexe, langdurige transport- en manipulatietaken.