DeReCo: Decoupling Representation and Coordination Learning for Object-Adaptive Decentralized Multi-Robot Cooperative Transport

DeReCo is een nieuw decentraliseerd multi-robot leerframework dat representatie- en coördinatielering ontkoppelt via een drie-traps trainingsstrategie, waardoor de sample-efficiëntie en generalisatie voor het samenwerken bij het transporteren van objecten met uiteenlopende vormen en eigenschappen aanzienlijk worden verbeterd.

De kern

DeReCo: Een slimme dans voor robots die samen iets dragen

Stel je voor dat je en je vriend een zware, onbekende tafel moeten dragen naar een andere kamer. Je kunt elkaar niet zien, je hebt geen blauwdruk van de tafel, en je weet niet hoe zwaar hij is of hoe glad het oppervlak is waarop hij ligt. Als jullie allebei proberen te raden wat de ander doet, terwijl jullie ook nog eens proberen te begrijpen wat voor soort tafel het is, gaan jullie waarschijnlijk struikelen.

Dat is precies het probleem waar deze wetenschappers een oplossing voor hebben gevonden: DeReCo.

Hier is hoe het werkt, vertaald naar alledaags taal:

Het Probleem: De "Twee-vliegen-in-éen-klap" valkuil

Vroeger probeerden robot-onderzoekers twee dingen tegelijk te leren:

1. Wat dragen we? (Is het een lichte doos of een zware steen? Is het glad of ruw?)
2. Hoe dragen we het samen? (Hoe bewegen we onze armen in harmonie zonder te botsen?)

Ze leerden dit alles in één keer, als een enorme, rommelige soep. Het probleem? Als de robots de verkeerde gok doen over het gewicht van de tafel, raken ze in paniek en bewegen ze chaotisch. Als ze chaotisch bewegen, kunnen ze de tafel niet goed "lezen". Het is een vicieuze cirkel: het leren van de tafel verstoort het leren van de dans, en vice versa.

De Oplossing: De "Drie-fasen Dansles"

De auteurs van dit papier, DeReCo, zeggen: "Laten we dit opsplitsen." In plaats van alles door elkaar te gooien, geven ze de robots een gestructureerde training in drie stappen.

Stap 1: De Rehearsal met een "Super-Geheugen"

Stel je voor dat je een dansje leert, maar je hebt een coach die je alles vertelt. De coach fluistert in je oor: "Dit is een zware, gladde tafel, draai links!"

• Wat gebeurt er: De robots oefenen in een virtuele wereld (een simulator) waar ze alle geheimen van het object kennen (gewicht, vorm, wrijving).
• Het doel: Ze leren perfect op elkaar te reageren. Ze leren de dans (de coördinatie) zonder zich zorgen te hoeven maken over het raden van de tafel. Ze worden echte dansmeesters, zolang ze maar die "coach" hebben.

Stap 2: De "Oog-voor-Oor" Oefening

Nu is de coach weg. De robots moeten de dans solo oefenen, maar ze moeten nog steeds weten wat voor tafel ze dragen.

• Wat gebeurt er: De robots krijgen een speciaal "oog" (een slim algoritme) dat ze trainen om alleen naar hun eigen camera's en sensoren te kijken. Ze leren: "Oh, als ik dit gevoel in mijn vingers heb en dit beeld zie, dan is het waarschijnlijk een zware, gladde tafel."
• Het doel: Ze leren het object te herkennen op basis van wat ze kunnen zien en voelen, zonder de coach. Ze maken een "schets" van het object in hun hoofd.

Stap 3: De Echte Dans (Zonder Coach)

Nu komen ze op het echte toneel. De coach is weg, en ze hebben geen toegang tot de geheimen van de tafel.

• Wat gebeurt er: De robots gebruiken hun "oog" uit Stap 2 om de tafel te raden, en hun "dans" uit Stap 1 om samen te bewegen. Omdat ze de dans al perfect hebben geoefend met de coach, en nu alleen de schets van de tafel gebruiken, werken ze als een goed getraind duo.
• Het resultaat: Ze kunnen een tafel dragen die ze nog nooit hebben gezien, omdat ze weten hoe ze moeten dansen en hoe ze een nieuwe tafel moeten "lezen" terwijl ze bewegen.

Waarom is dit zo cool?

In de echte wereld zijn objecten altijd anders. Soms is een doos zwaar, soms licht. Soms is hij rond, soms hoekig.

• Oude methoden: Probeerden alles tegelijk te leren en faalden vaak bij nieuwe objecten. Het was alsof je probeerde te dansen terwijl je probeerde te rekenen; je viel steeds.
• DeReCo: Splits het op. Eerst leren ze de dans (met hulp), dan leren ze de objecten herkennen (zonder hulp), en dan combineren ze het.

De Resultaten: Van Simulator naar Echt Leven

De wetenschappers testten dit met twee echte robots (HSR's) in hun lab.

• Ze trainden de robots met drie soorten objecten.
• Vervolgens gaven ze ze zes nieuwe, onbekende objecten (zoals een zeshoek of een driehoek) om te dragen.
• Het resultaat: De robots slaagden er bijna altijd in om deze nieuwe objecten naar het doel te brengen.
• Zelfs in de echte wereld, met echte robots en echte objecten die ze nooit eerder hadden gezien, werkten ze perfect. De oude methoden lieten de objecten vallen of botsten, maar DeReCo droeg ze veilig.

Kortom: DeReCo is als een slimme dansschool die eerst de choreografie perfect leert met een trainer, en je daarna leert om de muziek en de partner te "lezen" zonder die trainer. Hierdoor kunnen robots samenwerken met elk object, zelfs als ze het nog nooit hebben gezien.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "DeReCo: Decoupling Representation and Coordination Learning for Object-Adaptive Decentralized Multi-Robot Cooperative Transport" in het Nederlands.

Probleemstelling

De kernuitdaging die dit paper adresseert, is het generaliseren van decentralized multi-robot cooperative transport (gedecentraliseerde samenwerking tussen meerdere robots voor het vervoeren van objecten) over objecten met uiteenlopende vormen en fysische eigenschappen (zoals massa en wrijvingscoëfficiënten).

In een gedecentraliseerde uitvoering moeten robots handelen op basis van lokale observaties alleen, zonder toegang tot de observaties van andere robots of "geprivilegieerde informatie" over het object (zoals exacte vorm, massa of wrijving). Dit creëert twee fundamentele problemen die vaak leiden tot inefficiënt en onstabiel trainen:

1. Partiële waarneembaarheid: Robots moeten object-afhankelijke representaties infereren uit beperkte sensorische input.
2. Non-stationariteit in MARL: In Multi-Agent Reinforcement Learning (MARL) verandert het gedrag van andere agents tijdens het trainen, waardoor de omgeving voor elke agent niet-stationair wordt.

Bestaande benaderingen optimaliseren vaak de representatielering en de coördinatiebeleid (policy) gezamenlijk in een end-to-end proces. Dit leidt tot een strukturele koppeling: onnauwkeurige representaties destabiliseren de coördinatie, terwijl de non-stationariteit van MARL de representatielering verder verslechtert. Dit resulteert in een lage sample-efficiency en instabiel leren.

Methodologie: DeReCo Framework

De auteurs stellen DeReCo (Decoupling Representation and Coordination) voor, een nieuw MARL-framework dat de representatielering en de coördinatielearning expliciet ontkoppelt. Dit wordt bereikt via een driefasen trainingsstrategie:

1. Fase 1: Gecentraliseerde coördinatielearning met geprivilegieerde informatie.

   • Tijdens deze fase wordt een beleid getraind onder een CTDE-omgeving (Centralized Training with Decentralized Execution).
   • De criticus en de actor krijgen toegang tot geprivilegieerde informatie (PI) over het object (vorm, massa, wrijving).
   • Doel: Het vestigen van een stabiel coördinatiebeleid zonder de interferentie van het leren van objectrepresentaties onder partiële waarneembaarheid.

2. Fase 2: Lereren van een adaptieve encoder (Supervised Learning).

   • Een adaptieve encoder wordt getraind om object-afhankelijke representaties te reconstrueren puur op basis van lokale observaties.
   • De encoder wordt getraind als een supervised learning probleem, waarbij de doelrepresentaties (ground truth) worden gegenereerd door de encoder uit Fase 1 (die toegang had tot PI).
   • Doel: Het ontkoppelen van het leren van de representatie van het coördinatiebeleid.

3. Fase 3: MARL met adaptieve encoder voor gedecentraliseerde uitvoering.

   • Het coördinatiebeleid wordt opnieuw getraind (fine-tuned) onder CTDE, maar nu zonder directe toegang tot geprivilegieerde informatie voor de actor.
   • De actor gebruikt de in Fase 2 getrainde (en nu ingevroren) adaptieve encoder om de objectrepresentaties te reconstrueren uit lokale observaties.
   • De criticus gebruikt tijdens de training nog steeds PI om non-stationariteit te mitigeren, maar de actor leert om te opereren met alleen lokale data.
   • Doel: Het creëren van een beleid dat stabiel en sample-efficiënt is voor gedecentraliseerde uitvoering op onbekende objecten.

Belangrijkste Bijdragen

• Ontkoppeling van Leren: DeReCo introduceert een architectuur die de representatielering onder partiële waarneembaarheid ontkoppelt van de coördinatielearning in MARL onder non-stationariteit. Dit lost het probleem van wederzijdse interferentie op.
• Driefasen Strategie: Een innovatieve trainingscyclus die eerst stabiliteit bereikt met PI, vervolgens een encoder leert om PI te simuleren, en tenslotte het beleid overzet naar een volledig gedecentraliseerde setting.
• Robuuste Generalisatie: Het framework is specifiek ontworpen om te generaliseren naar objecten met verschillende vormen, massa's en wrijvingscoëfficiënten die niet tijdens het trainen zijn gezien.

Resultaten

De auteurs hebben DeReCo geëvalueerd in simulatie (met twee Human Support Robots - HSRs) en in echte hardware-experimenten.

• Simulatie (Training Performance):

  • DeReCo presteerde significant beter dan baselines (zoals MAPPO zonder PI of met LSTM) in termen van tracking-reward tijdens het trainen.
  • Het bewijst dat het ontkoppelen van representatie en coördinatie leidt tot stabielere en snellere convergentie.

• Simulatie (Generalisatie):

  • Getraind op 3 objectvormen, getest op 9 objecten (3 gezien, 6 ongezien).
  • DeReCo behaalde een succespercentage van 80% op de 6 ongezien objecten, wat aanzienlijk hoger is dan de beste baseline (MAPPO w/o AE + LSTM op ~40-50%).
  • Het vermijdt vooral "transport failures" (het object dragen zonder te laten vallen maar niet de doellocatie te bereiken), wat de grootste uitdaging was voor andere methoden.

• Hardware Experimenten (Real-World):

  • Getest op twee ongezien objecten (een bord en een frame) met echte HSR-robots.
  • DeReCo slaagde in 5/5 trials voor het bord en 4/5 voor het frame, met een gemiddelde foutmarge van < 0.1m.
  • De beste baseline (MAPPO w/o AE) faalde in alle transportpogingen; het object viel om of bereikte niet de doellocatie.
  • Dit bevestigt een succesvolle sim-to-real transfer zonder extra fine-tuning op de echte robots.

Betekenis en Impact

Dit werk is significant omdat het een fundamentele beperking in bestaande MARL-toepassingen voor multi-robot samenwerking oplost: de afhankelijkheid van end-to-end training die instabiel wordt bij variatie in objecteigenschappen.

• Praktische Toepasbaarheid: Het maakt multi-robot samenwerking robuust in dynamische omgevingen waar robots objecten moeten vervoeren waarvan ze de fysieke eigenschappen niet van tevoren kennen.
• Efficiëntie: Door het ontkoppelen van de leerprocessen wordt de sample-efficiency verbeterd, wat cruciaal is voor het trainen van complexe robottaken.
• Toekomstige Richting: Hoewel het momenteel beperkt is tot twee robots, biedt het framework een solide basis voor schaalbaarheid naar grotere teams en complexere objectdomeinen, wat een belangrijke stap is naar echt autonome robotteams in logistiek en zorg.