Generative adversarial imitation learning for robot swarms: Learning from human demonstrations and trained policies

Dit artikel presenteert een generatief adversariaal imitatieleerframework dat robotzwermen in staat stelt collectief gedrag te leren van zowel menselijke demonstraties als getrainde beleidsstrategieën, met succesvolle validatie in simulatie en echte TurtleBot 4-robotexperimenten.

De kern

Stel je voor dat je een hele school met kleine, slimme robots hebt. Deze robots werken samen als een zwerm (zoals een zwerm vogels of vissen), maar ze zijn allemaal hetzelfde en ze kunnen alleen kijken wat er direct om hen heen gebeurt. Ze hebben geen centrale "hoofd" die zegt wat ze moeten doen.

Het grote probleem is: hoe leer je zo'n zwerm iets nieuws? Vaak moeten programmeurs heel lang proberen en fouten maken om het juiste gedrag te vinden.

De auteurs van dit paper hebben een slimme oplossing bedacht: Leer van voorbeelden, net zoals een kind leert.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het idee: De "Kookboek"-methode

Stel je voor dat je wilt leren koken. Je kunt proberen om een recept uit je hoofd te bedenken (dat is wat programmeurs vaak doen: ze proberen een formule te vinden). Maar het is veel makkelijker om naar een meesterkok te kijken en te zien hoe hij het doet.

In de robotwereld noemen we dit Imitatie Leren. De robots kijken naar een "demonstratie" (een voorbeeld) en proberen dat na te bootsen.

2. De uitdaging: De "Zwerm-Geest"

Het lastige bij een zwerm is dat je niet naar één robot kunt kijken. Je moet kijken naar het geheel.

• Vergelijking: Als je naar één danser in een dansgroep kijkt, zie je niet de hele choreografie. Je moet naar de hele groep kijken om te zien of ze mooi synchroon bewegen.

De auteurs hebben een systeem bedacht dat niet kijkt naar de beweging van één robot, maar naar de "sfeer" van de hele groep:

• Hoe snel bewegen ze gemiddeld?
• Houden ze de groep bij elkaar of verspreiden ze zich?
• Hoe vaak bezoeken ze bepaalde plekken?

3. De methode: Een spelletje "Vals Speuren" (GAIL)

Hoe leer je de robots nu precies? Ze gebruiken een techniek die Generative Adversarial Imitation Learning (GAIL) heet. Dit kun je zien als een spelletje tussen twee personen:

1. De Vervalsmaker (De Generator): Dit is de robot die probeert het gedrag na te bootsen. Hij zegt: "Kijk, ik beweeg precies zoals de meester!"
2. De Detective (De Discriminator): Dit is een slimme observer die kijkt naar de hele zwerm. Hij moet beslissen: "Is dit echt de meesterkok (de demonstratie) of is dit een vervalsing (de robot die het probeert)?"

Het spel:

• De Detective probeert de vervalsing te ontmaskeren.
• De Vervalsmaker probeert zo goed mogelijk te doen alsof hij de echte meester is, zodat de Detective in de war raakt.
• Na veel, veel rondes van dit spel, wordt de Vervalsmaker zo goed dat hij niet meer te onderscheiden is van de echte meester. Dan heeft de robot het gedrag perfect geleerd.

4. Twee soorten leraren

De auteurs hebben getest met twee soorten "meesters":

1. Een mens: Een echte persoon die met een joystick de robots bestuurt via een computerspelletje.
2. Een andere AI: Een robot die al eerder door een computer is getraind om slim te zijn (met een methode genaamd PPO).

Het verrassende resultaat:
De menselijke demonstraties waren vaak beter dan de getrainde AI, vooral bij complexe taken.

• Vergelijking: Een mens kan intuïtief zien hoe een groep zich moet gedragen, terwijl de getrainde AI soms vastloopt in rare patronen die niet echt logisch zijn voor een zwerm.

5. De proef in het echt: Van virtueel naar realiteit

Ze hebben de geleerde robots niet alleen in de computer getest, maar ook in het echt, met echte TurtleBot 4-robots (kleine robotautootjes).

• Wat ging goed: De robots deden in het echt precies wat ze in de computer hadden geleerd. Ze vormden groepen, verspreidden zich en bewogen in de juiste richting. Het gedrag was herkenbaar, net als in de simulatie.
• Wat ging minder goed: In de echte wereld zijn robots bang om tegen elkaar aan te botsen. Ze hebben een "veiligheidsnet" (hardware protection) dat ze laat stoppen als ze te dicht bij elkaar komen. In de computer was dit niet zo streng. Hierdoor stopten de echte robots iets eerder dan verwacht, maar ze deden het nog steeds heel goed.

Conclusie

Dit paper laat zien dat je een hele zwerm robots kunt leren door ze te laten kijken naar een voorbeeld (van een mens of een andere AI), zonder dat je ingewikkelde wiskundige formules hoeft te bedenken.

Het is alsof je een dansgroep niet uitlegt hoe ze moeten dansen, maar ze gewoon laat kijken naar een video van een perfecte dans, waarna ze het zelf proberen te doen tot ze er perfect uit zien. En het werkt zelfs als je de dansers van het scherm naar de echte dansvloer verplaatst!

Technische samenvatting

Probleemstelling

Het ontwerpen van besturingssoftware voor robotzwermen (swarms) is een complexe uitdaging. Hoewel robotzwermen voordelen bieden zoals schaalbaarheid, flexibiliteit en robuustheid, is het programmeren van collectief gedrag lastig omdat dit emergent is uit lokale interacties. Traditionele methoden vertrouwen vaak op trial-and-error of het definiëren van een optimalisatieprobleem met een specifieke beloningsfunctie (reward function). Het definiëren van deze beloningsfuncties is echter riskant: als ze te simpel zijn, missen ze nuance; als ze te complex zijn, kunnen robots "reward hacking" toepassen (ze vinden een manier om de score te maximaliseren zonder het gewenste gedrag te vertonen).

Imitatielearning (IL) biedt een alternatief waarbij een robot leert van demonstraties in plaats van een expliciete beloningsfunctie. Echter, de meeste bestaande IL-werk in zwermrobotica vereist dat er al een geslaagde policy bestaat om demonstraties van te genereren (een "bootstrapping-paradox"). Er is weinig onderzoek naar het direct gebruiken van demonstraties van menselijke operators voor een hele zwerm, en hoe dit zich verhoudt tot demonstraties gegenereerd door getrainde AI-modellen.

Methodologie

De auteurs stellen een framework voor genaamd SwarmGAIL, gebaseerd op Generative Adversarial Imitation Learning (GAIL), specifiek aangepast voor robotzwermen.

1. Aanpak als Single-Agent Probleem:
   In plaats van een gedecentraliseerde multi-agent GAIL te gebruiken, reduceren ze het probleem tot een single-agent imitatielearning-probleem. Een enkele policy (generator) wordt getraind en vervolgens in een "round-robin" modus toegepast op elke robot in de zwerm. Omdat de policy alleen lokale observaties gebruikt, kan deze gedecentraliseerd worden gedeployed.

2. Zwerm-niveau Kenmerken (Swarm-level Features):
   De discriminator (de tegenstander in het GAIL-systeem) maakt geen gebruik van lokale observaties van individuele robots, maar van collectieve kenmerken om het gedrag van de hele zwerm te beoordelen. Er worden vijf kenmerken gedefinieerd:

   • Gemiddelde snelheid.
   • Groepering (afstand tot het zwaartepunt van de zwerm).
   • Dekking (hoe goed het gebied wordt afgedekt).
   • Kleur-bezoekfrequentie (hoe vaak robots specifieke gekleurde zones bezoeken).
   • Kleur-reistijd (tijd om tussen gekleurde zones te wisselen).

3. Demonstratie Tool:
   De auteurs hebben een demonstratietool ontwikkeld (gebaseerd op Unity) waarmee menselijke operators een zwerm van drie TurtleBot 4-robots kunnen besturen via hoog-niveau commando's (zoals "Stop", "Random", "Come", "Leave", "Deploy"). Dit vermijdt de complexiteit van het handmatig besturen van individuele motoren.

4. Architectuur:

   • Generator (Policy): Een Multi-Layer Perceptron (MLP) getraind met Proximal Policy Optimization (PPO).
   • Discriminator: Een MLP die probeert te onderscheiden tussen gedrag gegenereerd door de policy en gedrag uit de demonstraties, gebaseerd op de zwerm-kenmerken.
   • Input: De policy ontvangt lokale sensordata (LiDAR, bumper, grondkleur, eigen snelheid), maar de discriminator ontvangt alleen de samengevoegde zwerm-kenmerken.

Experimentele Opzet

Het framework werd getest op zes verschillende missies:

• Statisch: Standing Still (stilzitten).
• Snelheid: Full Speed (maximale snelheid) en Controlled Speed (constante snelheid).
• Zwerm-dynamiek: Aggregation (samenscholen) en Dispersion (verspreiden).
• Complex: Foraging (items verzamelen en afleveren in gekleurde zones).

Voor elke missie werden twee soorten demonstraties gebruikt:

1. Menselijke demonstraties: Handmatig gegenereerd via de tool.
2. PPO-demonstraties: Gedemonstreerd door een policy die eerst was getraind met Reinforcement Learning (PPO).

Elke missie werd uitgevoerd in simulatie en vervolgens gevalideerd op een echte zwerm van TurtleBot 4-robots.

Belangrijkste Resultaten

1. Mens vs. AI Demonstraties:

   • Menselijke demonstraties en PPO-demonstraties leverden over het algemeen vergelijkbare prestaties op.
   • Menselijke demonstraties hadden echter minder variantie (consistentie) dan PPO-demonstraties.
   • In complexe missies zoals Foraging presteerden menselijke demonstraties aanzienlijk beter dan PPO-demonstraties. Mensen konden effectieve strategieën vinden die de AI niet zelfstandig ontdekte.

2. Leerprestaties (GAIL):

   • De imitatielearning slaagde erin kwalitatief betekenisvol gedrag te leren dat vergelijkbaar presteerde met de demonstraties voor de meeste missies (Standing Still, Full Speed, Aggregation, Dispersion).
   • Full Speed: De geleerde policy presteerde zelfs beter dan de menselijke demonstratie door slim gebruik te maken van hoeksnelheid om botsingen te voorkomen, in plaats van te draaien op de plaats (zoals de mens deed).
   • Controlled Speed & Foraging: Hier faalde de imitatielearning. Bij Controlled Speed kon de policy de constante snelheid niet nabootsen. Bij Foraging faalde de policy omdat de zwerm-kenmerken (zoals kleurbezoek) te moeilijk te repliceren waren voor de robot, waardoor de discriminator de gegenereerde data te makkelijk onderscheidde van de demonstraties.

3. Real-World Validatie:

   • De getrainde policies werden succesvol gedeployed op echte TurtleBot 4-robots.
   • Het gedrag bleef visueel herkenbaar en vergelijkbaar met de simulatie.
   • Een belangrijke bevinding was het effect van de hardware-beschermingslaag op de echte robots (die botsingen voorkomt door te stoppen). Dit veroorzaakte een "reality gap": in missies zoals Aggregation en Full Speed vertraagden de robots onbedoeld, wat de prestaties beïnvloedde. Interessant genoeg verbeterde dit de prestaties bij Controlled Speed in de realiteit.

Bijdragen en Significantie

• Nieuw Framework voor Zwermen: Het paper introduceert een effectieve methode om collectief gedrag te leren via GAIL, waarbij het probleem wordt gemodelleerd als een single-agent probleem met zwerm-kenmerken in de discriminator.
• Menselijke Demonstraties: Het demonstreert dat menselijke operators direct gedrag kunnen demonstreren voor een hele zwerm zonder dat er eerst een expert-policy bestaat, wat de bootstrapping-paradox oplost.
• Real-World Deploy: Het is een van de weinige werken dat imitatielearning voor zwermen succesvol overbrengt van simulatie naar echte robots (TurtleBot 4), inclusief analyse van de "reality gap".
• Inzicht in Kenmerken: Het onderzoek benadrukt het belang van het zorgvuldig selecteren van zwerm-kenmerken. Onjuiste kenmerken (zoals bij Foraging) kunnen leiden tot falen van de imitatielearning, zelfs als het gedrag visueel lijkt te werken.

Conclusie:
De auteurs concluderen dat hun SwarmGAIL-framework een veelbelovende route is voor het programmeren van robotzwermen via imitatielearning. Hoewel er uitdagingen blijven bij het nabootsen van zeer complexe dynamische gedragingen en bij het overbruggen van de kloof tussen simulatie en realiteit (vooral door hardware-beperkingen), toont het aan dat menselijke demonstraties een krachtige en soms superieure bron zijn voor het trainen van zwermgedrag.