Agile Flight Emerges from Multi-Agent Competitive Racing

Dit artikel toont aan dat multi-agent competitie met een spaarzame 'winnen'-beloning leidt tot het ontstaan van agile vlucht en strategieën die beter presteren en beter overdragen naar de echte wereld dan traditionele single-agent training met gedetailleerde gedragsbeloningen.

De kern

Stel je voor dat je twee drone-piloten wilt trainen om razendsnel door een moeilijk parcours te vliegen. De traditionele manier om dit te doen, is als een streng leraar die de drone vertelt: "Vlieg precies langs deze lijn, houd deze snelheid aan en raak die paal niet." Je geeft de drone een heel gedetailleerd stappenplan.

De onderzoekers in dit artikel hebben echter een heel andere, slimme aanpak geprobeerd. Ze hebben de drones niet verteld hoe ze moesten vliegen, maar alleen wat het doel was: Win de race.

Hier is hoe hun onderzoek werkt, uitgelegd met een paar alledaagse vergelijkingen:

1. De "Leraar" vs. De "Wedstrijd"

• De oude manier (Dichte beloningen): Stel je voor dat je een kind leert fietsen door te zeggen: "Houd je linkerhand op het stuur, trap precies 60 keer per minuut en kijk 2 meter vooruit." Als het kind afwijkt, krijgt het een tik op de vingers. Dit werkt goed op een rechte weg, maar als er plotseling een boom in de weg staat, raakt het kind in paniek omdat het niet weet hoe het moet omrijden. Het kind is te bezig met het volgen van de regels om te reageren op de situatie.
• De nieuwe manier (Schaarse beloningen): Nu stel je twee kinderen voor een wedstrijd. Je zegt alleen: "Wie als eerste over de finish komt, wint." Je vertelt ze niets over hoe ze moeten fietsen. Wat gebeurt er? Ze leren vanzelf hoe ze snel kunnen peddelen, hoe ze een bocht kunnen nemen, en hoe ze elkaar kunnen blokkeren of inhalen. Ze ontwikkelen strategieën omdat ze tegen elkaar vechten, niet omdat ze een boekje hebben gelezen.

2. Wat gebeurde er met de drones?

De onderzoekers lieten twee drones in een virtuele wereld tegen elkaar racen. Ze gaven hen alleen een beloning als ze de race wonnen. Geen instructies over snelheid, geen instructies over hoe ze een obstakel moesten ontwijken.

Het resultaat was verrassend:

• Agiliteit: De drones leerden vanzelf extreem snel en wendbaar te vliegen, tot aan de fysieke limieten van het toestel.
• Strategie: Ze leerden slimme trucs. Als de tegenstander een obstakel naderde, probeerde de ene drone de ander te blokkeren of in te halen op een slimme manier. Ze gedroegen zich als echte racepiloten, niet als robots die een lijn volgen.
• Overleven: Als de ene drone crashte, werd de andere drone direct voorzichtig. Ze hoefden niet meer te racen, dus ze vlogen veilig naar de finish. Dit noemen ze "risicobewustzijn".

3. De "Magische" Sprong naar de Wereld

Het meest indrukwekkende deel van het verhaal is wat er gebeurde toen ze de drones uit de computer haalden en in de echte wereld zetten (met echte hardware en echte wind).

• De oude methode: Drones die in de computer waren getraind met gedetailleerde instructies, faalden vaak in de echte wereld. Ze waren te star. Als de wind een beetje anders waaide dan in de computer, raakten ze de bocht kwijt.
• De nieuwe methode: De drones die hadden geleerd door te racen tegen elkaar, werkten direct in de echte wereld! Ze waren veel robuuster. Waarom? Omdat ze in de simulatie hadden geleerd om met onvoorspelbaarheid om te gaan. Ze hadden geleerd dat de wereld chaotisch kan zijn en dat je je strategie moet aanpassen. Ze waren niet afhankelijk van een perfect stappenplan, maar van een gevoel voor de race.

4. De Les voor de Toekomst

De kernboodschap van dit papier is als volgt:
In plaats van robots te programmeren met duizenden regels over hoe ze zich moeten gedragen (zoals "vlieg niet te snel" of "draai niet te hard"), moeten we ze simpelweg een doel geven en ze tegen elkaar laten spelen.

Het is alsof je niet probeert een voetballer te leren door te zeggen "trap de bal met je linkervoet", maar door ze twee teams te laten spelen. Uiteindelijk leren ze vanzelf hoe ze moeten dribbelen, passen en scoren, en ze worden vaak beter dan de trainers die alleen maar regels hebben opgeschreven.

Kortom: Door drones tegen elkaar te laten racen met alleen de beloning "win de race", ontstaan er vanzelf slimme, snelle en aanpasbare piloten die zelfs beter presteren in de echte wereld dan drones die met de hand zijn getraind.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Agile Flight Emerges from Multi-Agent Competitive Racing" in het Nederlands.

Probleemstelling

Drone-racen is een uitdagende benchmark voor autonoom besturingssysteem, waarbij beslissingen onder tijdsdruk en met weinig tolerantie voor fouten nodig zijn. Hoewel Reinforcement Learning (RL) succesvol is gebleken in dit domein, zijn de meeste bestaande benaderingen sterk gebonden aan dichte beloningsfuncties (dense rewards). Deze functies geven vaak feedback op basis van voortgang langs een vooraf bepaald racepad (bijv. afstand tot de volgende poort).

De auteurs identificeren twee fundamentele beperkingen van deze aanpak:

1. Beperkte strategie: Dichte beloningen dwingen agenten om een traject te volgen dat lijkt op klassieke trajectoptimalisatie. Dit belemmert het leren van tactische gedragingen zoals inhalen, blokkeren of het vermijden van botsingen, omdat deze gedragingen vaak afwijken van het "ideale" racepad.
2. Slecht Sim-to-Real transfer: Polities getraind met dichte, voorschrijvende beloningen transfereren minder betrouwbaar naar de echte wereld, vooral wanneer de complexiteit van de omgeving toeneemt (bijv. door obstakels).

De centrale vraag is: Kunnen RL-agenten racestrategieën en wendbare vlucht (agile flight) leren puur op basis van een schaarse, uitkomstgerichte beloning (winnen), zonder gedetailleerde gedragsvoorschriften?

Methodologie

De auteurs presenteren een aanpak waarbij drone-racen wordt geformuleerd als een multi-agent competitie met een schaarse beloningsstructuur.

1. Formulering als Multi-Agent Spel:

• Het probleem wordt gemodelleerd als een Decentralized Markov Decision Process (Dec-MDP) tussen twee agenten: de "ego" en de "adversary".
• Beide agenten worden gezamenlijk geoptimaliseerd om een competitieve, schaarse taakbeloning te maximaliseren.

2. Beloningsfunctie (Sparse Rewards):
In plaats van voortgang langs een lijn te belonen, gebruiken de auteurs uitsluitend outcome-based beloningen:

• $r_{pass}$: Beloning voor het passeren van een poort voordat de tegenstander dit doet.
• $r_{lap}$: Bonus voor het als eerste een volledige ronde voltooien.
• $r_{cmd}$: Regularisatie voor energiebesparing (minimaliseren van commando's).
• $r_{crash}$: Straf voor crashes of het verlaten van de baan.
• Er is geen expliciete beloning voor snelheid of het volgen van een racelijn.

3. Architectuur en Training:

• Algoritme: IPPO (Independent PPO), een multi-agent variant van Proximal Policy Optimization. Elke agent heeft zijn eigen policy en criticus netwerk.
• Observaties: De agenten ontvangen ego-gerichte toestanden (snelheid, oriëntatie, positie van poorten) en schattingen van de tegenstander (positie en snelheid), verkregen via een Vicon motion capture-systeem.
• Simulatie: Training vindt plaats in Isaac Sim met een Crazyflie 2.1 drone-model, inclusief aerodynamische effecten en domain randomization.
• Implementatie: De gepoliceerde netwerken voorspellen gewenste lichaamssnelheden en stuwkracht, die worden omgezet naar motorcommando's via een lage-niveau PID-controller.

Belangrijkste Bijdragen

1. Emergentie van Gedrag: Het tonen dat het formuleren van autonoom drone-racen als een competitief multi-agent probleem leidt tot het natuurlijk ontstaan van wendbare vlucht en tactische gedragingen (zoals inhalen en blokkeren) zonder expliciete gedragsbeloningen.
2. Superioriteit t.o.v. Dichte Beloningen: Het aantonen dat deze aanpak beter presteert dan traditionele dichte voortgangsbeloningen, vooral bij toenemende track-complexiteit (obstakels), en dat het leidt tot betere prestaties in head-to-head races.
3. Verbeterde Sim-to-Real Transfer: Het bewijzen dat polities getraind met schaarse competitieve beloningen betrouwbaarder overdragen naar fysieke hardware dan polities getraind met dichte beloningen, ondanks het gebruik van dezelfde simulatieomgeving en hardware.
4. Generalisatie: Het tonen aan dat de gepoliceerde strategieën generaliseren naar tegenstanders die niet tijdens de training zijn gezien.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd in simulatie en de echte wereld op twee tracks: een complexe track (CT) en een lemniscate-track (LT), met en zonder obstakels.

• Single-Agent Beperkingen: Polities getraind met dichte beloningen (DS) presteerden uitstekend op lege tracks (100% succes), maar faalden volledig bij aanwezigheid van obstakels (0% succes), omdat ze niet durfden af te wijken van het racepad.
• Head-to-Head Races (Simulatie):
  • De auteurs' methode ("Ours", Sparse Multi-Agent) behaalde een gemiddelde winratio van 91,17% tegen andere baselines.
  • Ze versloegen de dichte single-agent baselines in 100% van de races op de lemniscate-track en 84% op de complexe track.
  • Polities getraind met dichte beloningen plus een extra "inhaal"-term (DM) presteerden slechter dan de pure dichte versie, wat wijst op de moeilijkheid om dichte beloningen te balanceren.
• Sim-to-Real Transfer:
  • Bij overdracht naar echte drones was de kloof tussen simulatie- en realiteitssnelheid voor de auteurs' methode 44,7% kleiner dan voor de dichte baseline.
  • De faal- en botsingsratio's in de echte wereld waren aanzienlijk lager voor de auteurs' methode.
  • Alleen de auteurs' methode slaagde erin de track met obstakels in de echte wereld succesvol te voltooien.
• Strategisch Gedrag: Analyse van trajecten toonde aan dat de agenten risicovolle, agressieve manoeuvres (zoals blokkeren en inhalen) leerden. Zodra de tegenstander crashte, werd de agent risicomijdend en vertraagde hij, wat aantoont dat ze de context van de wedstrijd begrijpen.
• Trainingsstabiliteit: Hoewel multi-agent training meer variatie vertoonde dan single-agent training (door de competitieve dynamiek), convergeren alle runs naar competitieve polities.

Significantie en Conclusie

Dit werk markeert een verschuiving in de visie op besturing in de fysieke wereld. In plaats van controllers te ontwerpen die specifiek gedrag voorschrijven (zoals het volgen van een lijn), toont het aan dat het optimaliseren van taak-niveau doelen (winnen) via competitieve multi-agent learning voldoende is om complexe, lage-niveau controle en tactiek te laten ontstaan.

De belangrijkste implicatie is dat schaarse, competitieve beloningen niet alleen gedrag laten "emergere" dat robuuster is tegenover obstakels, maar ook leidt tot polities die veel beter overdragen van simulatie naar de realiteit. Dit opent de deur voor het trainen van autonome systemen in complexe, dynamische omgevingen zonder de noodzaak van handmatig ontworpen, gedetailleerde beloningsfuncties.