Technische Samenvatting: CrazyMARL

Probleemstelling

Gezamenlijk transport van door kabels opgehangen ladingen door teams van Unmanned Aerial Vehicles (UAV's) biedt aanzienlijk potentieel voor het vergroten van de laadcapaciteit en het aanpassen aan onregelmatige lasten. Echter, het besturen van dergelijke systemen is uitdagend vanwege complexe penduldynamica, spanning-koppeling en de overgang tussen "slappe" en "gespannen" kabelmodi. Bestaande besturingsstrategieën kampen met specifieke beperkingen:

• Modelgebaseerde benaderingen vertrouwen vaak op starre staaf-aannames voor kabels, die falen in het vastleggen van hybride dynamica (slack-taut transities) en de wendbaarheid beperken. Centralistische methoden lijden onder schaalbaarheidsbottlenecks en single points of failure, terwijl gedecentraliseerde modelgebaseerde controllers mogelijk een gebrek aan prestatiegaranties hebben of moeite hebben met iteratieve communicatie.
• Reinforcement Learning (RL) benaderingen hebben veelbelovende resultaten getoond in single-agent scenario's en sommige multi-agent taken, maar eerder werk in multi-UAV payload transport heeft grotendeels vertrouwd op starre verbindingen of Centralized Training with Decentralized Execution (CTDE) architecturen die communicatie-overhead vereisen.
• Hardwarebeperkingen: De meeste bestaande methoden adresseren niet de besturing van meerdere robots die opereren op resource-beperkte microcontrollers (bijv. Crazyflie 2.1) nabij hun actuatielimieten, waar een lage thrust-to-weight ratio zorgt voor operaties dicht bij motorverzadiging.

Methodologie

De auteurs stellen CrazyMARL voor, een gedecentraliseerd Multi-Agent Reinforcement Learning (MARL) framework ontworpen voor coöperatief luchttransport met realistische kabeldynamica.

1. Framework en Architectuur

• Algoritme: Het systeem maakt gebruik van Independent Proximal Policy Optimization (IPPO) met parameter sharing. Dit volgt een volledig gedecentraliseerd executieregime waarbij elke agent handelt op basis van lokale observaties zonder inter-robot communicatie, wat schaalbaarheidsbottlenecks voorkomt.
• Trainingspipeline: Training wordt end-to-end uitgevoerd met behulp van JAX en MuJoCo MJX op GPU's, wat duizenden parallelle omgevingen mogelijk maakt. Deze high-throughput setup maakt uitgebreide domain randomization (DR) mogelijk binnen een korte tijdspanne (2 miljard stappen in 70 minuten).
• Observatieruimte: Elke agent $i$ ontvangt een lokale observatie $o^i_t$ bestaande uit:
  • Payload fout ($e^P_t$) en snelheid ($v^P_t$).
  • Relatieve positie ($\delta^i_t$), oriëntatie ($vec(R^i_t)$), en snelheden ($v^i_t, \omega^i_t$) van de agent.
  • De vorige actie van de agent ($a^i_{t-1}$).
  • Relatieve posities van teamgenoten ($\{\delta^j_t\}_{j \neq i}$) voor coördinatie.
• Actieruimte: Agents genereren genormaliseerde motorcommando's die direct worden toegewezen aan Pulse Width Modulation (PWM) duty cycles bij 250 Hz. Het beleid omzeilt low-level cascaded controllers (bijv. PID of thrust mixing) en mapt direct naar motoractuatie om effectief te opereren nabij fysieke limieten.

2. Simulatie en Dynamica

• Hybride Kabelmodel: In tegenstelling tot eerder werk dat starre staven gebruikt, hanteert de simulatie Mujoco tendons om kabels te modelleren die alleen spanning uitoefenen wanneer ze gespannen zijn en nul kracht uitoefenen wanneer ze slap zijn. Dit legt de hybride slack-taut dynamica vast die essentieel is voor wendbare manoeuvres.
• Domain Randomization (DR): Om een robuuste sim-to-real transfer te garanderen, incorporeert de training de randomisatie van:
  • Initiële staten (inclusief starts vanaf de grond en slappe kabels).
  • Actuatorparameters (thrust caps, tijdconstanten, motor offsets).
  • Observatieruis en stochastische externe verstoringen (wind, duwtjes).
  • Doelposities.

3. Beloningsontwerp (Reward Design)

Een modulaire, samengestelde beloningsfunctie $r = r_{track} \cdot r_{stable} + r_{safe}$ wordt gebruikt:

• Tracking ($r_{track}$): Minimaliseert payload fout en brengt de payload snelheid in lijn met het doel.
• Stabiliteit ($r_{stable}$): Bestraft excessieve zwaai, kanteling en snelheid, terwijl het gespannen kabels aanmoedigt.
• Veiligheid ($r_{safe}$): Moedigt vloeiende acties, gebalanceerde motor thrust en botsingsvermijding aan.
  De beloningscomponenten zijn begrensd tussen [0, 1] om vloeiende gradiënten te faciliteren en te voorkomen dat de agent leert om episodes voortijdig te beëindigen.

Belangrijkste Bijdragen

1. End-to-End Gedecentraliseerde Controle: De eerste demonstratie van een volledig gedecentraliseerd MARL-beleid voor multi-UAV kabel-opgehangen transport dat directe motor PWM-commando's genereert zonder low-level cascades, specifiek afgestemd op resource-beperkte platforms zoals de Crazyflie 2.1.
2. Hybride Kabeldynamica: Het framework modelleert en leert expliciet de transities tussen de slappe en gespannen kabelmodus te controleren, een capaciteit die voorheen onbehandeld bleef in multi-UAV contexten die doorgaans starre verbindingen aannamen.
3. Zero-Shot Sim-to-Real Transfer: Succesvolle implementatie van het geleerde beleid op echte hardware (Crazyflie 2.1) zonder fine-tuning, wat robuustheid aantoont tegen wind, externe duwtjes en harde initiële condities.
4. High-Throughput Trainingspipeline: Een GPU-geparalleliseerde JAX/MJX pipeline die complexe multi-robot beleidsregels in minuten traint, wat de iteratiecyclus aanzienlijk versnelt vergeleken met traditionele methoden.

Experimentele Resultaten

Simulatie

• Verstoringsonderdrukking: In harde herstelscenario's (gerandomiseerde initiële staten, inclusend starts vanaf de grond en slappe kabels) behaalde het CrazyMARL-beleid een herstelpercentage van 80% (797/1000 pogingen), wat aanzienlijk beter is dan de baseline modelgebaseerde controller (44% succespercentage).
• Wendbaarheid: Het geleerde beleid behield een gemiddelde snelheid van 0,58 m/s vergeleken met 0,27 m/s voor de baseline, met snellere demping van de payload zwaai en directere trajecten.
• Generalisatie: Het beleid generaliseerde goed naar variaties in kabellengte, payload massa en observatieruis, hoewel de prestaties afnamen bij zeer lange kabels (>1m) of extreme ruis-schalen.
• Schaalbaarheid: Het systeem schaalde succesvol van 1 naar 3 quadrotors. Hoewel 6-quadrotor teams coördinatielimieten vertoonden (vroegtijdige beëindiging), demonstreerde het framework effectieve lastverdeling en herstel voor kleinere teams.

Hardware (Real-World)

• Platform: Geïmplementeerd op twee Crazyflie 2.1 quadrotors die een 10g payload dragen.
• Prestaties: Het systeem voerde autonome take-offs uit en behield een stabiele vlucht onder windsnelheden van gemiddeld 3,5 m/s.
• Precisie: Het beleid handhaafde een positie-houdend Root Mean Square Error (RMSE) van 0,077 m in wind, een marginale toename ten opzichte van de 0,064 m RMSE in kalme omstandigheden.
• Robuustheid: De robots herstelden succesvol van sterke externe duwtjes en behielden figuur-acht trajecten met de payload, vaardigheden die de baseline controller niet kon bereiken.

Betekenis en Claims

Het artikel claimt dat CrazyMARL een schaalbare, veerkrachtige oplossing biedt voor coöperatieve aerial manipulatie in ongestructureerde omgevingen. Door gedecentraliseerde executie te combineren met directe motorcontrole en realistische hybride kabeldynamica, stelt het werk UAV-teams in staat om nabij hun fysieke actuatielimieten te opereren terwijl ze verstoringen afweren. De auteurs positioneren dit als een stap naar autonome teams die in staat zijn tot complexe payload missies waar traditionele modelgebaseerde controllers worstelen door onnauwkeurigheden in modellering en communicatie-overhead. De succesvolle zero-shot transfer naar hardware met robots met een lage thrust-to-weight ratio benadrukt de praktische levensvatbaarheid van high-frequency, end-to-end RL-policies in real-world scenario's.