Sintesi Tecnica: CrazyMARL

Definizione del Problema

Il trasporto collaborativo di carichi sospesi tramite cavi da parte di team di UAV (Unmanned Aerial Vehicles) offre un potenziale significativo per aumentare la capacità di carico e adattarsi a carichi irregolari. Tuttavia, il controllo di tali sistemi è complesso a causa della complessa dinamica del pendolo, dell'accoppiamento della tensione e della transizione tra le modalità di cavo "lasco" (slack) e "teso" (taut). Le strategie di controllo esistenti affrontano limitazioni specifiche:

• Gli approcci basati su modelli spesso si affidano ad assunzioni di aste rigide per i cavi, che non riescono a catturare le dinamiche ibride (transizioni slack-taut) e limitano l'agilità. I metodi centralizzati soffrono di colli di bottiglia nella scalabilità e di singoli punti di guasto, mentre i controllori decentralizzati basati su modelli possono mancare di garanzie di prestazione o avere difficoltà con la comunicazione iterativa.
• Gli approcci di Reinforcement Learning (RL) hanno mostrato promesse in scenari single-agent e in alcuni compiti multi-agente, ma il lavoro precedente nel trasporto di carichi con multi-UAV si è ampiamente basato su assunzioni di collegamenti rigidi o su architetture di addestramento centralizzato con esecuzione decentralizzata (CTDE) che richiedono un overhead di comunicazione.
• Vincoli Hardware: La maggior parte dei metodi esistenti non affronta il controllo di più robot operanti su microcontrollori onboard con risorse limitate (ad esempio, Crazyflie 2.1) vicino ai loro limiti di attuazione, dove il basso rapporto spinta-peso rende comune l'operatività vicino alla saturazione dei motori.

Metodologia

Gli autori propongono CrazyMARL, un framework di Multi-Agent Reinforcement Learning (MARL) decentralizzato progettato per il trasporto aereo cooperativo con dinamiche di cavo realistiche.

1. Framework e Architettura

• Algoritmo: Il sistema utilizza l'Independent Proximal Policy Optimization (IPPO) con condivisione dei parametri. Questo segue un regime di esecuzione completamente decentralizzato in cui ogni agente agisce sulla base di osservazioni locali senza comunicazione inter-robot, evitando colli di bottiglia di scalabilità.
• Pipeline di Addestramento: L'addestramento è condotto end-to-end utilizzando JAX e MuJoCo MJX su GPU, consentendo migliaia di ambienti paralleli. Questa configurazione ad alto throughput permette un'estesa randomizzazione del dominio (DR) in un breve lasso di tempo (2 miliardi di step in 70 minuti).
• Spazio delle Osservazioni: Ogni agente $i$ riceve un'osservazione locale $o^i_t$ composta da:
  • Errore del payload ($e^P_t$) e velocità ($v^P_t$).
  • Posizione relativa ($\delta^i_t$), orientamento ($vec(R^i_t)$), e velocità ($v^i_t, \omega^i_t$) dell'agente.
  • L'azione precedente dell'agente ($a^i_{t-1}$).
  • Posizioni relative dei compagni di squadra ($\{\delta^j_t\}_{j \neq i}$) per la coordinazione.
• Spazio delle Azioni: Gli agenti producono comandi motori normalizzati mappati direttamente sui cicli di lavoro (duty cycles) della Modulazione a Larghezza di Impulso (PWM) a 250 Hz. La policy bypassa i controllori a cascata a basso livello (ad esempio, PID o thrust mixing), mappando direttamente l'attuazione del motore per operare efficacemente vicino ai limiti fisici.

2. Simulazione e Dinamica

• Modello di Cavo Ibrido: A differenza dei lavori precedenti che utilizzano aste rigide, la simulazione impiega i tendini di Mujoco per modellare cavi che esercitano tensione solo quando sono tesi e forza zero quando sono laschi. Ciò cattura le dinamiche ibride slack-taut essenziali per manovre agili.
• Randomizzazione del Dominio (DR): Per garantire un trasferimento sim-to-real robusto, l'addestramento incorpora la randomizzazione di:
  • Stati iniziali (inclusi partenze da terra e cavi laschi).
  • Parametri degli attuatori (limiti di spinta, costanti di tempo, offset dei motori).
  • Rumore delle osservazioni e disturbi esterni stocastici (vento, spinte).
  • Posizioni target.

3. Design della Ricompensa

Viene utilizzata una funzione di ricompensa composita modulare $r = r_{track} \cdot r_{stable} + r_{safe}$:

• Tracking ($r_{track}$): Minimizza l'errore del payload e allinea la velocità del payload con il target.
• Stabilità ($r_{stable}$): Penalizza oscillazioni eccessive, inclinazioni e velocità, incoraggiando al contempo cavi tesi.
• Sicurezza ($r_{safe}$): Incoraggia azioni fluide, spinta dei motori bilanciata ed evita collisioni.
  I termini di ricompensa sono limitati a [0, 1] per facilitare gradienti fluidi e prevenire che l'agente impari a terminare prematuramente gli episodi.

Contributi Chiave

1. Controllo Decentralizzato End-to-End: La prima dimostrazione di una policy MARL completamente decentralizzata per il trasporto con cavi sospesi multi-UAV che produce comandi PWM motori diretti senza cascate a basso livello, specificamente progettata per piattaforme con risorse limitate come la Crazyflie 2.1.
2. Dinamica del Cavo Ibrida: Il framework modella esplicitamente e impara a controllare le transizioni tra le modalità di cavo lasco e teso, una capacità precedentemente non affrontata nei contesti multi-UAV che tipicamente assumevano collegamenti rigidi.
3. Trasferimento Zero-Shot Sim-to-Real: Implementazione riuscita della policy appresa su hardware reale (Crazyflie 2.1) senza fine-tuning, dimostrando robustezza contro il vento, spinte esterne e condizioni iniziali difficili.
4. Pipeline di Addestramento ad Alto Throughput: Una pipeline JAX/MJX parallelizzata su GPU che addestra complesse policy multi-robot in pochi minuti, accelerando significativamente il ciclo di iterazione rispetto ai metodi tradizionali.

Risultati Sperimentali

Simulazione

• Reiezione dei Disturbi: In scenari di recupero critici (stati iniziali randomizzati, inclusi partenze da terra e cavi laschi), la policy CrazyMARL ha raggiunto un tasso di recupero dell'80% (797/1000 prove), superando significativamente un controllore baseline basato su modello (tasso di successo del 44%).
• Agilità: La policy appresa ha mantenuto una velocità media di 0,58 m/s rispetto allo 0,27 m/s del baseline, con uno smorzamento più rapido dell'oscillazione del payload e traiettorie più dirette.
• Generalizzazione: La policy si è generalizzata bene a variazioni della lunghezza del cavo, massa del payload e rumore di osservazione, sebbene le prestazioni siano degradate con cavi molto lunghi (>1m) o scale di rumore estreme.
• Scalabilità: Il sistema è scalato con successo da 1 a 3 quadricotteri. Team da 6 quadricotteri hanno mostrato limiti di coordinazione (terminazione anticipata), ma il framework ha dimostrato un efficace riparto del carico e recupero per team più piccoli.

Hardware (Reale)

• Piattaforma: Implementato su due quadricotteri Crazyflie 2.1 che trasportano un payload di 10g.
• Prestazioni: Il sistema ha eseguito decolli autonomi e ha mantenuto un volo stabile sotto venti con velocità medie di 3,5 m/s.
• Precisione: La policy ha mantenuto un errore quadratico medio (RMSE) di posizione di 0,077 m in presenza di vento, un incremento marginale rispetto allo 0,064 m di RMSE in condizioni di calma.
• Robustezza: I robot hanno recuperato con successo da forti spinte esterne e hanno mantenuto traiettorie a forma di otto con il payload, capacità che il controllore baseline non era in grado di raggiungere.

Significato e Rivendicazioni

Il paper afferma che CrazyMARL fornisce una soluzione scalabile e resiliente per la manipolazione aerea cooperativa in ambienti non strutturati. Combinando l'esecuzione decentralizzata con il controllo diretto del motore e una dinamica del cavo ibrida realistica, il lavoro consente ai team di UAV di operare vicino ai loro limiti fisici di attuazione pur respingendo i disturbi. Gli autori posizionano questo lavoro come un passo verso team autonomi capaci di missioni di carico complesse dove i controllori tradizionali basati su modelli faticano a causa di imprecisioni di modellazione e overhead di comunicazione. Il successo del trasferimento zero-shot all'hardware con robot a basso rapporto spinta-peso evidenzia la fattibilità pratica di policy RL ad alta frequenza ed end-to-end in scenari reali.