Distributed Multi Robot Lunar Cargo Transportation via Phase Decomposed Reinforcement Learning

Sintesi Tecnica: Trasporto di Carichi Lunari Multi-Robot Distribuito tramite Reinforcement Learning con Decomposizione delle Fasi

Definizione del Problema
Le future missioni lunari sostenute richiedono sistemi robotici capaci di trasportare materiali da costruzione e carichi in condizioni di ritardo nelle comunicazioni, incertezza del terreno e rigorosi vincoli di sicurezza. Sebbene i robot riconfigurabili modulari offrano scalabilità e adattabilità, il trasporto cooperativo di carichi con tali sistemi presenta sfide significative. Queste includono cambiamenti di topologia dipendenti dalla morfologia, accoppiamento dinamico forte indotto dai carichi condivisi, requisiti decisionali a lungo termine e la necessità di un'esecuzione vincolata alla sicurezza. Gli approoli esistenti di apprendimento per rinforzo (RL) decentralizzato spesso assumono topologie fisse o ottimizzano un singolo controllore per team statici, fallendo nel gestire la riconfigurazione fisica e i regimi di contatto eterogenei inerenti a compiti multi-stadio come il sollevamento, il trasporto e l'apposizione di un carico. Inoltre, l'ottimizzazione di una policy unificata per tali compiti può indurre interferenza dei gradienti tra diverse fasi dinamiche, portando a fallimenti della convergenza.

Metodologia
Gli autori propongono un Framework di Reinforcement Learning con Decomposizione delle Fasi progettato per unità robotiche distribuite. Il compito di trasporto cooperativo è scomposto in tre distinti stadi operativi: Sollevamento (L), Trasporto (T) e Apposizione (P).

• Policy Specifiche per Fase: Ogni stadio è modellato come un processo decisionale di Markov (MDP) separato con una dedicata policy di stato congiunto ($\pi_{\theta_k}$). Questa separazione consente l'ottimizzazione indipendente di geometrie di ricompensa adattate a specifici regimi di contatto (ad esempio, bilanciamento delle forze durante il sollevamento rispetto al tracciamento della traiettoria durante il trasporto).
• Addestramento Centralizzato, Esecuzione Distribuita (CTDE): Le policy sono addestrate utilizzando osservazioni congiunte complete (inclusi la posa e la velocità di tutti i robot e del carico) per promuovere una convergenza stabile. Durante la distribuzione, l'esecuzione è distribuita; ogni robot opera sulla base della propria propriocezione locale (posa, velocità, configurazione dei giunti) e di osservazioni relative del carico e dei robot vicini.
• Coordinamento e Sicurezza:
  • Gating MDP: Un MDP discreto di alto livello governa le transizioni tra gli stadi (Inattivo, Sollevamento, Trasporto, Apposizione). Le transizioni sono innescate da eventi di task misurabili (ad esempio, raggiungimento di un'altezza target) ma includono override di sicurezza (ad esempio, rilevamento di guasti) che resettano immediatamente il sistema allo stato Inattivo.
  • Meccanismo di Sincronizzazione: Per gestire la catena cinematica chiusa formata dalle due unità ruota-braccio e dal carico condiviso, uno strato di sincronizzazione limita i movimenti comandati. Esso assicura che nessun sottosistema avanzi significativamente rispetto agli altri, restringendo lo stato comandato a un insieme ammissibile centrato sullo stato rilevato corrente. Ciò previene stress interni e movimenti asincroni che potrebbero destabilizzare il carico.
• Simulazione e Hardware: Le policy sono state addestrate in NVIDIA IsaacLab con randomizzazione del dominio (attrito, terreno, rumore) e validate su una piattaforma robotica modulare ruota-braccio presso una struttura di test analoghi lunari JAXA. La configurazione hardware prevedeva due unità integrate (ruote a trazione differenziale accoppiate con bracci a 7 gradi di libertà) che manipolavano carichi di massa variabile (da 5,3 kg a 9,5 kg) su sabbia simile alla regolite.

Contributi Chiave

1. Formulazione RL Strutturata per Fasi: Il documento introduce una decomposizione di un trasporto cooperativo a lungo termine e ricco di contatti in MDP specifici per fase. Questo approccio separa l'ottimizzazione della policy attraverso distinti regimi di contatto, mitigando l'interferenza dei gradienti che affligge le policy monolithiche.
2. CTDE per Sistemi Meccanicamente Accoppiati: Il framework consente l'addestramento congiunto centralizzato con esecuzione distribuita per robot modulari fisicamente indipendenti ma meccanicamente accoppiati, utilizzando la propriocezione onboard per il controllo.
3. Coordinamento della Sicurezza Consapevole della Sincronizzazione: Un sistema di gating delle fasi basato su MDP discreto è combinato con uno strato di sincronizzazione che impone un arresto consapevole della sicurezza e una progressione coordinata, garantendo un'esecuzione sim-to-real stabile.
4. Validazione Sperimentale: Il framework è validato sia tramite simulazione che tramite esperimenti controllati sul campo su un sistema ruota-braccio modulare, dimostrando un trasporto cooperativo affidabile attraverso tutte le fasi sotto diverse masse di carico e condizioni di terreno.

Risultati

• Simulazione: Le policy decomposte per fase sono converge con successo per sollevamento, trasporto e apposizione. La policy di sollevamento ha raggiunto le altezze target (0,3 m, 0,5 m, 0,75 m) con un overshoot minimo e un tilt stabilizzato. La policy di trasporto ha mantenuto l'altezza del carico con una deviazione massima di 1,58 mm, tracciando i comandi di velocità con un errore RMS di circa l'11%. La policy di apposizione ha ottenuto tocchi morbidi con velocità d'impatto significativamente inferiori rispetto alla caduta libera.
• Studio di Ablazione: Un esperimento baseline che addestra una singola policy monolitica per l'intero mission senza decomposizione delle fasi non è riuscito a convergere, mostrando ricompense oscillanti e comportamenti instabili (ad esempio, tentare di muoversi durante il sollevamento). Ciò conferma la necessità della decomposizione delle fasi per una stabilità di apprendimento sotto accoppiamento dipendente dalla configurazione.
• Esperimenti Hardware: Il sistema ha eseguito con successo l'intera sequenza di missione (sollevamento, trasporto, apposizione) per tre diverse masse di carico su un campo di prova di sabbia. Sebbene i carichi più pesanti abbiano comportato una riduzione delle altezze di sollevamento a regime stazionario (a causa dell'affondamento nel terreno e dell'accoppiamento di coppia) e tempi di convergenza più lunghi, il sistema ha mantenuto una regolazione verticale stabile e ha completato tutti i compiti senza fallimenti. Il meccanismo di sincronizzazione ha efficacementmente prevenuto movimenti non coordinati.

Significatività e Rivendicazioni
Il documento afferma che il contributo metodologico centrale è la formulazione strutturata per fasi stessa. Gli autori sostengono che questa struttura non sia meramente organizzativa ma essenziale per risolvere il problema; una policy monolitica addestrata sullo stesso spazio di stato e azione non riesce a convergere. Decomponendo il compito, il framework mitiga l'interferenza dei gradienti tra regimi di contatto eterogenei. L'integrazione dell'addestramento con stato congiunto, dell'esecuzione distribuita e del coordinamento della sicurezza consapevole della sincronizzazione fornisce una soluzione robusta per il trasporto cooperativo di carichi lunari, dimostrando che i sistemi modulari possono eseguire compiti complessi e multi-stadio in ambienti non strutturati dove le strategie di controllo unificate tradizionali falliscono. Il lavoro è supportato dal programma JST Moonshot R&D.