Path Planning and Reinforcement Learning-Driven Control of On-Orbit Free-Flying Multi-Arm Robots

Titolo: Pianificazione del Percorso e Controllo Guidato dall'Apprendimento per Rinforzo di Robot Multi-Braccio Liberi di Volare in Orbita

1. Problema e Contesto

Il documento affronta le sfide critiche nella robotica spaziale, in particolare nelle operazioni di servizio in orbita (On-Orbit Servicing - OOS), come la manutenzione dei satelliti, la rimozione di detriti e l'assemblaggio di grandi strutture.

• Ambiente ostile: I robot operano in un ambiente non deterministico caratterizzato da microgravità, perturbazioni orbitali e ritardi nelle comunicazioni.
• Limitazioni dei metodi tradizionali: I metodi di pianificazione basati su modelli (come l'ottimizzazione della traiettoria - TO) richiedono modelli di sistema precisi e rappresentazioni ambientali esatte, che sono difficili da ottenere nello spazio a causa di incertezze e semplificazioni necessarie. I controlli basati su modelli possono fallire di fronte a disturbi non previsti.
• Complessità del sistema: I robot multi-braccio "striscianti" (crawling robots) offrono ridondanza e stabilità, ma il loro controllo è estremamente complesso a causa dell'accoppiamento dinamico tra il corpo centrale (base) e i bracci, nonché della necessità di gestire interazioni di contatto con superfici target.
• Gap nella letteratura: Sebbene l'Apprendimento per Rinforzo (RL) abbia avuto successo nella robotica terrestre, la sua applicazione al controllo di robot multi-braccio in orbita è limitata, specialmente per compiti che richiedono sia pianificazione globale che adattamento locale robusto.

2. Metodologia: Un Approccio Ibrido

Gli autori propongono un framework ibrido che integra due tecniche complementari:

1. Ottimizzazione della Traiettoria (TO) basata su OCP: Utilizzata per la pianificazione offline.
2. Controllo guidato dall'Apprendimento per Rinforzo (RL): Utilizzato per il tracciamento adattivo e robusto in tempo reale.

A. Architettura del Sistema

Il robot è un sistema multi-braccio (nello studio, 4 bracci a 6 gradi di libertà ciascuno) dotato di un corpo centrale con propulsori (thrusters).

• Propulsori: Integrati nella base per il controllo preciso del corpo, permettendo al robot di stabilizzarsi e muoversi senza affidarsi esclusivamente alle forze generate dai bracci.
• Dinamica: Il modello considera l'accoppiamento completo tra base e bracci, le perturbazioni orbitali e le interazioni di contatto multi-fase.

B. Ottimizzazione della Traiettoria (TO)

Il problema è formulato come un Problema di Controllo Ottimo (OCP).

• Parametrizzazione: Le traiettorie del corpo, dei bracci, delle forze dei propulsori e delle forze di contatto sono parametriche tramite spline polinomiali di terzo ordine.
• Ottimizzazione: L'algoritmo ottimizza simultaneamente:
  • Le traiettorie del corpo e degli effettori finali.
  • I profili di forza dei propulsori.
  • I tempi di contatto e non-contatto (il "passo" o gait).
  • Le forze di interazione con la superficie target.
• Vincoli: Include vincoli cinematici (range di movimento), dinamici (equazioni del moto), vincoli di contatto (ancoraggio stabile, forze nulle quando non a contatto) e di collisione (distanza minima dalla superficie).
• Funzione Costo: Minimizza le forze di contatto, le velocità della base e l'energia, garantendo movimenti fluidi e sicuri.

C. Controllo guidato dall'Apprendimento per Rinforzo (RL)

Una volta generata la traiettoria di riferimento dalla TO, un agente RL la segue in modo adattivo.

• MDP (Processo Decisionale di Markov):
  • Azioni: Posizioni articolari target per i bracci e forze dei propulsori applicate al centro di massa (spazio delle azioni a 27 dimensioni).
  • Osservazioni: Stato attuale e desiderato della base, posizioni e velocità delle articolazioni, forze dei propulsori precedenti, e pose attuali e desiderate degli effettori finali.
  • Ricompense: Una funzione composita che include ricompense per il tracciamento della posizione/orientamento, penalità per movimenti bruschi (energia, accelerazioni) e penalità severe per collisioni.
• Addestramento: Utilizza l'algoritmo PPO (Proximal Policy Optimization) in un ambiente di simulazione (Isaac Sim).
  • Curriculum Learning: L'addestramento inizia con target vicini e aumenta gradualmente la difficoltà.
  • Domain Randomization: Vengono introdotti rumore nei sensori e variazioni di massa (fino al ±10%) per garantire la generalizzazione e il trasferimento Sim-to-Real.
• Architettura: Una rete neurale MLP (Multi-Layer Perceptron) che mappa le osservazioni alle azioni.

3. Contributi Chiave

1. Ottimizzazione della Traiettoria Consapevole del Contatto: Formulazione OCP che ottimizza congiuntamente traiettorie, forze dei propulsori e tempistiche di contatto, catturando la dinamica completa del sistema in microgravità.
2. Progettazione Adattiva dei Costi: L'ottimizzazione regola automaticamente la durata delle fasi e penalizza errori di tracciamento e forze di contatto, migliorando la sicurezza e riducendo il consumo di carburante.
3. Apprendimento di Policy ad Alta Dimensionalità: Sviluppo di una policy RL per uno spazio di azioni a 27 gradi di libertà (4 bracci x 6 DOF + 3 propulsori), gestendo efficacemente l'accoppiamento dinamico e il disallineamento dei modelli.
4. Framework Robusto per il Deploy Orbitale: Integrazione di tecniche di shaping delle ricompense, randomizzazione del dominio e iniezione di rumore per garantire che la policy funzioni in condizioni di incertezza realistiche.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti tramite simulazioni su due scenari principali:

• Caso 1: Movimento sulla superficie (contatto iniziale):

  • Il robot si sposta di 1,2m in avanti e successivamente di 1,5m in avanti e -0,5m lateralmente.
  • Risultato TO: L'uso dei propulsori riduce drasticamente le forze di interazione ai punti di ancoraggio e stabilizza la base, eliminando oscillazioni rispetto a un sistema senza propulsori.
  • Risultato RL: La policy segue la traiettoria pianificata con errori di tracciamento molto bassi (ordine di millimetri per i bracci, pochi centimetri per la base), gestendo le dinamiche complete anche se la pianificazione era basata su un modello semplificato.

• Caso 2: Avvicinamento da stato libero (Free-floating):

  • Il robot parte a 0,5m dalla superficie e deve usare i propulsori per avvicinarsi, poi ancorarsi e muoversi.
  • Risultato: L'algoritmo TO genera una manovra di approccio diagonale. La policy RL riesce a tracciare questa traiettoria complessa, passando fluidamente dalla fase di volo libero alla locomozione basata sui bracci.

• Confronto: Il controllo RL ha mostrato errori di tracciamento significativamente inferiori rispetto a controllori classici (IK differenziale, controllo basato su velocità/forza) e approcci di controllo ottimo tradizionali, specialmente in presenza di dinamiche accoppiate complesse.

5. Significato e Implicazioni

• Robustezza e Adattabilità: L'approccio ibrido combina la precisione della pianificazione globale (TO) con la capacità di adattamento locale del RL, rendendo il sistema resiliente a disturbi, incertezze del modello e dinamiche non previste.
• Efficienza Operativa: L'integrazione dei propulsori riduce lo stress meccanico sui bracci e sui punti di contatto, aumentando la sicurezza delle operazioni di servizio e la durata della missione.
• Scalabilità: Il framework è modulare e può essere esteso a robot con un numero variabile di bracci e gradi di libertà.
• Futuro: Il lavoro getta le basi per robot autonomi in orbita capaci di eseguire compiti complessi di assemblaggio e manutenzione senza intervento umano diretto, superando le limitazioni dei metodi di controllo puramente basati su modelli.

In sintesi, il paper dimostra che l'integrazione di ottimizzazione basata su modelli e controllo basato sull'apprendimento è una strategia vincente per gestire la complessità dinamica e le incertezze delle operazioni robotiche nello spazio.