Current state of the multi-agent multi-view experimental and digital twin rendezvous (MMEDR-Autonomous) framework

Il documento presenta il framework MMEDR-Autonomous, un sistema unificato che integra navigazione ottica basata su apprendimento automatico, guida tramite reinforcement learning e un banco di prova hardware-in-the-loop per abilitare rendezvous e aggancio autonomi e sicuri tra veicoli spaziali in scenari multi-agente.

L'essenziale

Immagina lo spazio come un'autostrada molto affollata, piena di auto (i satelliti) che viaggiano a velocità incredibili. Il problema è che ci sono sempre più "macchine fantasma": detriti spaziali, vecchi satelliti rotti e pezzi di metallo che fluttuano senza controllo. Se vogliamo pulire questa autostrada o riparare le auto che si rompono, dobbiamo mandare dei "meccanici robot" nello spazio.

Il problema? Mandare un umano a guidare questi robot è troppo lento, pericoloso e costoso. È come se dovessimo chiamare un pilota di F1 per parcheggiare ogni singola auto in un parcheggio affollato: non ce la faremmo mai in tempo!

Questo è il punto di partenza del lavoro presentato da Logan Banker e il suo team dell'Università del Missouri. Hanno creato un nuovo sistema chiamato MMEDR-Autonomous. Ecco come funziona, spiegato con parole semplici e qualche analogia divertente.

1. Il "Cervello" del Robot: Imparare a guidare da solo

Per far sì che questi robot si avvicinino e si aggancino a un satellite (o a un pezzo di spazzatura) senza schiantarsi, hanno bisogno di un cervello molto intelligente. Invece di programmare ogni singolo movimento a mano (come fareste con un telecomando), hanno insegnato ai robot a imparare dai propri errori, proprio come un bambino che impara a andare in bicicletta.

• L'analogia del videogioco: Immagina di giocare a un videogioco dove devi parcheggiare un'auto in uno spazio strettissimo. All'inizio sbatti contro tutto. Ma il gioco ti dà punti (ricompense) quando ti avvicini e ti toglie punti quando urti. Dopo migliaia di tentativi, il tuo cervello (o in questo caso, l'intelligenza artificiale) impara la strategia perfetta.
• La novità: Il team ha scoperto che non basta dire "fai attenzione". Hanno dovuto "aggiustare il gioco" (un processo chiamato ottimizzazione bayesiana) per insegnare al robot a non solo avvicinarsi, ma a farlo lentamente e con delicatezza, proprio come si fa quando si parcheggia un'auto di lusso vicino a un muro.

2. Gli "Occhi" del Robot: Vedere nello spazio

Una volta che il cervello sa come muoversi, il robot deve vedere dove sta andando. Nello spazio non ci sono cartelli stradali o linee bianche. Il robot deve guardare un satellite e capire: "Dov'è? Quanto è lontano? In che direzione sta girando?".

• L'analogia della foto digitale: Immagina di dover riconoscere un amico in una folla, ma hai una foto di lui scattata in un giorno di sole, e devi trovarlo in una giornata di pioggia con la nebbia. È difficile!
• La soluzione: Hanno creato un "cervello visivo" (una rete neurale) addestrato su milioni di immagini. Ma non solo immagini reali (che sono rare e costose da ottenere), hanno usato un videogioco ultra-realistico (simulazioni al computer) per creare milioni di scenari diversi: sole accecante, ombre strane, riflessi strani.
• Il trucco: Hanno "sporcolato" queste immagini digitali con rumore e luce strana (come se fossero vere foto) per insegnare al robot a non farsi ingannare quando passa dal mondo virtuale a quello reale. È come se allenassimo un atleta in una palestra con luci strane e pavimenti scivolosi, così quando corre nella gara vera, non si spaventa per nulla.

3. La "Prova Generale": Il laboratorio terrestre

Prima di mandare i robot nello spazio, li hanno fatti allenare in un laboratorio speciale sulla Terra.

• L'analogia del simulatore di volo: Pensate a un simulatore di volo per piloti, ma invece di sedersi in una poltrona, due braccia robotiche giganti tengono i modelli dei satelliti e li muovono nello spazio.
• Come funziona: Un computer controlla i bracci robotici per simulare la gravità e il movimento orbitale. I robot "guardano" i satelliti, calcolano la rotta e danno ordini ai bracci per muoversi. Se sbattono, non succede nulla di grave: è solo una prova! Questo permette di testare il sistema in condizioni di sicurezza prima del lancio.

4. Il Futuro: Una squadra di robot

Finora hanno testato un solo robot che si avvicina a un bersaglio. Ma il futuro è diverso: immagina una squadra di robot che lavora insieme.

• Uno potrebbe tenere fermo un satellite rotto mentre un altro lo ripara.
• Oppure, due robot potrebbero collaborare per fermare un satellite che gira vorticosamente (come un trottola impazzita) prima di agganciarlo.

In sintesi

Questo lavoro è come costruire un ponte tra il mondo dei videogiochi e la realtà spaziale.

1. Insegnano ai robot a guidare da soli usando l'intelligenza artificiale (imparando per tentativi ed errori).
2. Addestrano i loro occhi usando simulazioni al computer così realistiche da ingannare il cervello del robot.
3. Fanno le prove in un laboratorio sulla Terra con braccia robotiche, prima di rischiare di mandarli nello spazio.

L'obiettivo finale? Avere un esercito di robot autonomi, economici e sicuri, pronti a pulire la nostra autostrada spaziale, riparare i satelliti e garantire che lo spazio rimanga un posto sicuro per le generazioni future. È come passare dal guidare un'auto con un istruttore al volante, all'avere un'auto a guida autonoma che sa esattamente cosa fare, anche nel traffico più caotico.

Sommario tecnico

1. Il Problema

Con la proliferazione degli oggetti spaziali residenti (RSO) in orbita terrestre bassa (LEO), c'è un bisogno crescente di tecnologie affidabili per il servizio in orbita, la rimozione di detriti spaziali e la modifica delle orbite. Le fasi critiche di queste missioni sono l'avvicinamento (rendezvous) e l'aggancio (docking).
Le approcci tradizionali, basati su un elevato livello di supervisione umana, non sono scalabili a causa di rischi per la sicurezza, complessità operativa e costi elevati. Inoltre, i veicoli spaziali di piccole dimensioni (come i CubeSat) impongono vincoli rigorosi su dimensioni, potenza e risorse computazionali, rendendo difficile l'implementazione di sistemi di Guida, Navigazione e Controllo (GNC) complessi.
Il problema centrale è sviluppare un framework autonomo, robusto e scalabile che integri metodi di apprendimento automatico (Machine Learning) per gestire le dinamiche non lineari, le interazioni multi-agente e le condizioni di sensing avverse, garantendo al contempo la sicurezza operativa.

2. Metodologia

Il paper introduce il framework MMEDR-Autonomous (Multi-Agent Multi-View Experimental and Digital Twin Rendezvous), un'architettura unificata composta da tre sottosistemi principali:

A. Navigazione Ottica (Optical Navigation)

• Architettura: Viene sviluppato una rete neurale convoluzionale (CNN) leggera basata su MobileNetV3Large come backbone, integrata con una Feature Pyramid Network (FPN) per la fusione di caratteristiche multi-scala e un modulo di regressione diretta per la posa 6D (Deep-6DPose).
• Obiettivo: Stimare la posizione e l'orientamento (posa) di un satellite target non cooperativo utilizzando una singola telecamera monoculare.
• Addestramento e Domain Gap: Per colmare il divario tra immagini sintetiche e reali, il modello viene addestrato su un dataset generato con Blender (simulazione fisica realistica) e sottoposto a data augmentation aggressiva (luminosità, contrasto, rumore, flare solari, motion blur) per simulare le condizioni di illuminazione spaziale (luce diffusa e diretta).
• Fusione Sensoriale: I dati di navigazione da più telecamere vengono fusi utilizzando un Filtro di Kalman Unscented (UKF) che gestisce misure ritardate e asincrone, combinando le stime tramite una media pesata ordinata (Ordered Weighted Averaging - OWA).

B. Guida (Guidance)

• Approccio: Utilizzo del Reinforcement Learning (RL), specificamente l'algoritmo Deep Deterministic Policy Gradient (DDPG) per il caso ad agente singolo (in futuro D4PG per multi-agente).
• Ottimizzazione: Il paper confronta la sintonizzazione manuale degli iperparametri con l'Ottimizzazione Bayesiana. L'obiettivo è trovare una politica di controllo che porti l'agente al target rispettando vincoli di sicurezza.
• Funzione di Ricompensa: Viene proposta una ricompensa basata sulla velocità (velocity reward) che incentiva approcci più lenti man mano che ci si avvicina al target, invece di applicare semplici penalità per le collisioni. Questo approccio ha dimostrato di migliorare la stabilità dell'apprendimento.
• Vincoli di Sicurezza: L'integrazione di Control Barrier Functions (CBF) derivate dalle equazioni di Clohessy-Wiltshire (CW) per garantire che il sistema rimanga all'interno di regioni sicure, prevenendo collisioni e violazioni dei limiti di velocità/accelerazione.

C. Piattaforma Sperimentale (Hardware-in-the-Loop - HIL)

• Setup: Un banco di prova di laboratorio che utilizza due bracci robotici a 6 gradi di libertà (Dobot CR20A) per simulare il movimento relativo tra un agente e un target (un modello in scala del satellite Aura).
• Ambiente: Il laboratorio riproduce le condizioni spaziali con luci solari artificiali, tende nere per l'oscuramento e telecamere Vicon per il tracciamento della verità fondamentale (ground truth).
• Integrazione: Il sistema esegue un ciclo chiuso in tempo reale: acquisizione immagini -> stima della posa -> filtro di stato -> decisione di guida -> comandi di controllo -> movimento robotico -> nuova acquisizione.

3. Contributi Chiave

1. Analisi della Stabilità nell'RL: Dimostrazione che la sintonizzazione manuale è insufficiente per problemi complessi con vincoli di velocità. L'uso dell'Ottimizzazione Bayesiana permette di trovare architetture e iperparametri che garantiscono tassi di successo superiori al 95%.
2. Architettura di Navigazione Leggera: Sviluppo di una rete CNN ottimizzata per CubeSat che combina regressione diretta della posa e task multipli (bounding box, segmentazione) per migliorare la generalizzazione, ottenendo prestazioni competitive senza l'uso di mappe di calore o training online durante la fase di test iniziale.
3. Innovazione nella Funzione di Ricompensa: Introduzione di una ricompensa sparsa basata sulla velocità che "premia" gli approcci lenti, risolvendo il problema di convergenza tipico quando si usano penalità per le collisioni ad alta velocità.
4. Sviluppo del Testbed HIL: Progettazione e implementazione di un laboratorio fisico in grado di simulare scenari di rendezvous multi-agente con grandi RSO, pronto per la validazione sperimentale.

4. Risultati Preliminari

• Guida:
  • La sintonizzazione manuale ha mostrato miglioramenti ma ha fallito nel convergere entro le tolleranze di docking richieste a causa della complessità della forma della funzione di ricompensa.
  • L'ottimizzazione Bayesiana ha identificato politiche robuste. In particolare, l'inclusione della ricompensa per la velocità ha permesso di soddisfare i vincoli di velocità di contatto finale, con agenti che hanno raggiunto il target in modo sicuro in tutte le 5 prove di test iniziali.
• Navigazione:
  • Il modello MMEDR, addestrato solo su dati sintetici con augmentation, ha ottenuto risultati eccellenti sul dataset SPEED+.
  • Con l'augmentation, l'errore di posizione ($E_t$) è sceso da ~1.95m a 0.36m (Lightbox) e da ~1.93m a 0.52m (Sunlamp).
  • L'errore di posa totale ($E_p$) è stato ridotto significativamente (da 1.65 a 0.86 nel dominio Lightbox).
  • Il modello è estremamente veloce (inferenza a 6.18 Hz su CPU standard) con soli 11.2 milioni di parametri, rendendolo adatto per l'implementazione a bordo.
  • Sebbene la previsione dell'orientamento sia leggermente inferiore rispetto ai metodi basati su heatmap, il compromesso è stato accettato per mantenere il modello leggero e veloce.

5. Significato e Implicazioni

Il lavoro rappresenta un passo significativo verso l'autonomia completa nelle missioni spaziali di rendezvous e docking.

• Scalabilità: Il framework dimostra che è possibile gestire missioni multi-agente su piattaforme con risorse limitate (CubeSat) integrando algoritmi di apprendimento profondo efficienti.
• Sicurezza: L'uso combinato di RL e Control Barrier Functions offre un approccio promettente per garantire la sicurezza operativa in ambienti dinamici e incerti.
• Validazione: La creazione di un testbed HIL realistico colma il divario tra simulazione pura e volo reale, permettendo di testare algoritmi GNC in condizioni che replicano fedelmente l'ambiente spaziale (illuminazione, ritardi di calcolo, dinamiche robotiche).
• Futuro: Il lavoro getta le basi per l'estensione a scenari multi-agente cooperativi, l'implementazione di algoritmi D4PG e l'integrazione di metodi di training online (adattivo) per migliorare ulteriormente le prestazioni durante la missione reale.

In sintesi, il paper presenta un framework integrato e validato che combina teoria avanzata (dinamiche non lineari, CBF), apprendimento automatico (RL, CNN) e ingegneria sperimentale (HIL) per risolvere una delle sfide più critiche dell'astronautica moderna: l'aggancio autonomo e sicuro di satelliti.