Simulation Based Reward Function Validation for Multi-Agent On Orbit Inspection

Sintesi Tecnica: Validazione della Funzione di Ricompensa Basata su Simulazione per l'Ispezione Orbitale Multi-Agente

Definizione del Problema
L'accumulo di detriti spaziali rende necessarie missioni di rimozione attiva, che richiedono una raccolta dati preventiva per allocare le risorse in modo efficace. Le attuali missioni di ispezione orbitale spesso si affidano alla pianificazione manuale per le operazioni di prossimità, un processo che è dispendioso in termini di tempo e difficile da scalare per grandi popolazioni di detriti. Mentre l'Apprendimento per Rinforzo Multi-Agente (MARL) è stato proposto per automatizzare il controllo di gruppi di veicoli spaziali di ispezione, gli approoli esistenti si basano tipicamente su funzioni di ricompensa che guidano gli agenti verso un insieme finito e predeterminato di punti di ispezione. Questa rigidità limita la capacità degli agenti di adattarsi a requisiti di ispezione arbitrari. Inoltre, l'efficacia di queste funzioni di ricompensa è spesso difficile da validare oggettivamente senza un collegamento diretto con la qualità dei dati risultanti.

Metodologia
Questo lavoro propone un framework MARL generalizzato per l'ispezione orbitale in cui gli agenti non sono vincolati a waypoint fissi, ma possono controllare arbitrariamente la tempistica e la posizione della raccolta di immagini. Il sistema impiega una struttura di controllo gerarchica con due tipi distinti di agenti che operano all'interno di un framework di Ottimizzazione del Politica Prossimale (PPO):

• Agenti di Livello Superiore: Responsabili del processo decisionale di alto livello, inclusa la selezione dei punti target, la determinazione di quando catturare le immagini e la decisione su quando terminare un episodio.
• Agenti di Livello Inferiore: Responsabili del controllo di basso livello, generando comandi di spinta per navigare verso i punti target minimizzando l'uso di carburante ed evitando collisioni.

L'ambiente utilizza la dinamica relativa Hill-Clohessy-Wiltshire (HCW) all'interno di un sistema di riferimento Local Vertical Local Horizontal (LVLH). La funzione di ricompensa è l'innovazione centrale, progettata per essere generalizzata per qualsiasi numero di immagini in posizioni arbitrarie. È composta da diverse componenti pesate:

1. Valore dell'Immagine: Un punteggio composito basato sulla distanza, la separazione angolare dalle altre immagini, le condizioni di illuminazione (angolo solare) ed evitare l'auto-ombreggiatura.
2. Ricompense di Team vs Individuali: Un coefficiente di miscelazione bilancia il valore globale dell'immagine del team rispetto ai contributi individuali degli agenti per incoraggiare la cooperazione pur evitando la "pigrizia".
3. Penalità: Vengono applicati costi per il tempo trascorso, il consumo di carburante, gli errori nei punti target, le collisioni e lo spostamento eccessivo dalla regione operativa.

Per validare queste funzioni di ricompensa, gli autori utilizzano una pipeline di simulazione ad alta fedeltà. Le traiettorie e i metadati delle immagini generati dagli agenti MARL addestrati vengono esportati in NVIDIA Isaac Sim per catturare immagini fotorealistiche. Queste immagini vengono poi elaborate tramite COLMAP (fotogrammetria) e Instant-NGP (campi di radianza neurale) per generare ricostruzioni 3D del target. La qualità di queste ricostruzioni funge da metrica oggettiva per le prestazioni della funzione di ricompensa. Il processo di addestramento impiega l'apprendimento curricolare (curriculum learning), aumentando gradualmente le penalità sul carburante e rimuovendo le ricompense piatte per la permanenza nella regione operativa per evitare che gli agenti apprendano politiche triviali (ad esempio, non fare nulla o allontanarsi immediatamente).

Contributi Principali
Il documento fornisce quattro contributi primari:

1. Un framework MARL open-ended utilizzando PPO che accoglie immagini in qualsiasi posizione e in qualsiasi quantità, andando oltre i vincoli dei waypoint fissi.
2. Una metodologia dettagliata per testare e perfezionare le implementazioni di ispezione MARL, concentrandosi specificamente sulla validazione delle funzioni di ricompensa attraverso la qualità della ricostruzione 3D.
3. L'identificazione di futuri miglioramenti per l'ispezione basata su RL, inclusi rappresentazioni alternative delle osservazioni e architetture di controllo.
4. Considerazioni generali applicabili sia al compito specifico di MARL che al campo più ampio dell'ispezione orbitale.

Risultati
Lo studio dimostra che la regolazione dei pesi della funzione di ricompensa impatta significamente il comportamento degli agenti. Nello specifico, aumentare il peso della penalità sul carburante da 3 a 4 ha spostato la politica da traiettorie casuali e inefficienti a percorsi efficienti dal punto di vista del carburante che sfruttano la dinamica naturale HCW per il moto planare, utilizzando il controllo attivo per gli aggiustamenti fuori dal piano. Tuttavia, gli autori notano che penalità eccessive sul carburante hanno causato l'affidamento totale degli agenti alla dinamica naturale, mentre requisiti troppo severi sulla separazione delle immagini hanno scoraggiato completamente la raccolta delle immagini.

In termini di ricostruzione, COLMAP ha prodotto ricostruzioni pulite ma incomplete, probabilmente ostacolate dalle mutevoli condizioni di illuminazione durante l'orbita. Instant-NGP ha prodotto ricostruzioni più complete ma più sfocate. Gli autori hanno osservato che, sebbene le politiche generate fossero funzionali, presentavano ancora delle deficienze, e il processo di addestramento era sensibile alle combinazioni di parametri.

Significatività e Rivendicazioni
Gli autori affermano che, sebbene i metodi MARL presentati generino politiche che supportano la fattibilità dell'ispezione orbitale automatizzata, le tecniche richiedono ulteriori perfezionamenti prima del dispiegamento nello spazio. Il valore primario di questo lavoro risiede nella capacità del MARL di permettere ai progettisti di missione di esplorare lezioni e strategie generali per i compiti di ispezione. Le intuizioni acquisite riguardo alla modellazione della ricompensa (reward shaping), all'apprendimento curricolare e ai compromessi tra consumo di carburante e qualità dei dati sono applicabili anche ai compiti di ispezione che utilizzano controllori tradizionali.

Il documento conclude con modestia che, sebbene i risultati attuali siano promettenti, non sono ancora sufficienti per un dispiegamento immediato. Il lavoro futuro è identificato come necessario nel dominio delle garanzie di sicurezza RL per le operazioni di prossimità e nel potenziale di un ciclo di analisi della ricostruzione completamente automatizzato per fornire ricompense RL dirette basate sulla qualità della ricostruzione, un obiettivo attualmente limitato dalla fattibilità computazionale.