Onboard-Targeted Segmentation of Straylight in Space Camera Sensors

Questo studio presenta un metodo basato sull'intelligenza artificiale, utilizzando il modello DeepLabV3 con backbone MobileNetV3 pre-addestrato su dati pubblici, per la segmentazione semantica dello straylight nelle telecamere spaziali, ottimizzato per l'implementazione su hardware con risorse limitate e valutato tramite metriche di sistema.

L'essenziale

🚀 Il "Cecchino" Solare: Come l'Intelligenza Artificiale Salva le Telecamere Spaziali

Immagina di essere un astronauta o un robot su un asteroide lontano. La tua missione è navigare con precisione, ma il tuo unico occhio è una telecamera. Improvvisamente, il Sole si sposta proprio nel campo visivo della telecamera. Non è un problema normale: è come se qualcuno ti avesse puntato un potente laser negli occhi o avesse acceso un flash accecante proprio davanti alla lente.

In termini tecnici, questo fenomeno si chiama "straylight" (luce parassita) o "flare". Per un computer, queste macchie luminose sono un disastro: confondono i dati, fanno vedere cose che non esistono e potrebbero far perdere la rotta alla navicella.

Ecco come gli autori di questo studio (Riccardo, Fabian e il loro team) hanno risolto il problema usando l'Intelligenza Artificiale (AI).

1. Il Problema: Troppa poca "Cibo" per l'AI

Di solito, per insegnare a un'AI a riconoscere qualcosa, le si mostrano migliaia di esempi. Ma nello spazio, le telecamere si rompono raramente e le foto "rovinate" dal Sole sono pochissime. È come voler insegnare a un cuoco a fare un piatto esotico senza aver mai visto gli ingredienti.

La Soluzione Creativa:
Gli autori hanno avuto un'idea brillante: "Impara prima a terra, poi vola nello spazio".
Hanno preso un enorme database di foto di "luci fastidiose" prese sulla Terra (riflessi su auto, bagliori su finestre, ecc.) e hanno usato queste immagini per addestrare l'AI. È come se avessero fatto studiare al robot milioni di foto di "abbagliamenti" comuni prima di mandarlo nello spazio. Una volta che l'AI ha imparato bene cos'è un bagliore in generale, l'hanno "aggiornata" (fine-tuning) con le poche foto reali dello spazio che avevano.

2. L'AI: Un Cuoco Leggero per un Viaggio Pesante

Le navicelle spaziali hanno computer molto piccoli e con poca energia (non possono portare supercomputer giganti). L'AI deve essere veloce e leggera.
Hanno scelto un modello chiamato DeepLabV3 con MobileNetV3.

• L'analogia: Immagina di dover portare un coltellino da chef su un'escursione in montagna. Non puoi portare un intero laboratorio di cucina. Devi scegliere uno strumento che sia affilato (preciso) ma che pesi pochissimo e non occupi spazio. Questo modello è proprio quello: un coltellino da chef spaziale.

3. Cosa fa l'AI? (La Segmentazione Semantica)

L'AI non si limita a dire "C'è un problema". Lei fa un lavoro di precisione chirurgica: disegna una mappa.
Quando la telecamera vede un'immagine, l'AI colora di rosso ogni singolo pixel che è "bruciato" dal bagliore solare e lascia il resto dell'immagine pulito.

• Perché è importante? Se l'AI segna i pixel rovinati, il computer di bordo può dire: "Ok, questi pixel sono spazzatura, ignoriamoli e usiamo solo quelli buoni per calcolare la rotta". È come se un vigile del fuoco indicasse esattamente quali stanze di un edificio sono in fiamme, permettendo agli altri di salvarsi senza farsi ingannare dal fumo.

4. Le Nuove Regole del Gioco (Le Metriche)

Qui c'è il vero colpo di genio. Di solito, per valutare un'AI, si guarda se ha indovinato il colore di ogni singolo pixel (esattezza al 99%).
Ma nello spazio, non importa se il bordo della macchia solare è perfetto o no. Ciò che conta è: "Hai visto l'intero bagliore?".
Se l'AI manca anche solo un pezzetto del bagliore, quel pezzetto potrebbe ingannare il sistema di navigazione e far schiantare la navicella.

Gli autori hanno creato delle nuove regole di valutazione:

• Invece di contare i pixel, contano i "oggetti" (i bagliori).
• Se l'AI vede il bagliore come un unico oggetto grande, anche se i bordi sono un po' sfocati, è un successo.
• Se l'AI vede il bagliore ma lo divide in mille pezzetti o ne perde uno, è un fallimento.

Hanno anche usato un trucco matematico (una "sfumatura gaussiana") per unire i pezzetti sparsi nel terreno di prova, così da non penalizzare l'AI per errori di misurazione dei dati di partenza.

5. Il Risultato: Navigazione Sicura

Grazie a questo sistema:

1. L'AI è stata addestrata su dati terrestri e poi affinata nello spazio.
2. È abbastanza leggera da girare sui computer delle navicelle.
3. Riconosce i bagliori solari come "oggetti interi" da scartare, non come semplici errori di pixel.

In sintesi:
Questo studio ci dice come insegnare a una navicella spaziale a "strizzare l'occhio" quando il Sole le acceca la telecamera. Invece di farsi ingannare dalla luce, l'AI dice al computer: "Ehi, guarda lì, è solo un riflesso, non è un ostacolo! Ignoralo e continua a volare!". Questo rende le missioni spaziali molto più sicure e autonome, senza bisogno che un umano sulla Terra intervenga per correggere gli errori.

Sommario tecnico

1. Il Problema

Le moderne missioni spaziali, in particolare quelle orientate all'esplorazione planetaria autonoma (come la missione concettuale Astrone KI sulla cometa 67P/Churyumov-Gerasimenko), dipendono fortemente dai sensori ottici per la navigazione e il controllo di assetto. Tuttavia, questi sensori sono soggetti a guasti e disturbi che possono compromettere la sicurezza della missione.
Il problema specifico affrontato è la segmentazione della luce parassita (straylight), in particolare i flare solari e i bagliori generati quando il Sole è vicino al campo visivo (FoV) della telecamera.

• Criticità: La luce parassita può oscurare la visibilità, corrompere i dati del sensore e portare a stime errate dello stato del veicolo spaziale se elaborati dai filtri di navigazione (es. Filtro di Kalman).
• Vincoli: Le soluzioni software tradizionali sono spesso troppo pesanti computazionalmente per l'elaborazione in tempo reale a bordo. Inoltre, i dati reali specifici per lo spazio sono scarsi, rendendo difficile l'addestramento di modelli di Intelligenza Artificiale (AI) robusti.
• Obiettivo: Sviluppare una soluzione di rilevamento e isolamento dei guasti (FDIR - Fault Detection, Isolation and Recovery) basata su AI, compatibile con l'hardware a bordo (onboard), che possa segmentare i pixel difettosi in tempo reale per escluderli dall'elaborazione successiva.

2. Metodologia

L'approccio proposto si basa su una pipeline di Deep Learning ottimizzata per risorse limitate e adattata alla scarsità di dati.

• Architettura del Modello:

  • È stata selezionata l'architettura DeepLabV3 con backbone MobileNetV3 Large.
  • Questa scelta bilancia alta precisione nella segmentazione semantica con un basso footprint di memoria e un numero ridotto di operazioni in virgola mobile (FLOPs), essenziale per l'hardware spaziale (COTS - Commercial Off-The-Shelf) e le FPGA.
  • Vengono utilizzati parametri ottimizzati come output_stride=16 e tassi di dilatazione (6, 12, 18) per catturare il contesto multiscala.

• Strategia di Addestramento e Dati:

  • Dataset Proprietario: Utilizzato un dataset sintetico generato in lavori precedenti ([14]) contenente varie classi di guasti (polvere, pixel rotti, luce parassita, degradazione ottica, vignettatura). Per questo studio, il focus è stato ristretto alla classe "Straylight".
  • Pre-training (Transfer Learning): A causa della scarsità di dati reali spaziali e della variabilità delle texture dei flare, il modello è stato pre-addestrato sul dataset pubblico Flare7k++, che contiene flare in contesti terrestri non spaziali. Questo passaggio è cruciale per insegnare al modello a riconoscere le texture dei flare indipendentemente dallo sfondo.
  • Fine-tuning: Dopo il pre-training, il modello è stato affinato (fine-tuned) sul dataset proprietario spaziale per adattarsi alle specifiche condizioni di missione.

• Integrazione nel Sistema di Navigazione:

  • L'output del modello è una maschera di segmentazione binaria che indica la validità di ogni pixel.
  • Questa maschera viene integrata nel pipeline di navigazione (GNC): i pixel contrassegnati come "non validi" (colpiti da flare) vengono esclusi dall'aggiornamento del Filtro di Kalman, permettendo al sistema di operare in uno stato "fail-operational" (continua a funzionare anche con sensori parzialmente compromessi).

3. Contributi Chiave

1. Soluzione AI Onboard-Compatible: Dimostrazione di un modello di segmentazione semantica progettato specificamente per l'hardware con risorse vincolate nello spazio, superando i limiti computazionali delle soluzioni tradizionali.
2. Strategia di Generalizzazione: Validazione dell'uso del pre-training su dataset terrestri (Flare7k++) per colmare il divario dei dati spaziali, migliorando la capacità del modello di generalizzare su texture e sfondi mai visti.
3. Metriche di Valutazione Personalizzate (System-Aware):
   • Il paper introduce metriche specifiche oltre alle classiche (Precisione, Recall, mIoU) per valutare l'impatto a livello di sistema.
   • Vengono definite metriche basate sull'artefatto (Per-artifact Recall/Precision/mIoU), che considerano il flare come un oggetto intero piuttosto che una collezione di pixel. Questo è fondamentale perché, per la navigazione, è più critico rilevare l'intero artefatto difettoso che avere una precisione di confine pixel-per-pixel.
   • Viene proposta una tecnica di smussamento Gaussiano delle maschere di verità terreno (ground truth) per correggere bias nel dataset sintetico (frammentazione artificiale delle regioni), rendendo le metriche personalizzate più rappresentative.

4. Risultati

• Prestazioni di Segmentazione:

  • Il modello pre-addestrato ha mostrato prestazioni modeste (mIoU ~0.188) e tendeva a segmentare erroneamente anche il Sole come un flare.
  • Dopo il fine-tuning, le prestazioni sono migliorate drasticamente:
    • Precisione: 0.908
    • Recall: 0.958
    • mIoU: 0.873
  • Il modello ha imparato a distinguere correttamente il Sole dai flare e a adattarsi alle texture specifiche.

• Valutazione con Metriche Personalizzate:

  • Le metriche basate sugli artefatti (PaR, PaP, PamIoU) hanno rivelato informazioni diverse rispetto alle metriche classiche.
  • Il Per-artifact Recall (PaR) è risultato essere il parametro più critico (0.991 dopo il fine-tuning), indicando che il modello rileva quasi tutti i flare presenti.
  • L'analisi ha dimostrato che, per la navigazione, è preferibile un alto Recall (evitare falsi negativi, cioè flare non rilevati) anche a scapito di un leggero aumento dei falsi positivi (pixel validi scartati erroneamente), poiché il filtro di Kalman può compensare la mancanza temporanea di dati.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo significativo verso l'autonomia dei veicoli spaziali.

• Sicurezza Operativa: Fornisce un meccanismo robusto per mantenere la funzionalità della missione anche in presenza di disturbi ottici improvvisi e variabili, prevenendo il fallimento della missione dovuto a errori di navigazione causati da dati corrotti.
• Paradigma di Valutazione: Sposta il focus dalla semplice accuratezza pixel-per-pixel all'efficacia del sistema, allineando le metriche di successo AI con i requisiti ingegneristici reali (es. continuità operativa del filtro di Kalman).
• Scalabilità: La metodologia di pre-training su dataset pubblici e fine-tuning su dati sintetici offre una roadmap replicabile per altre missioni spaziali che soffrono della mancanza di dati reali etichettati.

In conclusione, gli autori hanno dimostrato la fattibilità di implementare modelli di Deep Learning complessi su hardware spaziale vincolato per la gestione dei guasti, proponendo un framework di integrazione e valutazione che considera l'impatto sistemico del rilevamento dei guasti.