eStonefish-Scenes: A Sim-to-Real Validated and Robot-Centric Event-based Optical Flow Dataset for Underwater Vehicles

Il paper presenta eStonefish-Scenes, un dataset sintetico di flusso ottico basato su eventi per veicoli subacquei, accompagnato dalla libreria eWiz e validato tramite trasferimento sim-to-real su dati reali, dimostrando che l'addestramento su dati sintetici permette di ottenere prestazioni elevate senza la necessità di costose raccolte di dati reali.

L'essenziale

Immagina di dover insegnare a un robot sottomarino a "vedere" e a muoversi sott'acqua. Il problema è che l'acqua è un posto difficile: è buia, torbida, e la luce si comporta in modo strano. I robot tradizionali usano telecamere normali (come i nostri smartphone), ma sott'acqua queste telecamere soffrono molto: le immagini diventano sfocate se il robot si muove veloce e si confondono con la poca luce.

Gli autori di questo studio hanno una soluzione geniale: invece di usare telecamere normali, usano una tecnologia chiamata Telecamera a Eventi (Event-based Camera).

1. La Telecamera "Sensibile al Movimento" (La Farfalla)

Immagina una telecamera normale come una persona che scatta foto ogni secondo, anche se non succede nulla. È come se guardassi un muro bianco e continuassi a scattare foto: sprechi tempo e memoria.

La Telecamera a Eventi, invece, è come una farfalla nervosa. Non guarda il muro; guarda solo quando qualcosa si muove o cambia luce. Se il muro è fermo, la farfalla sta zitta. Se un pesce passa veloce, la farfalla scatta un "flash" istantaneo.

• Vantaggio: Non si confonde mai con la nebbia o il buio, perché vede solo i cambiamenti. È velocissima e non si sfoca mai, anche se il robot corre.

2. Il Problema: "Dove sono i dati?"

Per insegnare a un'intelligenza artificiale (il "cervello" del robot) a usare questa telecamera, servono milioni di esempi: "Guarda questo movimento, ecco cosa succede".
Ma raccogliere questi dati sott'acqua è un incubo:

• Bisogna mandare robot veri in mare.
• Bisogna misurare con precisione assoluta dove si muovono (cosa difficile sott'acqua).
• È costosissimo e lento.

È come voler insegnare a un bambino a guidare un'auto in mezzo al traffico di Roma, ma senza poterla mai guidare realmente: dovresti portarlo in giro per mesi solo per raccogliere dati.

3. La Soluzione: Il "Mondo Virtuale" (eStonefish-Scenes)

Gli autori hanno creato un videogioco ultra-realistico chiamato Stonefish.
Hanno costruito un oceano digitale popolato da:

• Barriere coralline generate automaticamente (come un architetto che costruisce un reef in un secondo).
• Banchi di pesci che si muovono in modo naturale (come se avessero un cervello collettivo).
• Un robot sottomarino (ROV) che nuota e gira.

In questo mondo virtuale, hanno installato la "Telecamera a Eventi". Poiché è un simulatore, sanno esattamente come si muove ogni cosa. Non serve misurare nulla: il computer sa già la verità.
Hanno creato un enorme dataset chiamato eStonefish-Scenes, che è come un "manuale di addestramento" infinito per i robot sottomarini.

4. Il Trucco: "Allenarsi in palestra, gareggiare in mare"

Qui arriva la parte più magica. Di solito, quando addestri un robot in un videogioco, poi fallisce nel mondo reale perché la realtà è diversa (luci diverse, acqua sporca, rumore). È come allenarsi in una piscina coperta e poi dover nuotare in un fiume in piena.

Gli autori hanno fatto un esperimento:

1. Hanno addestrato un'intelligenza artificiale solo con i dati del videogioco (il mondo virtuale).
2. Hanno preso un robot vero, con una telecamera vera, e l'hanno mandato in una piscina di prova.
3. Senza riaddestrarlo, hanno fatto fare al robot le stesse cose.

Il risultato? Il robot ha funzionato quasi perfettamente!
È come se avessi allenato un calciatore in un campo di erba sintetica perfetta, e poi lo avessi mandato a giocare sulla terra battuta sotto la pioggia, e lui avesse segnato comunque gol. Questo dimostra che il "mondo virtuale" è stato costruito così bene che il cervello del robot ha imparato le regole vere del movimento, non solo i trucchi del videogioco.

5. Gli Strumenti Gratuiti (eWiz)

Per aiutare tutti gli altri ricercatori a fare lo stesso, gli autori hanno creato una "cassetta degli attrezzi" digitale chiamata eWiz.
È come un kit di sopravvivenza per chi lavora con queste telecamere:

• Strumenti per leggere i dati.
• Strumenti per "colorare" i dati (per renderli più facili da studiare).
• Strumenti per misurare quanto bene funziona il robot.

Tutto questo è gratuito e aperto a tutti.

In Sintesi

Questo paper ci dice: "Non serve spendere milioni di euro per raccogliere dati sott'acqua. Possiamo creare un oceano virtuale così realistico che i robot imparano a nuotare lì, e poi funzionano benissimo anche nel mare vero."

Hanno creato:

1. Un mondo virtuale (eStonefish-Scenes) pieno di coralli e pesci.
2. Un cervello robotico che impara in quel mondo.
3. Una prova reale che ha funzionato.
4. Un kit di strumenti gratuito per tutti.

È un passo gigante per rendere i robot sottomarini più intelligenti, sicuri ed economici, permettendo loro di esplorare gli abissi senza bisogno di essere costantemente guidati dagli umani.

Sommario tecnico

1. Il Problema

Le telecamere basate su eventi (Event-Based Cameras - EBC), o sensori di visione dinamica, offrono vantaggi significativi per la robotica sottomarina, tra cui assenza di sfocatura da movimento, alto dinamico e bassa latenza. Tuttavia, il progresso in compiti come l'odometria visiva e l'evitamento degli ostacoli è fortemente limitato dalla mancanza di dataset etichettati specifici per ambienti sottomarini.

• Scarsità di dati reali: La raccolta di dati reali con ground truth (verità di base) è costosa, richiede attrezzature specializzate e soffre di limitazioni legate alla torbidità dell'acqua e alla scarsa illuminazione.
• Limiti dei dataset esistenti: I dataset sintetici attuali (es. UEOF) spesso non integrano nativamente il sensore a eventi nel simulatore, si basano su conversioni video-post-processing e non catturano l'accoppiamento reale tra la dinamica del veicolo (idrodinamica) e la risposta temporale del sensore.
• Mancanza di validazione Sim-to-Real: Non esistono benchmark che validino efficacemente il trasferimento dai dati sintetici a quelli reali per l'ottica sottomarina basata su eventi.

2. Metodologia

Gli autori propongono un approccio completo che include la generazione di dati sintetici, la creazione di strumenti di elaborazione e una rigorosa validazione sperimentale.

A. Generazione del Dataset Sintetico (eStonefish-Scenes)

Il dataset è generato utilizzando il simulatore Stonefish, integrato direttamente con un modello di telecamera a eventi (DAVIS346).

• Ambienti: Sono stati creati due tipi di scenari: "Rocky" (fondo roccioso nudo) e "Reef" (fondo roccioso con coralli e flora marina).
• Generazione Procedurale:
  • Stonefish-SceneGen: Un modulo per generare automaticamente ambienti ricchi di coralli con pose e dimensioni variabili.
  • Stonefish-Boids: Un pacchetto per simulare banchi di pesci con comportamenti reattivi (allineamento, coesione, separazione e attrazione verso un leader), utilizzando OctoMap per la gestione delle collisioni con l'ambiente statico.
• Configurazione del Veicolo: Un ROV (BlueROV2) simulato è equipaggiato con telecamere RGB, EBC e un sensore di flusso ottico (pseudo-sensore per ground truth perfetto). Le configurazioni includono visione frontale (per ostacoli) e verso il basso (per odometria).
• Dati: Il dataset contiene flussi di eventi, immagini in scala di grigi e flusso ottico ground truth, con una risoluzione nativa di 346x260 pixel, ottimizzata per hardware embedded.

B. Libreria di Elaborazione (eWiz)

È stata sviluppata una libreria Python completa per gestire i dati basati su eventi:

• Formato Ottimizzato: Utilizza file HDF5 compressi (Blosc) per gestire l'alto volume di dati, permettendo lo slicing temporale senza caricare tutto in memoria.
• Funzionalità: Include codificatori (Gaussiano, conteggio eventi), augmentation (warpping temporale, rumore), visualizzazione, funzioni di perdita (loss functions) per l'addestramento supervisionato e non supervisionato, e metriche di valutazione.
• Compatibilità: Supporta conversioni da dataset reali (MVSEC, DSEC) e modelli di telecamere diverse.

C. Validazione Sim-to-Real e Raccolta Dati Reali

Per validare il trasferimento, è stata condotta un'esperienza in una piscina di test interna al CIRS (Girona).

• Setup: Un BlueROV2 reale con una telecamera DAVIS346 montata verso il basso.
• Ground Truth: Poiché ottenere un flusso ottico denso reale è difficile, è stato utilizzato un poster ad alta risoluzione sul fondo della piscina. Il ground truth è stato calcolato tramite registrazione basata su omografia tra i frame in scala di grigi e il poster.
• Stima dell'Incertezza: È stato introdotto un metodo Monte Carlo basato sulla perturbazione delle corrispondenze dei punti chiave per stimare l'incertezza per pixel. Questa mappa di incertezza è stata integrata nelle metriche di valutazione per pesare i risultati in base alla affidabilità del ground truth.

3. Contributi Chiave

1. eStonefish-Scenes: Il primo dataset sintetico basato su eventi per il flusso ottico sottomarino, con pipeline di generazione dati aperta e personalizzabile.
2. Strumenti di Simulazione: Sviluppo di Stonefish-SceneGen (per coralli) e Stonefish-Boids (per banchi di pesci reattivi) per creare ambienti dinamici realistici.
3. eWiz: Una libreria completa per l'elaborazione, la visualizzazione e l'addestramento di modelli su dati a eventi, con formati di storage ottimizzati.
4. Framework di Valutazione Incerta: Un metodo innovativo per la raccolta di dati reali che include la stima dell'incertezza per pixel, utilizzata per metriche di valutazione ponderate (uncertainty-aware).
5. Validazione Sim-to-Real: Dimostrazione che un modello addestrato esclusivamente su dati sintetici può generalizzare efficacemente su dati reali sottomarini senza fine-tuning.

4. Risultati

È stato addestrato una rete neurale basata su ConvGRU (inspirata a Hagenaars et al.) utilizzando solo i dati sintetici di eStonefish-Scenes. La rete è stata testata sui dati reali senza alcun adattamento.

• Performance su Dati Sintetici:
  • Average Endpoint Error (AEE): 0.636 pixel.
  • Average Angular Error (AAE): 0.173 radianti.
• Performance su Dati Reali (Sim-to-Real):
  • AEE pesato per l'incertezza: 0.79 pixel.
  • AAE pesato per l'incertezza: 0.2 radianti.
• Analisi Qualitativa: I risultati mostrano una forte coerenza tra il flusso predetto e il ground truth reale, catturando accuratamente le direzioni di movimento dominanti anche in condizioni di movimento complesso (rotazione e traslazione), nonostante l'assenza di fine-tuning sui dati reali. Le discrepanze sono limitate alle regioni con scarsa texture o alta incertezza di registrazione.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale per la robotica sottomarina autonoma basata su eventi:

• Riduzione dei Costi: Dimostra che è possibile addestrare modelli robusti per ambienti sottomarini utilizzando dati sintetici di alta qualità, riducendo drasticamente la necessità di costose campagne di raccolta dati reali con ground truth perfetto.
• Validità del Sim-to-Real: Conferma che le caratteristiche dei dati a eventi (basati su cambiamenti di luminosità e polarità) sono meno sensibili alle differenze di dominio rispetto alle immagini tradizionali, facilitando il trasferimento dai simulatori alla realtà.
• Nuovo Standard di Valutazione: L'introduzione di metriche di valutazione che tengono conto dell'incertezza del ground truth offre un approccio più rigoroso e realistico per valutare le prestazioni in scenari reali dove la verità di base è intrinsecamente imperfetta.
• Accessibilità: La disponibilità pubblica del dataset, della pipeline di generazione e della libreria eWiz accelera la ricerca su algoritmi di visione sottomarina, sia per reti neurali convoluzionali (CNN) che per reti neurali a impulsi (SNN).