A Sonar-Visual Dataset for Cross-Modal Underwater Robot Perception

Sintesi Tecnica: SOVIS – Un Dataset Sonar-Visual per la Percezione Cross-Modale di Robot Subacquei

Problematica
I robot subacquei si affidano alle telecamere ottiche per dettagli semantici ricchi (colore, texture) e ai sonar acustici per misurazioni di distanza robuste in condizioni di torbidità o scarsa luminosità. Tuttavia, nessuna delle due modalità da sola fornisce una comprensione completa della scena. Sebbene la predizione cross-modale (apprendere la mappatura tra rappresentazioni visive e acustiche) abbia guidato progressi significativi nella robotica terrestre (ad esempio, la fusione LiDAR-camera per la guida autonoma), essa rimane poco esplorata negli ambienti subacquei. Il collo di bottiglia principale è la mancanza di dataset sonar-visuali accoppiati su larga scala e la difficoltà di sincronizzare sensori con sistemi di coordinate fondamentalmente diversi (pixel cartesiani densi vs. fasci polari sparsi) in contesti di fisica subacquea complessa.

Metodologia
Gli autori presentano SOVIS (SOnar-VISual), un dataset del mondo reale e il relativo set di strumenti progettati per colmare questo divario.

1. Piattaforma di Raccolta Dati:

   • Hardware: Un ROV Blueye X3 dotato di una telecamera monoculare integrata da 1080p (30 fps, grandangolo) e un sonar multibeam Blueprint Subsea Oculus M750d (750 kHz, apertura di 130°, 512 fasci).
   • Ambiente: I dati sono stati raccolti attraverso 17 immersioni in sei siti nel Trondheimfjord, in Norvegia, con profondità variabili da 0 a 91 metri e temperature dell'acqua compresi tra 7°C e 18°C.
   • Sensori: La piattaforma registra anche la temperatura dell'acqua e la pressione idrostatica a 1 Hz, essenziali per correggere le stime della distanza acustica basate sulle variazioni della velocità del suono.

2. Pipeline di Elaborazione:

   • Ingestione: Video grezzi, file sonar e telemetria vengono convertiti in un formato unificato (ROS 2 bags).
   • Sincronizzazione: I fotogrammi della telecamera sono ancorati tramite il rilevamento del timestamp basato su OCR sui sovrapposti video. I ping del sonar sono accoppiati ai fotogrammi della telecamera entro una finestra di tolleranza di 2 secondi dopo la correzione del timestamp tra i dispositivi.
   • Generazione Immagini: I ping sonar grezzi (array 1D) vengono rimodellati in griglie polari 2D (446 bin di distanza × 512 fasci), ritagliati/riempiti per una dimensione uniforme e allineati fotogramma per fotogramma con lo stream della telecamera.

3. Strumento di Annotazione Cross-Modale:

   • Per affrontare la difficoltà di etichettatura tra sistemi di coordinate diversi, gli autori hanno sviluppato uno strumento interattivo che visualizza affiancati i flussi sincronizzati di telecamera e sonar.
   • Proiezione: Utilizza un modello di lente parametrizzato per proiettare automaticamente le bounding box disegnate sull'immagine della telecamera (cartesiana) nel sistema di coordinate polari del sonar (angolo e distanza).
   • Semi-Automazione: Lo strumento integra una pipeline a tre stadi: (1) YOLOv8m per il rilevamento dei pesci basato sulla telecamera, (2) sottrazione della mediana temporale per il rilevamento del movimento del sonar, e (3) fusione cross-modale basata sulla sovrapposizione angolare. Ciò riduce il tempo di etichettatura di circa un ordine di grandezza rispetto all'annotazione manuale.

4. Task di Prova di Concetto (Rilevamento Pesci Cross-Modale):

   • Task: Predire la bounding box del sonar (centro angolo, larghezza angolo, centro distanza, larghezza distanza) data un'immagine della telecamera e una bounding box del pesce.
   • Modello (SOVISFishNet): Una backbone EfficientNet-B4 estrae caratteristiche visive multi-scala, fuse tramite una Feature Pyramid Network (FPN). Una maschera di attenzione spaziale a Gaussiana 2D, generata dalla bounding box della telecamera in input, controlla la mappa delle caratteristiche. Le caratteristiche mediate vengono concatenate con le coordinate della bounding box normalizzate e decodificate da un modulo MLP per predire i quattro parametri del sonar.

Contributi Chiave

• Dataset SOVIS: Un dataset del mondo reale composto da circa 76.600 coppie sonar-visuali sincronizzate, inclusi i log ambientali (temperatura/pressione), raccolti in condizioni di oceano aperto.
• Strumentazione di Annotazione: Un'interfaccia interattiva che consente un'efficiente etichettatura cross-modale proiettando le annotazioni tra i domini visivi e acustici, accelerando significativamente la creazione della verità fondamentale (ground truth) accoppiata.
• Benchmark Task: Una dimostrazione del rilevamento di pesci cross-modale, che mostra come i modelli possano apprendere la mappatura da input visivi a output acustici.

Risultati
Gli autori hanno valutato SOVISFishNet su un piccolo sottoinsieme di 306 istanze di pesci etichettate (276 per l'addestramento, 30 per la validazione).

• Performance: Il modello ha raggiunto un 46,7% mAP@0.10 (mean Average Precision alla soglia IoU 0.10).
• Confronto: Questo rappresenta un miglioramento di 7 volte rispetto a un baseline geometrico che mappa le rilevazioni della telecamera nelle coordinate del sonar utilizzando solo la geometria nota del sensore e una distanza media fissa.
• Analisi dell'Errore:
  • Distanza (Range): Il modello ha ridotto l'errore mediano della distanza da 0,644 m (baseline) a 0,102 m, dimostrando la sua capacità di apprendere indizi di profondità visivi (ad esempio, dimensione apparente del pesce, contesto della scena).
    la precisione dell'angolo era leggermente superiore (4,8°) rispetto al baseline geometrico (3,3°), il che è attribuito al fatto che il baseline utilizza una mappatura angolare calibrata direttamente, mentre il modello deve apprendere questa relazione da un dataset limitato.

Significatività e Claim
Il paper posiziona SOVIS come il primo passo verso l'avanzamento della ricerca sulla percezione subacquea cross-modale. Gli autori affermano che il dataset e gli strumenti permettono direzioni di ricerca precedentemente inesplorate nel dominio subacqueo, quali:

• Predizione Sonar Densa: Generare mappe dense di intensità sonar direttamente da immagini monoculari.
• Fusione Sensoriale: Permettere ai robot di inferire la struttura della scena acustica senza sonar attivo, o di riconoscere oggetti basandosi esclusivamente sui ritorni acustici utilizzando prior visivi.

Gli autori dichiarano esplicitamente che, sebbene l'attuale lavoro si concentri sul rilevamento di pesci a livello di bounding box come prova di concetto, l'intero dataset sincronizzato fornisce le fondamenta per task più ampi, inclusa l'allineamento denso a livello di pixel e scenari di predizione cross-modale più complessi. Essi sottolineano che il dataset serve a superare la "mancanza di dati multi-modali accoppiati" che storicamente ha rappresentato un collo di bottiglia in questo campo.