SMART-Ship: A Comprehensive Synchronized Multi-modal Aligned Remote Sensing Targets Dataset and Benchmark for Berthed Ships Analysis

1. Il Problema

L'osservazione terrestre a lungo termine, in particolare la sorveglianza marittima, affronta sfide significative dovute alla complessità dei target multi-scala e agli ambienti dinamici. Le limitazioni delle orbite satellitari e delle condizioni di imaging (es. copertura nuvolosa, illuminazione variabile) rendono difficile l'uso di dati monomodali.
Sebbene esistano dataset multimodali per la rilevazione di oggetti o la generazione di immagini, la maggior parte presenta carenze critiche:

• Mancanza di allineamento temporale e spaziale: Molti dataset non garantiscono che le immagini di diverse modalità siano acquisite nello stesso momento e luogo con precisione.
• Annotazioni grossolane: Spesso si limitano a riquadri di delimitazione (bounding box) rettangolari e categorie generiche, insufficienti per compiti avanzati come il re-identificazione (Re-ID) o l'analisi dei cambiamenti a livello di istanza.
• Dominio limitato: La maggior parte dei dataset si concentra su scenari urbani o terrestri, trascurando le specificità delle scene marittime (diversità delle navi, riflessi dell'acqua, infrastrutture portuali).
• Frammentazione: Non esiste un dataset unificato che supporti simultaneamente compiti di rilevamento, generazione, fusione e rilevamento dei cambiamenti per le navi.

2. Metodologia e Descrizione del Dataset (SMART-Ship)

Gli autori hanno proposto SMART-Ship, il primo dataset multimodale sincronizzato e allineato specificamente per l'analisi delle navi ormeggiate.

• Composizione dei Dati:

  • 1.092 set di immagini multimodali registrati, ciascuno contenente 5 modalità complementari acquisite entro una finestra temporale di una settimana:
    1. RGB (Luce visibile)
    2. SAR (Radar ad apertura sintetica)
    3. PAN (Pancromatico)
    4. MS (Multispettrale)
    5. NIR (Infrarosso vicino)
  • Copertura: 38.838 navi annotate, con risoluzioni che variano da 0.5m a 3.2m (GSD).
  • Sincronizzazione: Le immagini sono registrate spazialmente e temporaneamente (differenza media di -0.01 giorni, deviazione standard di 2.86 giorni).

• Caratteristiche delle Annotazioni:

  • Geometria di precisione: Annotazioni poligonali (non solo bounding box) con una media di 12-13 vertici per nave, permettendo un'analisi geometrica fine.
  • Categorie e Identità: 61 categorie di navi distinte e 566 ID unici a livello di istanza.
  • Maschere di cambiamento: Annotazioni specifiche per le regioni di cambiamento (es. arrivo/partenza dal porto).
  • Gerarchia: Le annotazioni sono organizzate gerarchicamente per supportare diversi compiti di interpretazione.

3. Contributi Chiave

1. Dataset Unificato Multimodale: Prima risorsa che integra staticità (coste) e dinamicità (navi) con 5 modalità, offrendo annotazioni fine-grained (poligonali) e ID di istanza.
2. Benchmark a 5 Compiti: Definizione di standard di valutazione per cinque compiti fondamentali dell'analisi RS:
   • Rilevamento multimodale di navi (Multi-Modal Ship Detection).
   • Re-identificazione cross-modale (Cross-Modal Re-ID).
   • Generazione cross-modale (Cross-Modal Generation).
   • Pan-sharpening (fusione PAN-MS).
   • Rilevamento dei cambiamenti cross-modale (Cross-Modal Change Detection).
3. Valutazione Estensiva: Confronto completo di metodi rappresentativi (inclusi YOLO, Transformer, GAN, metodi di apprendimento metrico) su tutti i compiti, rivelando sfide e opportunità specifiche per il dominio marittimo.

4. Risultati Sperimentali

Gli esperimenti condotti sul benchmark SMART-Ship hanno evidenziato diverse scoperte cruciali:

• Rilevamento (Detection):

  • La fusione PAN+MS ha mostrato miglioramenti significativi rispetto ai singoli modali, grazie alla complementarità spettrale e spaziale.
  • La fusione RGB+SAR è più complessa a causa della discrepanza temporale e spettrale; tuttavia, in scenari con ostacoli (nuvole), il SAR compensa efficacemente le carenze dell'ottico.
  • L'architettura ICAFusion ha ottenuto le prestazioni migliori, sottolineando l'importanza di moduli di allineamento avanzati.

• Re-Identificazione (Re-ID):

  • La coppia PAN↔RGB ha ottenuto le prestazioni migliori (Rank-1 > 95%) grazie alla similarità spettrale.
  • Le coppie RGB↔SAR e SAR↔PAN hanno mostrato prestazioni basse (Rank-1 ~35-40%), evidenziando il grande divario di dominio tra ottico e radar. Nessun singolo metodo di perdita (loss function) ha dominato tutti i casi, suggerendo la necessità di architetture specifiche per RS.

• Generazione Cross-Modale:

  • È emerso un compromesso (trade-off) tra metriche pixel-based (PSNR/SSIM) e qualità percettiva (FID). Metodi come CycleGAN hanno preservato meglio le strutture semantiche (es. confini terra-acqua) rispetto a metodi basati su wavelet che, pur avendo PSNR alto, introducevano distorsioni semantiche.
  • La generazione RGB↔SAR è risultata la più difficile (FID più alto), a causa delle differenze fondamentali nei meccanismi di imaging.

• Pan-Sharpening:

  • Il metodo LAGNet ha ottenuto le migliori prestazioni (PSNR 25.94 dB), preservando dettagli spaziali e fedeltà spettrale meglio delle architetture tradizionali.

• Rilevamento dei Cambiamenti:

  • L'approccio basato su SegFormer (SS-Segb1) ha superato le architetture ibride, dimostrando che i transformer sono più efficaci nell'allineamento delle feature eterogenee (RGB-SAR) per il rilevamento dei cambiamenti temporali.

5. Significato e Impatto

Il dataset SMART-Ship rappresenta una risorsa fondamentale per la comunità di ricerca sull'osservazione terrestre:

• Colma un vuoto critico: Fornisce dati ad alta risoluzione e annotati finemente per scenari marittimi, finora trascurati rispetto a quelli urbani.
• Abilita l'apprendimento multimodale: La sincronizzazione temporale e spaziale permette di studiare la fusione di dati eterogenei in condizioni reali, superando i limiti dei dataset esistenti.
• Guida la ricerca futura: I risultati del benchmark indicano che le architetture attuali faticano a gestire la grande eterogeneità tra ottico e radar, suggerendo la necessità di moduli adattivi specifici per modalità e di strategie di apprendimento multi-task.
• Applicazioni pratiche: Supporta direttamente missioni di monitoraggio marittimo, prevenzione di attività illegali, ricerca e soccorso e gestione del traffico portuale, permettendo un'osservazione robusta anche in condizioni avverse (nuvole, notte).

In sintesi, SMART-Ship non è solo un dataset, ma un ecosistema completo che standardizza la valutazione e spinge i confini dell'interpretazione delle scene marittime attraverso l'integrazione di sensori multipli.