Improved Vision-to-Chart Buoy Association with Learned World-to-Image Projection

Riepilogo Tecnico: Associazione Migliorata Visione-alla-Chart con Proiezione Mondo-Immagine Appresa

Definizione del Problema
Il documento affronta la sfida di associazione dati "Visione-alla-Chart" (MaCVi 2026), che consiste nel rilevare boe nelle immagini di telecamere marittime e abbinare ogni rilevamento alla corrispondente voce in una carta nautica. La difficoltà principale risiede nella proiezione geometrica: la linea di base della sfida riceve query per ogni boa che codificano solo distanza e rilevamento nello spazio mondiale. Di conseguenza, il decoder transformer deve apprendere implicitamente la complessa mappatura da queste coordinate mondiali ai pixel dell'immagine, un processo fortemente dipendente dal pitch, dal rollio e dalla rotta istantanea della nave (catturati tramite IMU). L'approccio di base costringe il modello a scoprire questa relazione geometrica da zero, affidandosi esclusivamente al raffinamento basato sull'aspetto.

Metodologia
La soluzione proposta introduce una modifica leggera alla linea di base del transformer di fusione basato su DETR, fornendo esplicitamente un prior spaziale al decoder. La metodologia consta di due fasi principali:

1. QueryMLP (Proiezione Mondo-Immagine Appresa):
   Un Multi-Layer Perceptron (MLP) dedicato viene addestrato indipendentemente per prevedere il "punto di contatto con la linea d'acqua" della boa nell'immagine. Questo punto è scelto come obiettivo di previsione perché corrisponde direttamente alla posizione dell'oggetto sul piano dell'acqua ed è approssimato dal bordo inferiore-centrale del bounding box ($[c_x, c_y + h/2]$).

   • Input: L'MLP riceve sei caratteristiche derivate dai dati della carta e dall'orientamento IMU: distanza normalizzata, distanza inversa (limitata per gestire la non linearità nel campo vicino), rilevamento normalizzato, pitch, rollio e rotta.
   • Architettura: Una rete a quattro livelli ($6 \to 128 \to 128 \to 128 \to 2$) con BatchNorm, ReLU, Dropout e un layer di output Sigmoid.
   • Addestramento: Viene addestrato su esempi accoppiati (query, IMU, etichetta) utilizzando AdamW e la funzione di perdita SmoothL1, convergendo all'epoca 585 con un errore di validazione mediano di 18,4 pixel.

2. Integrazione nella Pipeline DETR:
   Una volta addestrato, il QueryMLP viene congelato. Durante l'addestramento e l'inferenza di DETR, il caricatore del dataset esegue l'MLP su ogni query della carta per generare coordinate pixel previste. Queste coordinate vengono concatenate con la distanza e il rilevamento normalizzati originali per formare un vettore di query aumentato a 4 dimensioni ($q = [dist_{norm}, bearing_{norm}, c_x, c_y + h/2]$).

   • Questo vettore amplia la dimensione di input dell'MLP di embedding del decoder di base da 2 a 4.
   • Il decoder transformer esegue quindi l'attenzione incrociata su queste embedding arricchite rispetto alle caratteristiche dell'immagine di ResNet-50.
   • Tutti gli altri componenti architetturali (backbone ResNet-50, livelli transformer, funzioni di perdita) rimangono identici alla linea di base.

Contributi Chiave

• Prior Spaziali Espliciti: Il lavoro sostituisce l'apprendimento implicito della proiezione geometrica con una mappatura esplicita e appresa che fornisce al decoder una posizione approssimata per ogni boa prima che elabori le caratteristiche dell'immagine.
• Obiettivo Punto di Contatto con la Linea d'Acqua: Ispirato da lavori precedenti sulla georeferenziazione marittima, il metodo mira specificamente al punto di contatto con la linea d'acqua come la posizione nello spazio immagine più geometricamente significativa per l'associazione delle boe.
• Modifica Leggera: L'approccio non richiede modifiche al pesante backbone transformer o al ciclo di addestramento principale del modello DETR, ma solo un MLP pre-addestrato aggiuntivo e una modifica alla pipeline di costruzione delle query.

Risultati
Il metodo è stato valutato sul dataset ATON (5.189 campioni) e sul set di test privato tenuto nascosto della sfida.

• Prestazioni: L'approccio proposto ha ottenuto un punteggio complessivo di 0,7386 sul set di test (calcolato come media tra F1-score e mIoU), piazzandosi secondo tra tutte le sottomissioni.
  • Metriche Set di Test: F1 = 0,8055, mIoU = 0,6718.
  • Metriche Set di Validazione: Complessivo = 0,7462 (F1 = 0,8171, mIoU = 0,6753).
• Confronto: Quando ri-addestrato in condizioni identiche, la linea di base (utilizzando solo distanza e rilevamento) ha ottenuto un punteggio complessivo di 0,7193 sul set di validazione. Il metodo proposto ha dimostrato una generalizzazione coerente tra set di validazione e set di test.
• Analisi Qualitativa: I confronti visivi indicano che il metodo proposto sopprime le rilevazioni di falsi positivi su oggetti non boe e rileva con successo le boe perse dalla linea di base, attribuito alla maggiore precisione derivante dal prior spaziale.

Significato e Affermazioni
Il documento afferma che il significato principale di questo lavoro è la riduzione del "carico di ragionamento geometrico" sul decoder transformer. Prevedendo esplicitamente dove una boa dovrebbe apparire in base alle coordinate mondiali e all'orientamento della nave, il modello può concentrare la sua capacità sul raffinamento basato sull'aspetto piuttosto che sull'apprendimento della geometria di proiezione da zero.

Gli autori notano modestamente limitazioni e direzioni future:

• Design Congelato: L'implementazione corrente mantiene QueryMLP congelato durante l'addestramento di DETR, impedendo al decoder di fornire feedback per affinare le previsioni dei pixel. L'addestramento congiunto end-to-end è suggerito come miglioramento futuro.
• Robustezza Ambientale: Sebbene il punto di contatto con la linea d'acqua sia geometricamente stabile in condizioni di calma, gli autori riconoscono che potrebbe essere meno affidabile in mare agitato, dove l'azione delle onde o gli spruzzi oscurano la base della boa, proprio le condizioni in cui un'associazione robusta è più critica.

Il codice per l'implementazione è pubblicamente disponibile.