Progressive Pixel-Neighborhood Deformable Cross-Attention for Multispectral Object Detection

Sintesi Tecnica: Progressive Pixel-Neighborhood Deformable Cross-Attention per il Rilevamento di Oggetti Multispettrali

Problematica
Il rilevamento di oggetti multispettrale, che fonde immagini visibili (RGB) e termiche a infrarossi (TIR), affronta due sfide primarie: il debole disallineamento spaziale tra le modalità e l'elevato costo computazionale dell'interazione globale delle caratteristiche.

1. Debole Disallineamento: A causa dello spostamento dei sensori, degli errori di calibrazione e dei diversi campi visivi, le immagini visibili e termiche presentano spesso offset spaziali non lineari. I metodi di fusione convenzionali, che assumono una rigorosa registrazione a livello di pixel, soffrono di ghosting delle caratteristiche, bordi sfocati e bias di localizzazione.
2. Efficienza Computazionale: Sebbene le architetture basate su Transformer (ad es. ICAFusion) offrano un forte modellamento a lungo raggio tramite la cross-attention globale, la loro complessità computazionale scala quadraticamente con la risoluzione dell'immagine ($O((HW)^2)$). Ciò impone un overhead di memoria proibitivo e limita l'implementazione su piattaforme con risorse limitate. Inoltre, l'attenzione globale spesso introduce rumore di fondo irrilevante, diluendo il potere discriminativo per i target salienti.

Metodologia: PNAFusion
Gli autori propongono PNAFusion (Progressive Pixel-Neighborhood Deformable Cross-Attention), un framework progettato per bilanciare l'accuratezza del disallineamento con l'efficienza della memoria. L'architettura consiste in un backbone a doppio stream per l'estrazione delle caratteristiche, seguito da uno stadio di fusione iterativo e da una testa di rilevamento. Le innovazioni principali sono:

1. Pixel-Neighborhood Cross-Attention (PNCA):

   • Invece del matching globale, la PNCA restringe l'interazione cross-modale a un vicinato locale $k \times k$ attorno a ogni pixel di query.
   • Questo riduce la complessità dominante dell'attenzione da $O((HW)^2)$ a $O(HWk^2)$, riducendo significativamente il consumo di memoria e i FLOPs.
   • Sopprime il rumore di fondo evitando il matching globale irrilevante, concentrando l'interazione sulle regioni locali semanticamente rilevanti.

2. Adaptive Deformable Alignment (ADA):

   • Per affrontare i disallineamenti spaziali non lineari, ADA predice gli offset di campionamento content-aware per la modalità key-value (ad es. TIR) basandosi sulla modalità query (ad es. RGB).
   • Utilizzando una rete di offset appresa, ADA esegue un campionamento bilineare deformabile per allineare le caratteristiche prima del calcolo dell'attenzione.
   • Fondamentalmente, questi offset sono vincolati all'interno del vicinato locale, correggendo il disallineamento locale senza eseguire un campionamento globale arbitrario.

3. Meccanismo di Feedback Iterativo:

   • Il framework impiega un ciclo ricorrente in cui i blocchi dual-stream PNDCA (PNCA + ADA) sono impilati ed eseguiti iterativamente ($N$ volte).
   • Questa raffinazione progressiva permette al modello di correggere ricorsivamente gli errori di allineamento residui e di approfondire l'interazione semantica, utilizzando l'output di un'iterazione come prior per la successiva.

4. Fusione Leggera:

   • Dopo la raffinazione iterativa, i flussi di caratteristiche allineati vengono concatenati e compressi tramite un modulo Network-in-Network (NiN) (convoluzione $1 \times 1$) prima della testa di rilevamento, evitando ulteriori interazioni spaziali costose.

Contributi Chiave

• Design del Framework: Introduzione di PNAFusion, che affronta esplicitamente il compromesso tra accuratezza del disallineamento cross-modale e scalabilità di memoria/FLOPs nella fusione di caratteristiche ad alta risoluzione, piuttosto che rivendicare un vantaggio di latenza assoluto.
• Moduli Innovativi:
  • ADA: Apprende offset content-aware per compensare il disallineamento non lineare locale.
  • PNCA: Restringe l'interazione cross-modale a un vicinato $k \times k$, riducendo la complessità da $O((HW)^2)$ a $O(HWk^2)$.
• Raffinazione Iterativa: Dimostra che un meccanismo di feedback progressivo gestisce il debole disallineamento meglio di quanto faccia un semplice aumento della profondità della rete.

Risultati Sperimentali
Il metodo è stato valutato su tre benchmark: FLIR, M3FD e DroneVehicle.

• Accuratezza:
  • Su FLIR, PNAFusion ha raggiunto l'84.2 mAP@0.5 (YOLOv5) e l'86.8 mAP@0.5 (Co-DETR).
  • Su M3FD, ha raggiunto il 90.5 mAP@0.5 (YOLOv5) e il 90.8 mAP@0.5 (Co-DETR).
  • Su DroneVehicle, ha ottenuto l'85.5 mAP@0.5.
  • Notevolmente, il metodo ha mostrato guadagni significativi in mAP@0.75, indicando una migliore precisione di localizzazione e una riduzione del ghosting delle caratteristiche.
• Efficienza:
  • Rispetto al baseline di cross-attention globale (ICAFusion), PNAFusion ha ridotto la memoria GPU allocata del 33.0% (da 775.09 MB a 519.61 MB).
  • I FLOPs teorici sono stati ridotti da 194.8 G a 156.4 G.
  • Compromesso di Latenza: Gli autori riconoscono che, a causa del campionamento deformabile e della raffinazione iterativa, la latenza assoluta di inferenza è aumentata (ad es. 36.80 ms vs 25.67 ms per ICAFusion su RTX 4090D). Pertanto, il beneficio è inquadrato come un compromesso tra accuratezza e memoria/FLOPs piuttosto che un vantaggio di velocità.

Significatività e Rivendicazioni
Il paper sostiene che PNAFusion fornisca una soluzione pratica per il rilevamento di oggetti multispettrali debolmente allineati tramite:

1. Correzione del Disallineamento Locale: Gestione efficace degli offset spaziali non lineari attraverso il campionamento deformabile content-aware all'interno di un vicinato vincolato.
2. Ottimizzazione dell'Uso delle Risorse: Raggiungimento di un'elevata accuratezza di rilevamento riducendo sostanzialmente l'impronta di memoria e il costo computazionale rispetto ai meccanismi di attenzione globale, rendendolo più adatto a piattaforme con risorse limitate.
3. Miglioramento della Robustezza: Miglioramento della completezza del rilevamento e della localizzazione dei bordi in condizioni difficili (scarsa illuminazione, riflessi, clutter) sopprimendo l'attivazione del background irrilevante.

Gli autori notano con modestia alcune limitazioni, tra cui la mancanza di una ground truth di allineamento pixel-level densa per la valutazione diretta degli offset, l'assenza di etichette ufficiali giorno/notte nei dataset pubblici per un'analisi specifica dell'illuminazione e l'inefficienza hardware dei pattern di accesso alla memoria irregolari del campionamento deformabile su determinate piattaforme. Il lavoro futuro suggerito si concentra sul campionamento deformabile più amichevole per l'hardware e sulla supervisione esplicita degli offset.