VC-FeS: Viewpoint-Conditioned Feature Selection for Vehicle Re-identification in Thermal Vision

Riepilogo Tecnico: VC-FeS per la Riconoscimento di Veicoli nella Visione Termica

Enunciato del Problema
Il riconoscimento di veicoli (ReID) nella visione termica presenta sfide significative rispetto al dominio RGB. Le immagini termiche mancano di informazioni cromatiche e di dettagli fini della texture, che sono caratteristiche discriminative critiche nelle attività ReID standard. Inoltre, veicoli e imbarcazioni mostrano un'alta similarità intra-classe (ad esempio, modelli identici) e una significativa variabilità inter-punto di vista (frontale, laterale, posteriore). I metodi esistenti, spesso pre-addestrati su dati RGB, faticano nel dominio termico perché si basano su pattern cromatici e di texture assenti nelle immagini termiche in scala di grigi. Inoltre, la variabilità del punto di vista aggiunge complessità, poiché i vettori di caratteristiche variano drasticamente a seconda dell'angolo della telecamera, e determinare quali lati di un veicolo sono visibili in una singola immagine rimane un passo di pre-elaborazione impegnativo.

Metodologia
Il sistema proposto, VC-FeS (Selezione di Caratteristiche Condizionata al Punto di Vista), affronta queste problematiche attraverso un framework a due sottosistemi: tracciamento degli oggetti e riconoscimento condizionato al punto di vista.

1. Tracciamento e Rilevamento degli Oggetti:
   Il sistema adatta l'algoritmo TraDeS per il dominio termico. Utilizza un'unica architettura di base (DLA-34) per eseguire rilevamento e tracciamento congiunti. Due moduli chiave ottimizzano le prestazioni:

   • Associazione basata sul Volume dei Costi (CVA): Genera embedding e deriva i movimenti degli oggetti per migliorare l'accuratezza del tracciamento.
   • Deformatore di Caratteristiche guidato dal Movimento (MFW): Migliora il vettore di caratteristiche del fotogramma corrente basandosi sulla cronologia di tracciamento dei fotogrammi passati, propagando indizi di tracciamento per migliorare il rilevamento in scenari di occultamento.
     Il sistema produce riquadri di delimitazione tracciati che vengono poi ritagliati per il ReID.

2. Estrazione del Foreground:
   Poiché le immagini termiche mancano di contrasto cromatico, la segmentazione convenzionale (ad esempio GrabCut) fallisce. Gli autori impiegano una architettura encoder-decoder personalizzata con connessioni residue per generare maschere del foreground. Questo modello è addestrato su maschere termiche annotate per isolare accuratamente i veicoli dallo sfondo nonostante distribuzioni di intensità simili.

3. Selezione di Caratteristiche Condizionata al Punto di Vista:
   L'algoritmo ReID centrale estrae caratteristiche dal foreground mascherato utilizzando un Dino-ViT (Vision Transformer) pre-addestrato su ImageNet. Le caratteristiche estratte sono mappate in quattro spazi latenti tramite livelli lineari paralleli: Globale, Frontale, Laterale e Posteriore.

   • Mappatura ArcFace: Ogni spazio latente utilizza ArcFace per mappare i vettori di caratteristiche su una ipersfera, massimizzando la varianza inter-classe e minimizzando la varianza intra-classe.
   • Calcolo del Rapporto di Area: Un decoder suddivide la maschera del foreground in maschere specifiche per lato (frontale, laterale, posteriore) per calcolare il Rapporto di Area (AR) per ciascun punto di vista.
   • Calcolo della Distanza Ponderata: Il sistema calcola le distanze L2 tra le caratteristiche della query e quelle della galleria in ciascuno dei quattro spazi. Queste distanze sono ponderate dai corrispondenti Rapporti di Area (Eq. 2). Questo meccanismo garantisce che le caratteristiche provenienti da punti di vista visibili contribuiscano al punteggio finale, sopprimendo al contempo i contributi da punti di vista non visibili (dove l'AR è zero), gestendo efficacemente l'auto-occlusione.
   • Funzioni di Perdita: Il modello è addestrato utilizzando una combinazione di Perdita di Classificazione dell'Identità (Cross-Entropy) e Perdita Triplet per apprendere caratteristiche discriminative basate sulla forma.

Contributi Chiave

• Algoritmo ReID Innovativo: Gli autori propongono un algoritmo condizionato al punto di vista che costruisce punteggi di confidenza fondendo caratteristiche da spazi latenti separati (frontale, laterale, posteriore, globale) ponderati in base alla visibilità del punto di vista. Questo approccio adatta gli estrattori ViT pre-addestrati su RGB al dominio termico concentrandosi sulla forma piuttosto che sul colore.
• Dataset Marittimo Termico: Il documento introduce un nuovo dataset pubblico contenente riprese video e immagini di oggetti marittimi (imbarcazioni piccole e grandi) da vari angoli, annotati secondo gli standard COCO per rilevamento, tracciamento e ReID. Si afferma che questo è il primo dataset pubblico di questo tipo per la sorveglianza marittima termica.
• Adattamento al Dominio Termico: Il lavoro dimostra l'adattamento riuscito dell'algoritmo di tracciamento TraDeS al dominio termico, stabilendo una linea di base per il tracciamento di imbarcazioni, navi, veicoli e persone senza caratteristiche cromatiche.

Risultati
Il sistema è stato valutato sul dataset RGBNT100 (veicoli IR) e sul dataset marittimo termico proprietario degli autori.

• Prestazioni ReID: Il metodo proposto ha superato il metodo all'avanguardia SPAN.
  • Su RGBNT100, ha ottenuto un miglioramento del 19,7% nell'mAP.
  • Sul dataset marittimo termico, ha ottenuto un miglioramento del 12,8% nell'mAP.
  • Nel dataset degli autori, il metodo ha raggiunto un'accuratezza Top-1 del 81,82% e un mAP del 63,08%, superando il Top-1 del 78,37% e l'mAP del 55,88% di SPAN.
• Prestazioni di Tracciamento: L'algoritmo TraDeS adattato ha ottenuto un punteggio MOTA del 61,2% nel dominio IR, comparabile alle sue prestazioni nel dominio RGB (63,5% su MOT17), con una velocità di elaborazione di 15 fps adatta al tracciamento in tempo reale.
• Studi di Ablazione: I risultati hanno indicato che l'uso di spazi multipli di punti di vista (invece che solo la vista più grande) ha migliorato i punteggi Top-1 in media del 15% attraverso i dataset. È stato dimostrato che l'uso della mappatura ArcFace e dell'estrazione di caratteristiche basata su ViT è fondamentale per organizzare le caratteristiche in base all'orientamento e migliorare la discriminazione.

Significato e Affermazioni
Il documento afferma che, costruendo vettori di caratteristiche condizionati al punto di vista ed eseguendo confronti di caratteristiche specifici per area, il sistema sfrutta efficacemente gli estrattori ViT esistenti pre-addestrati su RGB, adattandoli alle sfide specifiche del dominio termico (mancanza di colore/textura). Gli autori sottolineano che questa è la prima volta che il riconoscimento di imbarcazioni marittime è stato condotto nel dominio termico. Il metodo proposto è presentato come una soluzione robusta per applicazioni di sorveglianza in cui le informazioni cromatiche non sono disponibili, stabilendo una nuova linea di base per il ReID termico e il tracciamento marittimo. Gli autori intendono rendere pubblico il loro dataset marittimo termico per facilitare ulteriori ricerche in quest'area poco esplorata.