Scale-Aware Vision-Language Adaptation for Extreme Far-Distance Video Person Re-identification

Titolo: Adattamento Vision-Language Consapevole della Scala per il Re-Identificazione Video di Persone a Distanza Estrema

Contesto e Problema
Il lavoro affronta la sfida del Re-Identificazione (ReID) video di persone a distanza estrema in scenari di sorveglianza aerea (UAV). Questo compito è particolarmente difficile a causa di:

• Compressione della scala: I pedoni occupano pochissimi pixel a causa dell'altitudine e della distanza.
• Degradazione della risoluzione: Perdita di dettagli fini e texture.
• Motion blur e artefatti: Causati dall'instabilità del volo e dal movimento.
• Disallineamento di punto di vista (Viewpoint Mismatch): La differenza radicale tra la vista dall'alto (aerea) e quella orizzontale (terrestre).

I modelli tradizionali, addestrati su immagini a breve distanza, falliscono drasticamente in queste condizioni perché le ipotesi di dettaglio spaziale sufficiente e coerenza del punto di vista non sono più valide. Il benchmark DetReIDX è stato introdotto per stress-testare la robustezza in queste condizioni estreme, rivelando che le linee di base esistenti collassano sotto variazioni estreme di distanza e punto di vista.

Metodologia

Gli autori propongono un framework di adattamento "consapevole della scala" basato su modelli Vision-Language di grandi dimensioni (VLM), partendo da una baseline CLIP. L'approccio si articola in quattro componenti principali:

1. Scaling del Backbone (ViT-B/16 $\to$ ViT-L/14):

   • Viene sostituito l'encoder visivo di base CLIP (ViT-B/16) con una versione più grande e capace (ViT-L/14).
   • Questo aumento di capacità è cruciale per estrarre feature robuste globali e di livello medio da input fortemente degradati e a bassa risoluzione, dove i dettagli fini sono inaffidabili.
   • Vengono adattati i livelli di proiezione e gli adapter per garantire la coerenza dimensionale.

2. Fine-Tuning Selettivo Consapevole del Backbone (Backbone-Aware Selective Fine-Tuning):

   • Per evitare la distruzione delle rappresentazioni pre-addestrate (catastrophic forgetting) e l'overfitting su dati rumorosi, non viene addestrato l'intero modello.
   • Vengono sbloccati solo i due blocchi finali (livelli 22 e 23) del transformer, permettendo l'adattamento ad alto livello al dominio target, mentre i livelli inferiori (che codificano feature visive generali) rimangono congelati.
   • Viene utilizzato un learning rate differenziale: un tasso ridotto (0.1x) per i blocchi del backbone sbloccati e un tasso più alto per gli adapter e i prompt.

3. Pooling Temporale con Attenzione (Temporal Attention Pooling):

   • Invece della media semplice (mean pooling) usata nella baseline, viene introdotto un meccanismo di attenzione temporale leggero.
   • Questo meccanismo assegna pesi adattivi ai frame all'interno di una traccia (tracklet), sopprimendo i frame degradati (sfocati, oscurati) ed enfatizzando quelli informativi e coerenti temporalmente.

4. Ottimizzazione e Post-Processing:

   • Strategia di Addestramento: Modifiche al batch size (aumentato a 48 nella prima fase), schedulazione del learning rate (Cosine Annealing invece di step decay) e aumento dell'augmentazione dei dati (jitter di colore, flipping).
   • Prompt e Adapter: Mantenimento dell'adattamento basato su prompt (PBP) e moduli adapter per mitigare lo shift di dominio tra aria e terra, utilizzando metadata (altitudine, distanza, angolo) come condizioni.
   • k-Reciprocal Re-Ranking: Durante l'inferenza, viene applicato un riordinamento k-reciproco per raffinare la similarità basata sui vicini reciproci, migliorando la coerenza dello spazio di embedding.

Contributi Chiave

1. Studio Sistematico dello Scaling: Dimostrazione che l'aumento della capacità del modello (da ViT-B/16 a ViT-L/14) è fondamentale per la robustezza nella compressione di scala estrema, purché accompagnato da strategie di adattamento stabili.
2. Strategia di Adattamento Stabile: Proposta di una combinazione innovativa di fine-tuning selettivo (solo livelli finali), pooling temporale adattivo e tuning degli adapter/prompt per gestire tracce video rumorose e a bassa risoluzione.
3. Raffinamenti Pratici: Introduzione di ottimizzazioni specifiche come lo schedulatore Cosine, l'augmentazione con jitter di colore e l'uso del re-ranking k-reciproco.
4. Nuovo Record di Performance: Raggiungimento di un nuovo stato dell'arte sul benchmark DetReIDX, superando significativamente sia la baseline ufficiale che i migliori risultati pubblici precedenti.

Risultati

Il metodo è stato valutato sul benchmark DetReIDX utilizzando la metrica mAP (mean Average Precision) pesata sulle query. I risultati ottenuti sono:

• mAP Complessivo: 35.73 (un miglioramento di +7.62 rispetto alla baseline CLIP ViT-B/16 e +2.84 rispetto al miglior risultato pubblico precedente).
• Breakdown per Protocollo:
  • A2G (Aerial-to-Ground): 46.69 mAP.
  • G2A (Ground-to-Aerial): 41.23 mAP.
  • A2A (Aerial-to-Aerial): 22.98 mAP.

L'analisi di ablazione conferma che il guadagno maggiore (+7.62) deriva dallo scaling del backbone combinato con l'adattamento selettivo, mentre il pooling temporale e il re-ranking forniscono miglioramenti complementari consistenti.

Significato

Questo lavoro dimostra che i grandi modelli Vision-Language (come CLIP), se adattati con cura, possono superare le limitazioni dei modelli tradizionali in scenari di sorveglianza aerea estrema. La chiave non è solo usare un modello più grande, ma stabilizzare il suo adattamento attraverso tecniche di fine-tuning selettivo e aggregazione temporale intelligente.
I risultati indicano che la capacità rappresentazionale aumentata è essenziale per recuperare segnali discriminativi in condizioni di risoluzione critica, offrendo una base solida per sistemi di sicurezza pubblica e sorveglianza UAV che operano a grandi distanze. Il lavoro evidenzia anche l'importanza di approcci specifici per il dominio (cross-view) piuttosto che il semplice trasferimento diretto da scenari terrestri.