Riepilogo Tecnico: Apprendimento di Rappresentazioni Invarianti per Modalità a Livello di Sequenza Guidate dal Linguaggio per la Re-Identificazione di Persone Basata su Video Visibile-Infrarosso

1. Definizione del Problema

La Re-Identificazione di Persone basata su Video Visibile-Infrarosso (VVI-ReID) mira a far corrispondere le identità dei pedoni attraverso sequenze video visibili (RGB) e a infrarossi (IR) in diverse condizioni di illuminazione. Sebbene efficace per la sorveglianza 24/7, questo compito affronta due sfide primarie:

1. Il Gap Modale: Esistono significative discrepanze semantiche tra i dati RGB e IR a causa dei loro diversi meccanismi di imaging (riflettanza vs. radiazione termica), il che ostacola l'allineamento delle caratteristiche cross-modali.
2. Modellazione Spazio-Temporale: I metodi esistenti faticano a modellare efficientemente le dipendenze temporali dinamiche nelle sequenze video mantenendo al contempo una sufficiente interazione cross-modale.

Gli approcci allo stato dell'arte, in particolare quelli che sfruttano il modello CLIP (Contrastive Language-Image Pre-training), affrontano limitazioni specifiche:

• Modellazione inefficiente: Metodi come VLD introducono token aggiuntivi (hub spazio-temporali) nell'encoder visivo, causando un aumento quadratico della complessità computazionale.
• Interazione insufficiente: Le architetture a rete condivisa spesso trascurano il ruolo critico dell'esplicita interazione di caratteristiche cross-modali, risultando in caratteristiche invarianti per modalità che mancano di robustezza.
• Mancanza di Guida Esplicita: Affidarsi esclusivamente a perdite a livello di identità non riesce a imporre esplicitamente la coerenza cross-modale, portando a un allineamento modale inadeguato.

2. Metodologia: LSMRL

Gli autori propongono LSMRL (Language-Driven Sequence-Level Modal-Invariant Representation Learning), un framework costruito sul modello CLIP con modifiche minime. L'architettura è composta da tre moduli complementari e un sistema di perdita multipla.

A. Modulo di Apprendimento delle Caratteristiche Spazio-Temporali (STFL)

Progettato per modellare le sequenze video in modo efficiente senza un eccessivo sovraccarico computazionale, il modulo STFL decompone l'encoder visivo di CLIP in tre sotto-moduli:

1. Encoder Visivo di Base: Riutilizza i primi 8 blocchi Transformer di CLIP pre-addestrato per estrarre semantica spaziale fine (es. contorni, texture) dai singoli frame.
2. Encoder Spazio-Temporale Raggruppato (STG): Utilizza gli ultimi 4 blocchi Transformer ma modifica il meccanismo di Multi-Head Self-Attention (MHSA). Divide le teste di attenzione in due gruppi:
   • Teste Temporali: Abilitano l'interazione tra frame calcolando l'attenzione tra un frame $t$ e un frame vicino $t + \Delta t$, catturando pattern di movimento dinamici.
   • Teste Spaziali: Mantengono l'attenzione intra-frame per raffinare le relazioni spaziali (es. posizioni delle parti del corpo).
   • Efficienza: Questo design riutilizza i parametri pre-addestrati ed evita l'introduzione di nuovi token, mantenendo invariata la complessità computazionale.
3. Encoder di Spostamento dei Patch Temporali (TPS): Aggiunge un blocco transformer con un meccanismo di spostamento dei patch temporali. Sposta ciclicamente i token dei frame lungo la dimensione temporale prima di applicare l'auto-attenzione. Ciò consente al meccanismo di attenzione spaziale standard di catturare naturalmente dipendenze temporali a lungo raggio e interazioni sparse senza aumentare il numero di parametri.

B. Modulo di Diffusione Semantica (SD)

Per colmare il gap semantico tra le modalità RGB e IR, il modulo SD inietta la semantica testuale condivisa tra le modalità nelle caratteristiche visive:

• Estrazione del Testo: Un prompt apprendibile ("Una persona [X]1...[X]m osservata sia di giorno che di notte") viene codificato dall'encoder testuale di CLIP (congelato) per generare un embedding semantico testuale condiviso ($T_e$).
• Meccanismo di Diffusione: $T_e$ agisce come un vettore di query in un meccanismo di attenzione cross-modale contro le matrici key e value derivate dalle sequenze RGB e IR. Questo diffonde l'informazione semantica condivisa in entrambe le modalità, generando rappresentazioni preliminari invarianti per modalità e stabilendo una coerenza a grana grossa.

C. Modulo di Interazione Cross-Modale (CMI)

Per raffinare le rappresentazioni ed eliminare il gap modale residuo, il modulo CMI impiega l'auto-attenzione bidirezionale cross-modale:

• Interazione Bidirezionale: Le caratteristiche RGB fungono da query per le caratteristiche IR (e viceversa), permettendo a ciascuna modalità di assorbire pattern discriminativi dell'identità dall'altra, sopprimendo al contempo il rumore specifico della modalità.
• Aggregazione a Livello di Sequenza: Il Temporal Average Pooling (TAP) viene applicato ai token [cls] delle caratteristiche interagite per produrre le finali rappresentazioni invarianti per modalità a livello di sequenza ($f^R$ e $f^I$).

D. Sistema di Perdita Multipla

L'obiettivo di addestramento combina diverse funzioni di perdita per guidare l'apprendimento in diverse fasi:

• Perdite STFL: La perdita di Identità (ID) e la Weighted Regularized Triplet (WRT) loss sono applicate agli output di STG e TPS per garantire la discriminabilità intra-modale. Una perdita contrastiva Video-to-Text (V2T) allinea le caratteristiche video con la semantica testuale condivisa.
• Perdite a Livello di Modalità:
  • Perdita Modale-Discriminativa (MD): Impone compattezza all'interno della stessa identità attraverso le modalità pur separando le diverse identità.
  • Perdita di Potenziamento Condiviso tra Modalità (MSEL): Minimizza esplicitamente la distanza tra le rappresentazioni cross-modali dello stesso campione, garantendo che le caratteristiche apprese siano realmente invarianti per modalità.

3. Contributi Chiave

1. Framework Innovativo: La proposta di LSMRL, che sfrutta l'allineamento semantico di CLIP per guidare l'apprendimento invariante per modalità a livello di sequenza, affrontando i limiti di efficienza, interazione e guida della perdita.
2. Modulo STFL Efficiente: Un design a parametri ridotti che riutilizza i blocchi CLIP e introduce i meccanismi STG e TPS per catturare la dinamica spazio-temporale senza aumentare l'overhead computazionale o il numero di token.
3. Meccanismo di Interazione in Due Fasi: L'integrazione di SD (diffusione semantica a grana grossa) e CMI (attenzione bidirezionale a grana fine) per ridurre progressivamente il gap modale RGB/IR.
4. Guida Esplicita tramite Perdita: La costruzione di un sistema di perdita multipla che include le perdite MD e MSEL per rafforzare esplicitamente la coerenza cross-modale e la generalizzazione delle caratteristiche.

4. Risultati Sperimentali

Sono stati condotti estesi esperimenti su due dataset su larga scala: HITSZ-VCM e BUPTCampus.

• Performance su HITSZ-VCM: LSMRL ha raggiunto un'accuratezza Rank-1 del 75,1% (I2V) e del 75,2% (V2I), superando il precedente metodo SOTA (VLD) rispettivamente dello 0,8% e dello 0,6% in Rank-1, e ottenendo i punteggi mAP più elevati (60,9% e 58,2%).
• Performance su BUPTCampus: Il metodo ha dimostrato una superiorità significativa, raggiungendo il 71,1% di Rank-1 (I2V) e il 67,0% di Rank-1 (V2I). Ciò rappresenta un miglioramento del 5,8% in I2V Rank-1 rispetto a VLD e un miglioramento del 14,6% rispetto al miglior metodo non-CLIP (UCT).
• Efficienza: Nonostante i guadagni di performance, la fase di inferenza di LSMRL richiede meno parametri (88,53M) e meno FLOPs rispetto ad altri metodi basati su CLIP come TF-CLIP e VLD, grazie alla rimozione del modulo SD e dell'encoder testuale durante l'inferenza.
• Studi di Ablazione:
  • Il solo modulo STFL ha migliorato il Rank-1 di circa il 7-8% rispetto al baseline.
  • L'aggiunta del modulo SD ha fornito il singolo incremento maggiore (+13,8% Rank-1), confermando l'importanza della diffusione semantica.
  • Il modulo CMI e le perdite a livello di modalità hanno ulteriormente raffinato le performance, validando la necessità dell'interazione bidirezionale e dei vincoli di coerenza espliciti.
• Visualizzazione: Le visualizzazioni T-SNE e CAM hanno confermato che LSMRL produce cluster intra-classe più stretti, un migliore allineamento cross-modale (punti RGB/IR sovrapposti) e un'attenzione più focalizzata sulle parti del corpo discriminative rispetto ai baseline.

5. Significato e Limitazioni

Significato:
Il paper sostiene che LSMRL dimostra il grande potenziale dei modelli pre-addestrati visione-linguaggio nel migliorare le prestazioni di VVI-ReID. Integrando la guida semantica guidata dal linguaggio con una modellazione spazio-temporale efficiente, il metodo raggiunge una precisione e una robustezza superiori mantenendo l'efficienza computazionale. Evidenzia che la guida esplicita della perdita a livello di modalità e una sufficiente interazione cross-modale sono critiche per apprendere rappresentazioni invarianti per modalità robuste.

Limitazioni:
Gli autori riconoscono due limitazioni principali:

1. Allineamento a Grana Grossa: Il metodo si affida al backbone a grana grossa di CLIP, che potrebbe faticare ad allineare efficacemente le semantiche locali e a grana fine.
2. Informazione Modale Residua: Le caratteristiche invarianti per modalità apprese potrebbero ancora contenere alcune informazioni specifiche della modalità, il che potrebbe interferire con la capacità discriminativa.

Lavoro Futuro:
Gli autori propongono di introdurre tecniche di allineamento a grana fine e di progettare reti di disaccoppiamento delle caratteristiche nella ricerca futura per migliorare ulteriormente la capacità discriminativa e le prestazioni di ReID.