Beyond Pedestrians: Caption-Guided CLIP Framework for High-Difficulty Video-based Person Re-Identification

1. Il Problema

Il Re-Identificazione di Persone basata su Video (Video-based Person ReID) mira a identificare individui attraverso sequenze video catturate da telecamere non sovrapposte. Sebbene i metodi attuali abbiano ottenuto buoni risultati in scenari standard (come il monitoraggio di pedoni in ambienti urbani), faticano notevolmente in scenari ad alta difficoltà.

Questi scenari includono:

• Sport e performance di danza: Dove più individui indossano uniformi o costumi identici o molto simili.
• Movimenti dinamici: Che richiedono l'uso di frame rate elevati o risoluzioni maggiori per catturare il movimento, aumentando i costi computazionali.
• Sfide principali:
  1. Raccolta di caratteristiche discriminative fini: Distinguere individui con abbigliamento simile richiede di notare differenze sottili (es. numero sulla maglia, acconciatura, colore delle scarpe) che i modelli puramente visivi spesso ignorano.
  2. Aggregazione efficiente di informazioni spaziotemporali: I meccanismi di auto-attenzione (self-attention) usati in passato hanno un costo computazionale che scala quadraticamente con la lunghezza del token di input, rendendoli inefficienti per video ad alta risoluzione o con molti frame.

2. Metodologia: CG-CLIP

Gli autori propongono CG-CLIP, un nuovo framework guidato da didascalie (caption) basato su CLIP (Contrastive Language-Image Pre-training). Il metodo integra descrizioni testuali esplicite e token apprendibili per migliorare la rappresentazione delle identità.

Il framework si compone di due moduli chiave:

A. Caption-guided Memory Refinement (CMR)

Questo modulo utilizza descrizioni testuali per affinare le caratteristiche visive.

• Generazione delle Didascalie: Vengono sintetizzate didascalie dettagliate (es. "una donna con una maglia blu numero 7 e scarpe nere") utilizzando Multi-modal Large Language Models (MLLMs) come Phi-4-Multimodal.
• Costruzione della Text Memory: Le didascalie vengono codificate da un encoder CLIP congelato. Per ogni identità, viene creata una "Text Memory" (un prototipo testuale) calcolando la media degli embedding delle didascalie associate a quell'identità.
• Raffinamento: Durante l'addestramento, la Text Memory agisce come una query in un meccanismo di cross-attention sui token visivi estratti dal batch di addestramento. Questo permette al modello di selezionare e focalizzarsi sui token visivi più discriminativi (es. il numero sulla maglia) e di iniettare queste informazioni semantiche nella "Image Memory" (il prototipo visivo).
• Vantaggio: A differenza dei metodi che usano solo token testuali apprendibili o prototipi visivi medi, la CMR integra esplicitamente la conoscenza semantica per risolvere ambiguità visive. Le didascalie non sono necessarie durante l'inferenza, mantenendo l'efficienza.

B. Token-based Feature Extraction (TFE)

Questo modulo affronta il problema dell'efficienza computazionale nell'aggregazione spaziotemporale.

• Meccanismo: Invece di usare l'auto-attenzione su tutti i token (costo quadratico), il TFE utilizza un insieme fisso di token apprendibili (learnable tokens).
• Funzionamento:
  1. I token apprendibili agiscono come query in un meccanismo di cross-attention rispetto alle caratteristiche temporali (frame).
  2. Successivamente, questi token vengono elaborati da un encoder spaziale che utilizza cross-attention e self-attention rispetto ai token delle patch dell'immagine.
• Vantaggio: Questo approccio mantiene il costo computazionale lineare rispetto alla lunghezza dell'input, rendendo il metodo scalabile per scene dinamiche che richiedono più frame o risoluzioni superiori senza esplodere i costi di memoria.

3. Contributi Chiave

1. Framework CG-CLIP: Un nuovo approccio che combina modelli visione-linguaggio (CLIP) con didascalie generate da MLLM per il ReID video, superando i limiti dei metodi puramente visivi.
2. Nuovi Dataset ad Alta Difficoltà: Gli autori hanno costruito due nuovi dataset, SportsVReID e DanceVReID, derivati da dataset di Multi-Object Tracking (SportsMOT e DanceTrack). Questi dataset contengono scene di sport e danza con individui in abbigliamento quasi identico, colmando il divario tra i benchmark esistenti (focalizzati sui pedoni) e le applicazioni reali complesse.
3. Efficienza Computazionale: Il modulo TFE offre un'aggregazione spaziotemporale robusta con un costo computazionale inferiore rispetto alle architetture basate su Transformer puri.
4. Performance Superiori: Il metodo dimostra miglioramenti significativi rispetto allo stato dell'arte (SOTA) sia sui benchmark standard che sui nuovi dataset difficili.

4. Risultati Sperimentali

Il metodo è stato valutato su quattro dataset: MARS e iLIDS-VID (standard) e SportsVReID e DanceVReID (nuovi).

• Performance su Dataset Standard: Su MARS, CG-CLIP ha raggiunto un mAP del 89.8% e un Rank-1 del 92.5%, superando metodi precedenti come TF-CLIP e FT-CLIP. Su iLIDS-VID, ha ottenuto un Rank-1 del 96.7%.
• Performance su Dataset Difficili:
  • Su SportsVReID: mAP 77.7%, Rank-1 90.4%.
  • Su DanceVReID: mAP 53.8%, Rank-1 76.0%.
  • In particolare, su DanceVReID, il metodo supera TF-CLIP di 5.2 punti percentuali nel Rank-1, dimostrando la sua efficacia nel distinguere individui con costumi identici grazie all'uso delle didascalie.
• Efficienza: L'analisi di latenza mostra che il modulo TFE riduce i calcoli temporali del ~70% rispetto ai metodi basati su self-attention (come TMD in TF-CLIP) mantenendo o migliorando l'accuratezza, specialmente con un numero elevato di frame.
• Ablation Study: Gli esperimenti confermano che sia la CMR (che migliora l'identificazione delle caratteristiche fini) sia il TFE (che migliora l'aggregazione temporale) sono essenziali per le prestazioni finali. La visualizzazione delle mappe di attenzione mostra che il modello si concentra correttamente su regioni discriminative come acconciature, scarpe e numeri, ignorando le aree irrilevanti.

5. Significato e Impatto

Questo lavoro è significativo perché sposta il paradigma del Person ReID video dai semplici scenari di pedoni a contesti reali complessi come sport e danza, dove la similarità visiva è estrema.

• Innovazione Semantica: Dimostra che l'integrazione di descrizioni testuali generate automaticamente può risolvere ambiguità visive che i soli dati immagine non possono chiarire.
• Scalabilità: Offre una soluzione pratica per l'elaborazione di video ad alta risoluzione e alta frequenza, rendendo il ReID più applicabile in scenari di sorveglianza e analisi sportiva in tempo reale.
• Risorse Pubbliche: La creazione e il rilascio di dataset specifici per scenari ad alta difficoltà forniscono nuovi benchmark per la comunità di ricerca, spingendo lo sviluppo di algoritmi più robusti.

In sintesi, CG-CLIP rappresenta un avanzamento fondamentale nel campo del ReID video, combinando la potenza semantica dei Large Language Models con un'architettura efficiente per gestire le sfide più complesse dell'identificazione delle persone.