Pose-dIVE: Pose-Diversified Augmentation with Diffusion Model for Person Re-Identification

1. Il Problema

Il Person Re-Identification (Re-ID) mira a riconoscere e tracciare individui attraverso diverse telecamere non sovrapposte. Tuttavia, le prestazioni dei modelli esistenti sono spesso limitate da due fattori critici che causano un bias nei dati di addestramento:

• Variazioni di postura (Pose): I dataset reali contengono spesso un numero limitato di pose (principalmente in piedi o in cammino), rendendo difficile per i modelli generalizzare a pose dinamiche o atipiche.
• Variazioni di punto di vista (Viewpoint): I dataset tendono ad avere angolazioni di telecamera ristrette (spesso solo due o tre angolazioni per identità), creando una distribuzione unimodale che non riflette la complessità del mondo reale.

Queste limitazioni portano a modelli che non riescono a estrarre caratteristiche robuste dell'identità quando affrontano nuove angolazioni o pose non presenti nel set di addestramento. La raccolta di nuovi dataset diversificati è costosa e solleva problemi di privacy, rendendo necessarie tecniche di aumento dei dati (data augmentation) più sofisticate.

2. Metodologia: Pose-dIVE

Gli autori propongono Pose-dIVE, un approccio innovativo di aumento dei dati che utilizza modelli di diffusione (diffusion models) pre-addestrati per generare immagini sintetiche con pose e punti di vista diversificati, colmando i vuoti nella distribuzione originale dei dati.

Componenti Chiave del Framework:

1. Guida 3D tramite SMPL:

   • Per superare l'ambiguità delle scheletri 2D (che mancano di informazioni sulla profondità), il metodo utilizza il modello SMPL (Skinned Multi-Person Linear).
   • Da SMPL vengono estratte rappresentazioni 2D ricche di informazioni: mappe di profondità, mappe di normali superficiali e scheletri. Queste mappe codificano implicitamente sia la postura che l'angolazione della telecamera.

2. Diversificazione delle Distribuzioni:

   • Pose: Invece di riutilizzare pose esistenti nel dataset Re-ID, il sistema campiona pose dinamiche da dataset esterni (es. video di danza come Everybody Dance Now).
   • Punti di vista: Vengono campionati angoli di elevazione (azimut e elevazione) da distribuzioni uniformi, coprendo un range più ampio rispetto ai dataset originali.

3. Architettura del Modello di Diffusione Condizionato:

   • Il sistema si basa su Stable Diffusion pre-addestrato, sfruttando la sua vasta conoscenza del mondo.
   • Viene adottata un'architettura a doppio ramo (dual-branch):
     • Reference U-Net: Riceve l'immagine di riferimento per preservare l'identità della persona.
     • Denoising U-Net: Genera l'immagine finale rimuovendo il rumore, condizionata dalle mappe SMPL (profondità, normali, scheletro) e dall'identità.
   • L'identità viene trasferita al ramo di denoising tramite meccanismi di attenzione incrociata (cross-attention) e self-attention, permettendo al modello di mantenere i dettagli dell'identità (vestiti, accessori) mentre cambia postura e angolazione.

4. Filtraggio e Qualità:

   • Vengono applicati protocolli di filtraggio basati sui punteggi di confidenza della stima della posa per scartare immagini generate di bassa qualità o con occlusioni indesiderate.

3. Contributi Chiave

• Integrazione di Pose e Viewpoint: A differenza di metodi precedenti che trattano pose e punti di vista separatamente o si limitano a rotazioni orizzontali, Pose-dIVE le gestisce congiuntamente utilizzando guide 3D complete.
• Uso di Dati Esterni: Il metodo introduce pose "out-of-domain" (non presenti nel dataset di addestramento originale) per forzare il modello a imparare caratteristiche invarianti alla postura.
• Generazione ad Alta Fedeltà: L'uso di Stable Diffusion pre-addestrato permette di generare immagini realistiche che preservano l'identità meglio delle precedenti tecniche basate su GAN, che spesso producevano risultati sfocati o perdevano dettagli specifici.
• Generalizzazione Universale: Il metodo è agnostico rispetto al modello Re-ID; può essere applicato per migliorare qualsiasi architettura esistente (es. CLIP-ReID, SOLIDER).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset standard (Market-1501, MSMT17, CUHK03) e su dataset personalizzati per testare la generalizzazione.

• Miglioramenti sulle Benchmark: L'addestramento su dataset aumentati con Pose-dIVE ha portato a significativi incrementi di performance. Ad esempio, su Market-1501 con il modello CLIP-ReID, si è osservato un aumento di +0.7 mAP e +0.1 R1 rispetto alla baseline, con miglioramenti ancora più marcati su dataset più complessi come MSMT17.
• Robustezza a Scenari Estremi:
  • Su dataset divisi artificialmente per separare completamente le pose o i punti di vista tra training e test (MSMT17-S), Pose-dIVE ha dimostrato una capacità di generalizzazione superiore, migliorando il mAP fino a +6.3 punti in scenari di viewpoint non sovrapposti.
  • Su un dataset non convenzionale contenente comportamenti umani anomali (non solo pedoni), il metodo ha ottenuto un miglioramento del +13.6 mAP, dimostrando l'efficacia nel gestire pose mai viste prima.
• Confronto con Aumento di Dati Reali: Aumentare semplicemente la dimensione del dataset con immagini reali (senza diversificare pose e punti di vista) ha dato risultati inferiori rispetto all'uso di Pose-dIVE, confermando che la diversità è più importante della semplice quantità.

5. Significato e Impatto

Pose-dIVE rappresenta un passo avanti significativo nel campo del Person Re-ID, spostando il focus dalla semplice raccolta di più dati alla qualità e diversità dei dati di addestramento.

• Superamento del Bias: Risolve efficacemente il problema del bias di postura e punto di vista, permettendo ai modelli di apprendere rappresentazioni dell'identità più robuste e invarianti.
• Efficienza: Offre una soluzione scalabile ed economica rispetto alla raccolta di nuovi dataset multi-angolazione, sfruttando la potenza dei modelli generativi foundation.
• Versatilità: La capacità di generare dati sintetici di alta qualità che preservano l'identità apre nuove possibilità per l'addestramento di modelli in scenari reali complessi e dinamici, dove le condizioni di acquisizione non sono mai controllate.

In sintesi, Pose-dIVE dimostra che l'uso strategico di modelli di diffusione guidati da rappresentazioni 3D può colmare il divario tra le prestazioni in laboratorio e l'efficacia nel mondo reale per i sistemi di sorveglianza e riconoscimento.