Riepilogo Tecnico: Similarità del Capo

Definizione del Problema

I sistemi convenzionali di riconoscimento facciale sono progettati per apprendere embedding invarianti all'identità, sopprimendo deliberatamente le variazioni intra-identità come acconciatura, trucco o invecchiamento per collassare tutti i campioni di una persona in un unico cluster compatto. Sebbene efficaci per la verifica biometrica, questo approccio fallisce in scenari che richiedono coerenza sensibile all'aspetto, come la generazione video, il reenactment e l'editing. In questi contesti, l'obiettivo non è semplicemente verificare l'identità legale, ma garantire che una sequenza rappresenti visivamente la stessa persona, anche quando gli attributi dell'aspetto cambiano.

I modelli attuali faticano con la similarità dell'intero capo perché:

1. Collassano diversi stati di aspetto della stessa identità in una singola rappresentazione, fallendo nel distinguere una persona con e senza occhiali o con acconciature diverse.
2. Soffrono di un degrado significativo delle prestazioni quando si passa da ritagli facciali allineati a immagini dell'intero capo non allineate (spostamento della distribuzione).
3. Non possono imporre un ordinamento gerarchico della similarità in cui i campioni della stessa identità con diversi aspetti (es. diverse acconciature) sono classificati più in alto rispetto ai campioni di identità diverse, anche se questi ultimi condividono attributi visivi simili.

Il documento introduce la Similarità del Capo, una nuova formulazione che estende il riconoscimento incentrato sull'identità alla modellazione strutturata dell'aspetto dell'intero capo. Mira a preservare le variazioni strutturate dell'aspetto intra-identità mantenendo la discriminazione dell'identità e l'invarianza rispetto a fattori di disturbo (illuminazione, sfondo, posa minore).

Metodologia

Il framework proposto affronta il problema attraverso un'architettura Dual-CLS Vision Transformer combinata con supervisione della similarità gerarchica e distillazione consapevole dell'identità.

1. Formulazione del Problema

Il compito è definito da tre relazioni a coppie nello spazio degli embedding:

• $R_1$: Stessa identità, stesso stato di aspetto (cluster più stretto).
• $R_2$: Stessa identità, diversi stati di aspetto (distanza intermedia).
• $R_3$: Diverse identità (più distanti tra loro).

L'obiettivo è apprendere una funzione di embedding $f_\theta$ che imponga l'ordinamento gerarchico:
$$s_\theta(R_1) > s_\theta(R_2) > s_\theta(R_3)$$
dove $s_\theta$ è la similarità del coseno. Ciò garantisce che la coerenza dell'identità domini la similarità dell'aspetto, ma gli stati di aspetto rimangano distinguibili all'interno della stessa identità.

2. Architettura: Dual-CLS Vision Transformer

Il backbone è un Vision Transformer (ViT) pre-addestrato con AdaFace. A differenza dei sistemi standard di riconoscimento facciale che utilizzano un singolo token di classificazione, questo modello impiega due token CLS apprendibili:

• $CLS_{id}$: Ottimizzato per la preservazione dell'identità.
• $CLS_{head}$: Ottimizzato per la similarità del capo sensibile all'aspetto.

Entrambi i token condividono gli stessi parametri del backbone ma sono proiettati in embedding separati ($z_{id}$ e $z_{head}$) tramite testate di proiezione distinte ($g_{id}$ e $g_{head}$).

• $z_{id}$: Utilizzato durante l'inferenza sia per la verifica dell'identità che per la classificazione della similarità. È addestrato sia con distillazione che con perdita gerarchica.
• $z_{head}$: Un embedding ausiliario utilizzato solo durante l'addestramento per fornire segnali sensibili all'aspetto; viene scartato durante l'inferenza.

3. Strategia di Addestramento

La pipeline di addestramento coinvolge tre componenti chiave:

1. Allineamento dell'Identità Basato sulla Distillazione: Per colmare il divario di distribuzione tra i ritagli facciali allineati (utilizzati nel pre-addestramento) e gli input dell'intero capo, il ramo $z_{id}$ è allineato con una rete insegnante congelata (AdaFace-ViT) addestrata su facce allineate. La perdita è definita come $L_{align} = 1 - \cos(z_t, z_{id})$.
2. Perdita di Similarità Gerarchica: Una perdita multi-livello basata su Softplus impone l'ordinamento $R_1 > R_2 > R_3$. Viene applicata sia a $z_{id}$ che a $z_{head}$ per strutturare congiuntamente le rappresentazioni dell'identità e dell'aspetto.
3. Costruzione del Dataset: Un dataset di riferimento (HeadSim-Head) è costruito a partire da video a lungo formato. La supervisione debole per gli stati di aspetto è derivata dal raggruppamento temporale (i fotogrammi all'interno dello stesso segmento video breve sono assunti condividere lo stesso stato di aspetto). Il dataset copre pose diverse, occlusioni e cambiamenti temporali.

Contributi Chiave

1. Definizione del Compito: Introduzione della Similarità del Capo, una formulazione che va oltre il riconoscimento facciale invariante all'identità per modellare l'aspetto strutturato dell'intero capo, preservando esplicitamente le variazioni intra-identità.
2. Benchmark: Costruzione di un dataset su larga scala da video a lungo formato con stati di aspetto debolmente supervisionati, coprendo pose diverse, occlusioni e cambiamenti temporali.
3. Metodologia: Proposta di una baseline Dual-CLS Vision Transformer semplice ma efficace che combina distillazione consapevole dell'identità con supervisione della similarità gerarchica per modellare congiuntamente la preservazione dell'identità e la similarità sensibile all'aspetto.
4. Risultati Empirici: Dimostrazione che i modelli convenzionali di riconoscimento facciale falliscono nel catturare la similarità dipendente dall'aspetto, mentre il metodo proposto ottiene un forte matching dell'intero capo senza sacrificare le capacità di verifica dell'identità.

Risultati Sperimentali

Prestazioni di Verifica Facciale

Adattando i modelli di riconoscimento facciale agli input dell'intero capo, i modelli standard subiscono un grave calo delle prestazioni.

• AdaFace-ViT: Il Tasso di Verifica (VR) a FAR=$10^{-3}$ scende da 0.914 (faccia allineata) a 0.078 (intero capo).
• AdaFace Distillata: L'approccio di distillazione proposto recupera le prestazioni, raggiungendo 0.912 VR a FAR=$10^{-3}$ su input dell'intero capo, corrispondendo strettamente alla baseline faccia allineata.

Prestazioni di Similarità del Capo

Sul dataset HeadSim-Head, il metodo proposto supera le baseline nel distinguere stati di aspetto strutturati:

• Noi: Raggiunge 0.862 VR a FAR=$10^{-3}$ e 0.996 AUC.
• TransReID-ViT: Pur ottenendo prestazioni di similarità solide (0.749 VR), fallisce nella verifica dell'identità (0.025 VR su VoxCeleb2), indicando che si basa troppo su indizi di aspetto globali e manca di discriminazione dell'identità.
• AdaFace Vanilla: Si comporta male (0.326 VR) poiché collassa le variazioni di aspetto.

Studi di Ablazione

Lo studio conferma che il disaccoppiamento a livello di token (Dual-CLS) è superiore alla separazione a livello di testata o agli embedding condivisi.

• Dual-CLS (Noi): 0.962 VR a FAR=$10^{-3}$.
• Dual-Head (Split): 0.762 VR. La separazione delle testate senza disaccoppiamento a livello di token porta a una supervisione dell'identità insufficiente per il ramo di similarità.
• Embedding Condiviso: 0.892 VR. Una singola rappresentazione fatica a bilanciare gli obiettivi conflittuali di invarianza e preservazione della variazione.

Significato e Affermazioni

Il documento afferma che la Similarità del Capo colma un divario critico tra la similarità facciale e la similarità olistica a livello di capo, essenziale per applicazioni come la generazione e l'editing video dove è richiesta coerenza visiva tra i fotogrammi nonostante i cambiamenti di punto di vista o stile.

Gli autori sottolineano che il loro approccio:

• Cattura esplicitamente la variazione di aspetto intra-identità invece di sopprimerla.
• Impone un ordinamento gerarchico, garantendo che la coerenza dell'identità rimanga il fattore primario permettendo comunque la discriminazione di diversi stati di aspetto.
• Dimostra la fattibilità: I risultati mostrano che la modellazione strutturata della similarità dell'intero capo è raggiungibile utilizzando un framework relativamente semplice che sfrutta la supervisione debole da video a lungo formato e la distillazione da modelli di riconoscimento facciale consolidati.

Il documento riconosce le limitazioni, notando che gli stati di aspetto sono debolmente supervisionati (potenzialmente rumorosi) e che l'attuale gerarchia è un proxy della percezione umana piuttosto che un modello perfetto del giudizio soggettivo. Il framework proposto è presentato come una baseline per questo nuovo compito.