TransFIRA: Transfer Learning for Face Image Recognizability Assessment

1. Il Problema

L'identificazione facciale in ambienti non controllati (sorveglianza, video, immagini web) deve affrontare variazioni estreme di posa, sfocatura, illuminazione e occlusione. In questi contesti, le metriche di qualità visiva convenzionali (basate su nitidezza, contrasto, ecc.) falliscono nel prevedere se un'immagine sia effettivamente riconoscibile per un codificatore (encoder) specifico.

Le attuali metodologie di Face Image Quality Assessment (FIQA) presentano diverse limitazioni:

• Euristiche visive: Si basano su indicatori superficiali che non riflettono la geometria dello spazio di embedding.
• Dipendenza da annotazioni: Molti metodi richiedono etichette curate o supervisione aggiuntiva.
• Complessità computazionale: Approcci basati su modelli generativi o multimodali sono pesanti e indiretti.
• Disallineamento: Le previsioni di qualità sono spesso disconnesse dalla geometria decisionale del modello di riconoscimento specifico che verrà utilizzato.

Il problema centrale è colmare il divario tra la "qualità dell'immagine" (aspetto visivo) e la "riconoscibilità specifica del codificatore" (capacità del modello di discriminare l'identità).

2. Metodologia: TransFIRA

TransFIRA è un framework di Transfer Learning leggero e privo di annotazioni umane che definisce la riconoscibilità direttamente nello spazio di embedding del modello. L'approccio si articola in tre fasi principali:

A. Definizione Geometrica della Riconoscibilità

Invece di usare proxy visivi, TransFIRA deriva etichette di supervisione direttamente dalle rappresentazioni vettoriali (embedding) generate da un encoder pre-addestrato $\phi$. Vengono definiti due concetti geometrici:

1. CCS (Class Center Similarity): La similarità coseno tra l'embedding di un'immagine $z_i$ e il centro della sua classe corretta $\mu_{y_i}$.
   $$CCS_{x_i} = \frac{z_i^\top \mu_{y_i}}{\|z_i\|_2 \|\mu_{y_i}\|_2}$$
2. NNCCS (Nearest Non-match Class Center Similarity): La massima similarità coseno tra $z_i$ e qualsiasi altro centro di classe (il "nemico" più probabile).
3. CCAS (Class Center Angular Separation): La differenza tra CCS e NNCCS.
   $$CCAS_{x_i} = CCS_{x_i} - NNCCS_{x_i}$$

Il CCAS rappresenta la distanza angolare dal confine decisionale. Un valore positivo ($CCAS > 0$) indica che l'immagine è più vicina al proprio centro classe che a qualsiasi impostore, definendo così un criterio naturale e interpretabile per la riconoscibilità.

B. Addestramento del Modello di Predizione

Un encoder pre-addestrato viene esteso con una testa di regressione leggera (un singolo strato lineare).

• Input: Immagine grezza $x_i$.
• Output: Un vettore bidimensionale contenente le stime di CCS e CCAS.
• Loss: Errore quadratico medio (MSE) tra le previsioni e i valori reali di CCS/CCAS calcolati dagli embedding.
• Vantaggio: Non richiede nuove annotazioni umane né modifiche all'architettura dell'encoder di base. Il modello apprende a prevedere la riconoscibilità basandosi sulla geometria decisionale dell'encoder stesso.

C. Aggregazione Informata dalla Riconoscibilità

Per l'aggregazione dei template (fondamentale in scenari video/sorveglianza), TransFIRA introduce due operazioni guidate dalla geometria:

1. Filtraggio (Filtering): Si scartano tutte le immagini con $CCAS \leq 0$. Questo rimuove i frame che si trovano sul lato sbagliato del confine decisionale dell'encoder.
2. Ponderazione (Weighting): Le immagini rimanenti vengono aggregate (media pesata) utilizzando il valore di CCS come peso. Le immagini più vicine al centro della classe (più compatte) hanno un peso maggiore.

3. Contributi Chiave

1. Supervisione Specifica per Encoder: È il primo framework che definisce la FIQA basandosi esclusivamente sulla geometria dello spazio di embedding (CCS e CCAS), rendendo le previsioni specifiche per il modello di riconoscimento utilizzato.
2. Apprendimento per Transfer Senza Annotazioni: Qualsiasi encoder pre-addestrato può essere adattato per la previsione della riconoscibilità aggiungendo solo una testa di regressione leggera, senza bisogno di dati di qualità etichettati manualmente.
3. Aggregazione e Spiegabilità:
   • Introduce un criterio di taglio naturale ($CCAS > 0$) per il filtraggio, sostituendo soglie arbitrarie.
   • Fornisce la prima spiegabilità basata sull'encoder, rivelando come degradazioni (sfocatura, occlusione) influenzino la riconoscibilità e identificando soggetti intrinsecamente difficili da riconoscere.
4. Estensibilità: Il framework è stato esteso con successo al riconoscimento del corpo (body recognition) tramite una strategia di calibrazione sigmoidale per gestire la saturazione dei valori di similarità.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark rigorosi: BRIAR Protocol 3.1 (video sorveglianza con degradazioni estreme) e IJB-C (immagini web non vincolate).

• Accuratezza di Verifica: TransFIRA supera lo stato dell'arte (SOTA) su entrambi i dataset.
  • Su BRIAR, l'uso combinato di filtraggio e ponderazione ha portato a un aumento significativo del TAR (True Accept Rate) a FMR bassi (es. $10^{-6}$), superando metodi complessi come DifFIQA, eDifFIQA e CR-FIQA.
  • Su IJB-C, TransFIRA ottiene risultati pari o superiori ai migliori baseline, dimostrando robustezza anche su encoder diversi (CosFace e ArcFace).
• Correlazione con la Riconoscibilità Reale: La correlazione di Spearman tra le previsioni di TransFIRA e la riconoscibilità effettiva è quasi doppia rispetto ai metodi precedenti (es. 0.86 vs <0.45 su BRIAR), dimostrando che la metrica cattura realmente la capacità discriminativa dell'encoder.
• Riconoscimento del Corpo: Applicando una calibrazione sigmoidale, il metodo ha ottenuto risultati SOTA anche nel riconoscimento del corpo, estendendo il concetto di FIQA a nuove modalità.

5. Significato e Impatto

TransFIRA rappresenta un cambio di paradigma nel campo della valutazione della qualità delle immagini facciali:

• Dal Visivo al Geometrico: Sposta il focus da metriche visive superficiali alla geometria decisionale interna del modello, allineando la valutazione della qualità con l'effettiva capacità di riconoscimento.
• Efficienza e Trasparenza: Elimina la necessità di pipeline generative pesanti o annotazioni costose, offrendo un metodo leggero, interpretabile e direttamente collegato al sistema di sicurezza in uso.
• Affidabilità Operativa: Fornisce strumenti pratici per filtrare i dati di bassa qualità prima dell'aggregazione del template, migliorando la robustezza dei sistemi di riconoscimento in scenari reali difficili (sorveglianza, video).
• Generalizzazione: Dimostra che la "riconoscibilità" è un concetto geometrico universale che può essere applicato non solo ai volti, ma anche ad altre modalità biometriche come il corpo.

In sintesi, TransFIRA stabilisce un nuovo standard per la FIQA, rendendo i sistemi di riconoscimento più accurati, spiegabili e adattabili alle condizioni reali.