Riepilogo Tecnico: Calibrazione Adattiva per il Riconoscimento Facciale Equo e Performante

Definizione del Problema

I moderni sistemi di riconoscimento facciale mappano le immagini dei volti in embedding ad alta dimensione e utilizzano la similarità del coseno come punteggio di corrispondenza. Sebbene questi sistemi abbiano raggiunto un'elevata accuratezza, essi esibiscono disparità demografiche significative, con tassi di errore spesso di un ordine di grandezza superiori per gli individui con tonalità di pelle scura rispetto a quelli con tonalità più chiare.

Il problema centrale identificato è un disallineamento fondamentale tra l'obiettivo di addestramento e l'operazionalizzazione del sistema. L'addestramento impiega tipicamente obiettivi basati sulla distanza (ad esempio, perdite di tipo contrastivo o di margine angolare) che garantiscono che i match corretti siano più vicini rispetto a quelli errati, ma non introducono assunzioni sulle distanze assolute. Di conseguenza, la stessa distanza del coseno può corrispondere a probabilità diverse di un match corretto a seconda della regione dello spazio degli embedding. I gruppi demografici sottorappresentati occupano spesso regioni a bassa densità di questo spazio, dove il comportamento degli embedding è meno vincolato. Quando viene applicata una soglia globale alle distanze del coseno grezze, essa non riesce a tenere conto di queste variazioni locali, portando a errori sproporzionati (false rigetti o falsi accettamenti) per i gruppi minoritari. Gli esistenti metodi di post-processing si affidano spesso a mappature globali monotone (come la scalatura di Platt) o a euristiche di clustering discrete che non riescono a catturare le necessità di calibrazione continue e specifiche per regione, oppure richiedono metadati demografici all'inferenza, che spesso non sono disponibili nelle implementazioni reali.

Metodologia: Calibrazione Adattiva (AC)

Gli autori propongono la Calibrazione Adattiva (AC), una strategia di calibrazione post-hoc che mappa i punteggi di similarità del coseno e il contesto locale dell'embedding in probabilità ben calibrate senza richiedere annotazioni di gruppi demografici durante l'addestramento o l'inferenza.

Concetto Core

AC affronta il disallineamento apprendendo una funzione di calibrazione continua e localmente variabile. Essa postula che la probabilità di un match dipenda non solo dalla similarità del coseno ($s$), ma anche dalla posizione della coppia all'interno dello spazio degli embedding.

Rappresentazione della Coppia

Per catturare il contesto locale, AC utilizza l'embedding medio normalizzato ($\bar{z}$) di una coppia di volti:
$$\bar{z} = \frac{z_1 + z_2}{\|z_1 + z_2\|_2}$$
dove $z_1$ e $z_2$ sono gli embedding normalizzati dei due volti. Questa rappresentazione è stata scelta perché:

1. È simmetrica (l'ordine di probe/gallery non è importante).
2. Risiede sullo stesso ipersfera unitaria degli embedding del backbone, preservando le proprietà geometriche.
3. Varia continuamente, evitando i salti discreti associati ai metodi basati su cluster.

Varianti del Modello

AC addestra un classificatore secondario per predire la probabilità di match $p$ data la rappresentazione della coppia e la similarità. Sono proposte tre varianti:

1. AC-MLP: Un Multi-Layer Perceptron leggero che mappa il vettore concatenato $[\bar{z}, s]$ in una probabilità tramite un output sigmoidale.
2. AC-Linear: Un modello di regressione logistica su $[\bar{z}, s]$. Questo preserva il ranking locale del punteggio di similarità pur permettendo spostamenti specifici per regione.
3. AC-Density: Un approccio ibrido che incorpora una misura di densità locale. Calcola la distanza euclidea media dai $k$-vicini più prossimi nell'insieme di addestramento ($\rho(\bar{z})$) per identificare le regioni sparse. Successivamente, applica una regressione ridge per predire l'errore residuo di un punteggio base calibrato con Platt, combinando il punteggio base, la densità locale e le caratteristiche lineari.

Addestramento e Inferenza

Il metodo è addestrato su un split di calibrazione utilizzando la cross-entropy binaria per minimizzare la differenza tra le probabilità predette e le etichette di match reali. Fondamentalmente, non richiede etichette demografiche durante l'addestramento o l'inferenza. Teoricamente, se i gruppi sono recuperabili dallo spazio degli embedding, un modello sufficientemente espressivo addestrato per minimizzare la cross-entropy sarà calibrato per il gruppo per qualsiasi tale gruppo.

Contributi Chiave

1. Nuova Strategia di Calibrazione: Introduzione della Calibrazione Adattiva, che mappa il contesto locale dell'embedding e i punteggi di similarità in probabilità di match calibrate, affrontando le carenze sia in termini di accuratezza che di equità.
2. Performance Superiori: Dimostrazione che AC domina le tecniche di calibrazione post-hoc esistenti (come FairCal, FALCON e FRAPP´E) attraverso una vasta gamma di dataset (RFW, BFW, LFW) e backbone (ArcFace, AdaFace, MagFace, FaceNet).
3. Equità Senza Etichette: Il metodo raggiunge una calibrazione equa senza richiedere annotazioni demografiche all'inferenza, rendendolo pratico per l'implementazione dove tali metadati non sono disponibili.
4. Evitare il "Leveling Down": A differenza di alcuni interventi di equità che degradano le performance per i gruppi di maggioranza per eguagliare i risultati, AC migliora la calibrazione e l'accuratezza complessiva, in particolare per i gruppi in cui il sistema performa peggio.
5. Generalizzabilità: L'approccio fornisce la calibrazione per gruppo per qualsiasi gruppo recuperabile dallo spazio degli embedding (ad esempio, etnia, genere o altri attributi come copricapi), non solo per assi demografici predefiniti.

Risultati

Il paper valuta AC contro i baseline allo stato dell'arte su tre benchmark standard:

• Dataset: Racial Faces in-the-Wild (RFW), Bias in Face Verification (BFW) e Labeled Faces in the Wild (LFW).
• Backbone: ArcFace (R50, R100), AdaFace, MagFace e FaceNet.
• Metriche:
  • Accuratezza: Global True Positive Rate (TPR) a un False Positive Rate (FPR) di $10^{-3}$.
  • Equità: Worst-group Area Under the ROC Curve (AUROC) e Worst-group Brier Score.
  • Leveling-Down: Una metrica (LU-AUROC) che misura quanti dei gruppi con le performance peggiori migliorano senza degradare gli altri.

Risultati Chiave:

• Accuratezza ed Equità: AC-Linear e AC-Density ottengono costantemente i risultati migliori o quasi migliori senza etichette su una vasta gamma di dataset e backbone. Ad esempio, su RFW con MagFace, AC-Density ha migliorato il worst-group AUROC da 94.19 a 96.02 (una riduzione di circa il 30% dell'errore residuo) senza degradare gli altri gruppi.
• Qualità della Calibrazione: AC riduce significativamente il Brier score per i gruppi peggio calibrati rispetto ai baseline come FairCal e FSN.
• Leveling-Down: Le varianti di AC raggiungono frequentemente il massimo punteggio di "Leveling-Up" (dove tutti i gruppi migliorano), mentre metodi come FRAPP´E e FSN spesso falliscono nel migliorare i gruppi peggiori senza danneggiare gli altri.
• Confronto con Metodi Consapevoli della Demografia: Mentre i metodi che richiedono vere etichette demografiche (Oracle, GST, DemoNorm) fungono da upper bound, AC si avvicina alle loro performance in molti contesti senza necessitare di tali etichette all'inferenza.

Significato e Rivendicazioni

Il paper sostiene che la Calibrazione Adattiva fornisca una soluzione pratica per il riconoscimento facciale equo. Convertendo le distanze in probabilità calibrate tramite una funzione localmente variabile, AC corregge il disallineamento fondamentale tra gli obiettivi di addestramento e le soglie operative.

Gli autori sottolineano che il loro approccio:

• Migliora la Performance Complessiva: Non si limita a ridistribuire gli errori, ma spesso potenzia l'accuratezza globale.
• Evita il "Leveling Down": Migliora le performance per i gruppi meno serviti senza sacrificare le performance dei gruppi meglio serviti, affrontando un comune fallimento degli interventi di equità.
• È Implementabile: Non richiede metadati demografici all'inferenza, rendendolo adatto ad applicazioni reali dove tali dati non sono disponibili.
• È Flessibile: Può essere integrato in pipeline di verifica esistenti con un codice custom minimo, in particolare le varianti lineari.

Il lavoro suggerisce che, concentrandosi sul contesto locale dell'embedding, i sistemi possono raggiungere simultaneamente una robusta equità e accuratezza, offrendo una strada verso un dispiegamento più equo della tecnologia di riconoscimento facciale.