Are Face Embeddings Compatible Across Deep Neural Network Models?

1. Il Problema

Negli ultimi anni, il riconoscimento facciale automatizzato ha fatto passi da gigante grazie ai modelli di Deep Neural Network (DNN). Esistono due categorie principali di modelli:

• Modelli specifici per il dominio: Addestrati esclusivamente su immagini facciali con obiettivi di apprendimento metrico (es. ArcFace, AdaFace) per massimizzare la separazione tra identità.
• Modelli Foundation (Modelli Fondamentali): Addestrati su dataset generici di visione o visione-linguaggio (es. CLIP, BLIP-2, DINOv2) per compiti generali, mostrando una forte capacità di generalizzazione.

La domanda di ricerca: I diversi modelli DNN, addestrati su dataset, funzioni di perdita e architetture differenti, codificano l'identità facciale in modi fondamentalmente incompatibili o condividono una struttura geometrica sottostante comune?
Studi precedenti suggerivano che embedding di modelli indipendenti fossero incompatibili (effetto di "revocabilità implicita"), rendendo difficile l'interoperabilità. Questo lavoro indaga se tale incompatibilità sia dovuta a differenze strutturali profonde o semplicemente a una parametrizzazione diversa di una stessa geometria sottostante.

2. Metodologia

Gli autori trattano gli embedding delle immagini facciali come nuvole di punti e studiano se trasformazioni geometriche semplici possano allineare gli spazi di embedding di un modello a quelli di un altro.

• Dataset: Sono stati utilizzati tre benchmark standard: CFP (pose frontale/profilo), LFW (condizioni non controllate) e CASIA-WebFace (grande scala).
• Modelli: Sono stati testati sia modelli specifici (ArcFace, MagFace, KPRPE) che modelli foundation (CLIP, ALIGN, DINOv2, BLIP-2, LLaVA, SAM, ecc.).
• Preprocessing: Gli embedding sono stati normalizzati ($\ell_2$), centrati e riempiti con zeri (padding) per uniformare le dimensioni.
• Metodi di Allineamento: Sono state studiate tre trasformazioni lineari a bassa capacità per mappare lo spazio sorgente ($X$) nello spazio target ($Y$):
  1. Allineamento Procruste: Cerca una matrice di rotazione ortogonale ($W^T W = I$) che minimizzi l'errore. Preserva angoli e distanze relative.
  2. Regresione Lineare (Unconstrained): Cerca una mappa lineare libera (rotazione, scala anisotropa, taglio) risolvendo il problema dei minimi quadrati.
  3. Regresione Ridge: Una variante della regressione lineare con regolarizzazione L2 per prevenire l'overfitting su dati limitati.
• Valutazione: Le prestazioni sono state misurate su compiti di Identificazione (Rank-k accuracy, mAP) e Verifica (AUC, EER, TMR@FMR=1%), sia in setting intra-dataset che cross-dataset.

3. Contributi Chiave

1. Studio Sistematico: Prima analisi esaustiva della compatibilità degli embedding tra modelli specifici e foundation.
2. Evidenza di Compatibilità: Dimostrazione che trasformazioni lineari semplici migliorano drasticamente l'accuratezza cross-modello, indicando una struttura geometrica condivisa.
3. Generalizzazione Cross-Dataset: Le trasformazioni di allineamento apprese su un dataset trasferiscono efficacemente la loro efficacia su dataset diversi.
4. Analisi Strutturale: Identificazione di una gerarchia stabile tra i modelli e di un'asimmetria direzionale nelle capacità di allineamento.
5. Interpretazione Geometrica: Spiegazione teorica basata sull'apprendimento di varietà (manifold learning), dove l'allineamento lineare corrisponde a un cambio di coordinate tra spazi tangenti locali di una stessa varietà sottostante.

4. Risultati Principali

A. Modelli Specifici per il Volto

• Senza allineamento: Le prestazioni sono quasi casuali (Rank-1 < 1%).
• Con allineamento: Si osserva un miglioramento drammatico.
  • Su CFP, LFW e WebFace, il Rank-1 medio sale rispettivamente al 98,5%, 99,6% e 99,9%.
  • La Regressione Lineare e Procruste ottengono le prestazioni migliori, superando di gran lunga la baseline.
  • I modelli basati su margini angolari (ArcFace, AdaFace) mostrano un allineamento quasi perfetto tra loro.

B. Modelli Foundation

• Senza allineamento: Le prestazioni sono vicine allo zero (Rank-1 < 3%).
• Con allineamento: C'è un miglioramento sostanziale, sebbene inferiore rispetto ai modelli specifici.
  • Rank-1 medio: ~72% su CFP/LFW, ~68% su WebFace.
  • I modelli basati su allineamento visione-linguaggio (CLIP, BLIP-2) si allineano meglio tra loro rispetto a modelli focalizzati su segmentazione (SAM) o predizione densa.
  • Nota sulla Verifica: Sebbene l'identificazione (ranking) migliori molto, la verifica ad alta sicurezza (soglie strette di FMR) rimane più debole rispetto ai modelli specifici, suggerendo che l'allineamento migliora il ranking ma non sempre la separazione intrinseca delle identità necessaria per la sicurezza estrema.

C. Generalizzazione Cross-Dataset

• Le trasformazioni apprese su un dataset (es. CFP) funzionano bene su dataset diversi (es. LFW), anche se con un calo di prestazioni dovuto allo shift di distribuzione.
• I modelli specifici mostrano una generalizzazione quasi perfetta (AUC > 0.95), indicando che la struttura di allineamento è invariante al dominio.

D. Asimmetria Direzionale e Gerarchia

• Asimmetria: Allineare il Modello A al Modello B non garantisce le stesse prestazioni di allineare B ad A. Questo dipende dalla qualità geometrica dello spazio target (quanto bene le identità sono separate in quel modello).
• Gerarchia: L'analisi di clustering rivela che i modelli si raggruppano in famiglie coerenti (es. modelli multimodali, modelli self-supervised) indipendentemente dall'architettura, suggerendo una convergenza rappresentazionale.

5. Significato e Implicazioni

Implicazioni Positive:

• Interoperabilità: È possibile creare ensemble eterogenei o sostituire un modello con un altro senza dover ri-registrare gli utenti (re-enrollment).
• Sicurezza e Privacy: La possibilità di allineare gli embedding sfida i sistemi di protezione dei template biometrici che si basano sull'assunzione che gli embedding di modelli diversi siano intrinsecamente incompatibili e revocabili. Se un attaccante può allineare due sistemi, potrebbe mappare i template tra di essi.

Implicazioni Negative (Sicurezza):

• La "revocabilità implicita" (l'idea che cambiare modello renda i vecchi template inutilizzabili) è più fragile del previsto. Un avversario con accesso a immagini di prova e embedding da due sistemi diversi potrebbe stimare la trasformazione di allineamento e collegare le identità tra le applicazioni.

Interpretazione Teorica:
I risultati suggeriscono che, nonostante le differenze nell'addestramento, i modelli DNN apprendono una varietà di identità a bassa dimensionalità comune. Sebbene la parametrizzazione globale possa differire, la geometria locale (spazio tangente) è condivisa, permettendo a semplici trasformazioni lineari di fungere da cambio di coordinate efficace.

In conclusione, il paper dimostra che esiste una profonda convergenza rappresentazionale nell'encoding dell'identità facciale attraverso diversi modelli DNN, aprendo nuove strade per l'interoperabilità ma ponendo nuove sfide per la sicurezza dei template biometrici.