Are Face Embeddings Compatible Across Deep Neural Network Models?

1. Probleemstelling

Moderne gezichtherkenningssystemen maken gebruik van diepe neurale netwerken (DNN's) om gezichtsafbeeldingen te vertalen naar compacte vectorrepresentaties (embeddings). Er bestaan twee hoofdcategorieën van modellen:

• Domeinspecifieke modellen: Specifiek getraind op gezichtsdata voor identiteitsdiscriminatie (bijv. ArcFace, AdaFace, MagFace).
• Foundation models: Vooraf getraind op brede visuele of visueel-taal taken (bijv. CLIP, BLIP-2, DINOv2, LLaVA).

De kernvraag van dit onderzoek is of deze modellen, ondanks verschillende trainingsdata, verliesfuncties en architecturen, gezichtsidentiteit op een fundamenteel vergelijkbare manier coderen. Eerdere studies suggereerden dat embeddings van onafhankelijk getrainde modellen incompatibel zijn, wat zou betekenen dat ze niet zonder meer met elkaar kunnen worden vergeleken. Dit zou implicaties hebben voor de interoperabiliteit van systemen en de beveiliging van biometrische templates (het idee dat een template niet kan worden hergebruikt in een ander systeem).

2. Methodologie

De auteurs analyseren de geometrische structuur van de embeddingruimtes van verschillende DNN-modellen door te onderzoeken of eenvoudige affiene transformaties de representaties van het ene model kunnen aligneren met die van het andere.

• Data: Het onderzoek gebruikt drie veelgebruikte benchmarks: CFP (Frontal-Profile), LFW (Labeled Faces in the Wild) en CASIA-WebFace.
• Modellen: Er worden diverse face-specific modellen en foundation models (inclusief vision-language en self-supervised modellen) getest.
• Alignatiemethoden: Drie soorten lineaire transformaties worden onderzocht om embeddings van model $A$ naar model $B$ te mappen:
  1. Procrustes Alignment: Zoekt een orthogonale rotatiematrix (behoudt hoeken en afstanden).
  2. Unconstrained Linear Regression: Een onbeperkte lineaire kaart (toestaat schaling en afschuiving).
  3. Ridge Regression: Lineaire regressie met $L_2$-regularisatie om overfitting te voorkomen.
• Proces: De embeddings worden genormaliseerd en gecentreerd. De transformatie wordt geleerd op een subset van identiteiten en getest op een onafhankelijke set (zowel binnen hetzelfde dataset als cross-dataset).
• Evaluatie: Prestaties worden gemeten via Face Identification (Rank-k nauwkeurigheid, mAP) en Face Verification (AUC, EER, TMR@FMR=1%).

3. Belangrijkste Resultaten

De resultaten tonen een verrassende en significante cross-model compatibiliteit aan:

• Drastische prestatieverbetering: Zonder alignatie is de cross-model herkenningsnauwkeurigheid bijna willekeurig (gemiddeld < 3% Rank-1). Na toepassing van lineaire transformaties stijgt dit drastisch:
  • Voor face-specific modellen bereikt de Rank-1 nauwkeurigheid gemiddeld 97-99%.
  • Voor foundation models bereikt de Rank-1 nauwkeurigheid gemiddeld 71-72%.
• Superioriteit van Lineaire Mapping: Hoewel Procrustes en Ridge goed presteren, levert unconstrained linear regression over het algemeen de beste resultaten op, wat suggereert dat de ruimtes niet alleen geroteerd maar ook geschaald of verschoven zijn.
• Generalisatie: De geleerde alignatietransformaties generaliseren goed over verschillende datasets (bijv. trainen op CFP en testen op LFW), wat aangeeft dat de onderliggende geometrische structuur domeinonafhankelijk is.
• Verificatie vs. Identificatie: Hoewel identificatie (ranking) sterk verbetert, is de verbetering in verificatie (beslissing: zelfde persoon of niet) bij foundation models minder extreem dan bij face-specific modellen. Dit wijst op een kloof in de scherpte van de clusterstructuur binnen foundation models.
• Directionele Asymmetrie: De alignatie is niet altijd symmetrisch. Het mappen van Model A naar Model B werkt anders dan B naar A. Dit hangt samen met de kwaliteit van de doelruimte (target space); modellen die specifiek getraind zijn voor identiteit (zoals ArcFace) zijn betere doelen dan modellen die gespecialiseerd zijn in segmentatie (zoals SAM).

4. Belangrijkste Bijdragen

1. Systeematische studie: Een uitgebreide analyse van de compatibiliteit tussen domeinspecifieke en foundation modellen.
2. Bewijs van gedeelde geometrie: Het aantonen dat lage-capaciteit lineaire transformaties voldoende zijn om cross-model identificatie mogelijk te maken, wat wijst op een gedeelde onderliggende geometrische structuur voor gezichtsidentiteit.
3. Cross-dataset generalisatie: Het bewijs dat alignatiemodellen over datasets heen werken, wat suggereert dat de representatie convergentie fundamenteel is en niet alleen dataset-specifiek.
4. Structurele analyse: Het onthullen van een hiërarchische organisatie van modellen (bijv. contrastieve modellen clusteren samen) en het identificeren van directionele asymmetrie in de doelruimtes.
5. Geometrische interpretatie: Een theoretisch kader gebaseerd op manifold learning. De auteurs stellen dat verschillende modellen dezelfde lage-dimensionale "identiteitsmanifold" leren, maar met verschillende parameterisaties. Lineaire transformaties zijn voldoende omdat ze de coördinaten tussen de lokale raakvlakken (tangent spaces) van deze gedeelde manifold aligneren.

5. Betekenis en Implicaties

De bevindingen hebben zowel positieve als negatieve implicaties voor het veld van biometrie en beveiliging:

• Interoperabiliteit en Ensembles: Het is mogelijk om heterogene systemen met elkaar te laten samenwerken zonder dat gebruikers opnieuw hoeven te registreren (re-enrollment). Men kan embeddings van het ene systeem converteren naar het andere, wat modelsubstitutie en ensemble-methoden mogelijk maakt.
• Uitdaging voor Template Beveiliging: Eerdere aannames dat biometrische templates inherent "herroepbaar" (revocable) zijn omdat verschillende systemen incompatibele embeddings genereren, worden hiermee ondermijnd. Een aanvaller met toegang tot embeddings van twee systemen en probe-afbeeldingen zou de alignatietransformatie kunnen schatten en templates over systemen heen kunnen matchen. Dit suggereert dat template-beschermingsschema's kwetsbaarder zijn dan eerder gedacht.
• Toekomstig Onderzoek: De auteurs pleiten voor onderzoek naar deze verschijnselen bij andere biometrische modaliteiten (iris, vingerafdruk) en het bestuderen van kwetsbaarheden in het licht van deze geometrische compatibiliteit.

Kortom, het artikel concludeert dat ondanks de diversiteit in training en architectuur, DNN-modellen gezichtsidentiteit op een fundamenteel vergelijkbare manier structureren, en dat deze structuren met eenvoudige wiskundige transformaties met elkaar verbonden kunnen worden.