Technische Samenvatting: AlignFace: Een menselijk uitgelijnde metriek voor gezichtsgelijkheid met interpreteerbare conceptrelaties

Probleemstelling

Huidige computervisiemodellen voor gegenereerde gezichtsinhoud (bijv. gezichtsbewerking, privacybescherming) vertrouwen op gelijkenismetrieken die vaak niet voldoen als getrouwe proxies voor menselijke perceptie. Hoewel perceptuele evaluatie is geëvolueerd van signaalgebaseerde heuristieken (bijv. PSNR, SSIM) naar representatiegebaseerde metrieken (bijv. LPIPS, DreamSim), blijven bestaande benaderingen beperkt tot gedragsmodellering zonder cognitieve uitlijning. Deze "black box"-modellen vertrouwen op impliciete en spuriaat (schijn) gerelateerde relaties, gaan uit van een universele waarnemer en houden geen rekening met de inherente variaties tussen diverse menselijke populaties. Dit leidt ertoe dat ze onnauwkeurige evaluatiemodellen bieden voor belanghebbenden en misleidende begeleiding geven bij het debuggen van generatieve modellen, zoals het onderschatten van privacyrisico's of identiteitsverschuivingen wanneer een mens de gezichten nog steeds als gelijkwaardig zou ervaren.

De auteurs stellen dat perceptiemodellen zich moeten houden aan wetenschappelijke cognitieve effecten om echte menselijke uitlijning te bereiken. Specifiek wordt de menselijke gezichtperceptie gekenmerkt door:

1. Duale Verwerking: Afhankelijkheid van zowel kenmerkende attributen (discrete componenten zoals oogkleur) als configuratie-attributen (ruimtelijke lay-out zoals de afstand tussen de pupillen).
2. Niet-lineaire Schaling: De menselijke perceptie van attribuutverschillen schaalt niet lineair; het volgt niet-lineaire psychofysische wetten.
3. Demografische Variantie: De aanwezigheid van eigen-groepsbias, waarbij individuen gezichten uit hun eigen demografische groep (etniciteit, geslacht) nauwkeuriger herkennen dan andere groepen.

Methodologie

1. De FACETS Dataset

Om het model te funderen in de menselijke cognitie, hebben de auteurs FACETS geïntroduceerd, een grootschalige menselijk geannoteerde dataset.

• Stimuli: Geconstrueerd uit de CMU Multi-PIE en CelebA datasets, met 120 identiteiten (gebalanceerd voor de demografieën Wit en Aziatisch). Afbeeldingen werden bewerkt met behulp van diffusie-gebaseerde inpainting, landmark-gebaseerde warping en GAN-gebaseerde transfer om variaties te creëren in 20 cognitief gefundeerde attributen (14 kenmerkend, 6 configuratie).
• Gegevensverzameling: Gebruikmakend van een Two-Alternative Forced Choice (2AFC) protocol, vergeleken deelnemers bewerkte gezichten met een referentie.
  • Algehele Gelijkenis: 9,36k triplet-beoordelingen van 78 deelnemers.
  • Attribuutgelijkenis: 73,32k triplet-beoordelingen voor 20 attributen van 611 deelnemers.
• Analyse: Voorlopige Generalized Additive Model (GAM) analyse op deze gegevens bevestigde de niet-lineaire attribuutinvloed en significante verschillen in sensitiviteit tussen eigen-groep en andere-groep percepties.

2. AlignFace Architectuur

AlignFace is een ante-hoc interpreteerbaar model dat ontworpen is om deze cognitieve principes te coderen. Het bestaat uit vier primaire modules:

1. Vision-Language Model (VLM) Encoding:

   • Gebruikt een gedeelde visuele encoder om representaties te extraheren voor een gezichtspaar ($\hat{\mathbf{z}}_A, \hat{\mathbf{z}}_B$) en berekent relationele verschillen ($\hat{\mathbf{Z}}_\Delta$).
   • Een tekstencoder verwerkt attribuut-prompts (bijv. "Pupilafstand") om een anker ($\hat{\mathbf{Z}}_{attr}$) te creëren dat de vergelijking langs specifieke dimensies stuurt.

2. Attribute-Gated Cross-Attention (AGCA):

   • Voert multi-modale fusie uit waarbij de beeldverschil-features fungeren als queries ($Q$) en de tekstuele attribuut-features als keys ($K$) en values ($V$).
   • Een leerbare gating-factor ($\tanh(\alpha)$) regelt de injectie van attribuut-geconditioneerde signalen, wat effectief de attribuut-relevante visuele features ophaalt uit de verschilrepresentatie.

3. Concept Bottleneck Model (CBM):

   • De output van de AGCA wordt beperkt tot interpreteerbare multi-label binaire concepten ($\Delta\hat{\mathbf{c}}_{attr} \in [-1, +1]$).
   • Dit dwingt de redenering van het model om expliciet gebaseerd te zijn op deze ontkoppelde gezichtsattributen in plaats van latente, oninterpreteerbare features.

4. Attribute-Influence Neural Generalized Additive Model (GAM):

   • Brengt de attribuutverschillen in kaart naar de algehele gelijkenisscore met behulp van een neurale GAM: $F(\Delta\hat{\mathbf{c}}) = \sigma(\beta + \sum f_i(\Delta\hat{c}_i))$.
   • Elke $f_i$ is een spline-functie geïmplementeerd via een kleine neurale netwerk, die niet-lineaire partiële invloeden vastlegt.
   • Een monotoniciteitsbeperking wordt opgelegd ($\frac{\partial f_i}{\partial \Delta\hat{c}_i} \geq 0$) om te garanderen dat hogere attribuutverschillen de gezichtsafstand nooit verkleinen, wat overeenkomt met perceptuele consistentie.

3. Trainingsdoelstelling

Het model wordt getraind als AlignFace2AFC, een multi-task triplet metriek. Het voorspelt paarwijze afstanden voor twee vergelijkingen ($\langle A, Ref \rangle$ en $\langle B, Ref \rangle$) en minimaliseert de squared hinge loss tussen de voorspelde relatieve afstandverschillen en de menselijke binaire labels (die aangeven welk gezicht meer gelijkenis vertoont). De training is gefaseerd: eerst worden attribuut-niveau voorspellingen getraind en bevroren; daarna wordt de Neurale GAM getraind op de algehele afstand-loss.

Belangrijkste Bijdragen

1. Cognitieve Karakterisering: Identificatie van specifieke cognitieve kenmerken voor menselijke gezichtsgelijkheid-perceptie, inclus overlapping van kenmerkende/configuratie-afhankelijkheid, niet-lineaire psychofysische schaling en demografische eigen-groepsbias.
2. AlignFace Model: Een cognitief gefundeerd, interpreteerbaar ante-hoc model dat VLMs, Gated Cross-Attention, Concept Bottlenecks en Neurale GAMs integreert om menselijke uitlijning af te dwingen.
3. AlignFace2AFC Metriek: Een verklaarbare metriek die perceptie kwantificeert via de niet-lineaire bijdragen van gefundeerde attributen.
4. FACETS Dataset: Een nieuwe dataset van gezichtstriplets met gelijkenis-oordelen op zowel algemeen als attribuutniveau voor 20 attributen, inclusief demografische metadata.

Resultaten

• Gedragsovereenkomst: AlignFace presteert significant beter dan baselines (inclusief heuristische metrieken zoals SSIM, geleerde metrieken zoals LPIPS/DreamSim, en gezichtsspecifieke modellen zoals ArcFace) in het afstemmen op menselijke 2AFC-oordelen. Het bereikt de hoogste overeenkomstsscores voor de algehele gezichtsperceptie.
• Attribuut-uitlijning: Het model vertoont een hoge overeenkomst bij attribuut-niveau voorspellingen (gemiddelde overeenkomst van 0,79 met FLIP backbone), met name voor attributen zoals haarlengte en wenkbrauwvorm.
• Interpreteerbaarheid & Niet-lineariteit: Partial Dependence Plots (PDPs) laten zien dat AlignFace zeer niet-lineaire relaties tussen attribuutverschillen en algehele gelijkenis vastlegt, waarbij een hoge Pearson-correlatie ($\rho \approx 0,94–0,98$) wordt bereikt met menselijke GAMs. Dit bevestigt de hypothese dat attribuutinvloed niet-lineair is.
• Demografische Sensitiviteit: Het model legt succesvol "eigen-groep" effecten vast, waarbij verschillende sensitiviteitstrends worden getoond voor Witte en Aziatische deelnemers bij het evalueren van gezichten uit hun eigen demografische groep versus andere demografieën.

Betekenis

Het artikel stelt dat door geleerde representaties te overbruggen met menselijke cognitieve processen, AlignFace zorgt voor transparantere en beter uitgelijnde perceptuele evaluatiemetrieken voor gezichtsbilder. In tegen tegenstelling tot eerdere data-gedreven benaderingen die risico lopen op spuriaat gerelateerde correlaties, is AlignFace theoretisch gerechtvaardigd door de cognitieve psychologie. Het biedt een raamwerk voor het evalueren van generatieve modellen dat niet alleen nauwkeuriger is in het voorspellen van menselijke perceptie, maar ook verklaarbaar is, waardoor ontwikkelaars kunnen begrijpen waarom een model twee gezichten als gelijk of verschillend waarneemt op basis van specifieke kenmerkende en configuratie-attributen. Dit is cruciaal voor toepassingen die mensgerichte taken omvatten zoals digitale make-up, restauratie en privacybescherming, waarbij het "werkelijke effect op mensen" nauwkeurig moet worden ingeschat.