Sintesi Tecnica: AlignFace: Metrica di Similarità Facciale Allineata all'Umano con Relazioni di Concetti Interpretabili

Definizione del Problema

Gli attuali modelli di visione artificiale per contenuti facciali generati (ad esempio, editing di volti, protezione della privacy) si affidano a metriche di similarità che spesso non riescono a fungere da proxy fedeli della percezione umana. Sebbene la valutazione percettiva si sia evoluta dagli euristiche basate sul segnale (es. PSNR, SSIM) a metriche basate sulle rappresentazioni (es. LPIPS, DreamSim), gli approcci esistenti rimangono limitati alla modellazione comportamentale senza allineamento cognitivo. Questi modelli "black box" si affidano a relazioni implicite e spurie, assumono un osservatore universale e non tengono conto delle variazioni inerenti tra diverse popolazioni umane. Di conseguenza, forniscono modelli valutativi inaccurati per gli stakeholder e una guida fuorviante per il debugging dei modelli generativi, sottostimando ad esempio i rischi per la privacy o i cambiamenti di identità quando un essere umano percepirebbe comunque i volti come simili.

Gli autori sostengono che i modelli di percezione debbano aderire a effetti cognitivi scientifici per raggiungere un vero allineamento con l'umano. Nello specifico, la percezione umana del volto è caratterizzata da:

1. Elaborazione Duale: Dipendenza sia da attributi fattuali (componenti discrete come il colore degli occhi) che da attributi configurazionali (layout spaziale come la distanza pupillare).
2. Scaling Nonlineare: La percezione umana delle differenze di attributo non scala linearmente; segue leggi psicofisiche non lineari.
3. Varianza Demografica: La presenza di un bias del proprio gruppo (own-group bias), in cui gli individui riconoscono i volti dei propri gruppi demografici (etnia, genere) con maggiore accuratezza rispetto ad altri gruppi.

Metodologia

1. Il Dataset FACETS

Per ancorare il modello alla cognizione umana, gli autori hanno introdotto FACETS, un dataset su larga scala annotato da esseri umani.

• Stimoli: Costruiti dai dataset CMU Multi-PIE e CelebA, caratterizzati da 120 identità (bilanciate per demografie White e Asian). Le immagini sono state editate utilizzando inpainting basato su diffusione, warping basato su landmark e transfer basato su GAN per creare variazioni in 20 attributi cognitivamente fondati (14 fattuali, 6 configurazionali).
• Raccolta Dati: Utilizzando un protocollo di Scelta Forzata tra due Alternative (2AFC), i partecipanti hanno confrontato volti editati contro un riferimento.
  • Similarità Complessiva: 9,36k valutazioni di triplette da 78 partecipanti.
  • Similarità di Attributo: 73,32k valutazioni di triplette per 20 attributi da 611 partecipanti.
• Analisi: Un'analisi preliminare tramite Modello Additivo Generalizzato (GAM) su questi dati ha confermato l'influenza non lineare degli attributi e le differenze significative di sensibilità tra la percezione del proprio gruppo e quella di altri gruppi.

2. Architettura AlignFace

AlignFace è un modello interpretabile ante-hoc progettato per codificare questi principi cognitivi. Consiste in quattro moduli primari:

1. Codifica Vision-Language Model (VLM):

   • Utilizza un encoder visivo condiviso per estrarre le rappresentazioni per una coppia di volti ($\hat{\mathbf{z}}_A, \hat{\mathbf{z}}_B$) e calcola le differenze relazionali ($\hat{\mathbf{Z}}_\Delta$).
   • Un encoder testuale elabora i prompt degli attributi (es. "Distanza pupillare") per creare un'ancora ($\hat{\mathbf{Z}}_{attr}$) che guidi il confronto lungo dimensioni specifiche.

2. Attribute-Gated Cross-Attention (AGCA):

   • Esegue la fusione multi-modale dove le feature di differenza dell'immagine agiscono come query ($Q$) e le feature attributali testuali agano come chiavi ($K$) e valori ($V$).
   • Un fattore di gating apprendibile ($\tanh(\alpha)$) controlla l'iniezione di segnali condizionati dall'attributo, recuperando efficacemente le feature visive rilevanti per l'attributo dalla rappresentazione della differenza.

3. Concept Bottleneck Model (CBM):

   • L'output dell'AGCA è vincolato in concetti binari multi-label interpretabili ($\Delta\hat{\mathbf{c}}_{attr} \in [-1, +1]$).
   • Questo forza il ragionamento del modello a basarsi esplicitamente su questi attributi facciali disgiunti piuttosto che su feature latenti e ininterpretabili.

4. Attribute-Influence Neural Generalized Additive Model (GAM):

   • Mappa le differenze di attributo verso il punteggio di similarità complessiva utilizzando un Neural GAM: $F(\Delta\hat{\mathbf{c}}) = \sigma(\beta + \sum f_i(\Delta\hat{c}_i))$.
   • Ogni $f_i$ è una funzione spline implementata tramite una piccola rete neurale, catturando influenze parziali non lineari.
   • Viene imposto un vincolo di monotonicità ($\frac{\partial f_i}{\partial \Delta\hat{c}_i} \geq 0$) per garantire che differenze di attributo più elevate non riducano mai la distanza facciale, allineandosi alla coerenza percettiva.

3. Obiettivo di Addestramento

Il modello è addestrato come metrica a triplette AlignFace2AFC. Predice le distanze pairwise per due confronti ($\langle A, Ref \rangle$ e $\langle B, Ref \rangle$) e minimizza la squared hinge loss tra le differenze di distanza relativa predetta e le etichette umane binarie (che indicano quale volto è più simile). L'addestramento è a stadi: prima vengono addestrate e congelate le predizioni a livello di attributo; successivamente, il Neural GAM viene addestrato sulla perdita di distanza complessiva.

Contributi Chiave

1. Caratterizzazione Cognitiva: Identificazione di specifiche caratteristiche cognitive per la percezione della similarità facciale umana, inclusi la dipendenza fattuale/configurale, lo scaling psicofisico non lineare e il bias del proprio gruppo demografico.
2. Modello AlignFace: Un modello interpretabile ante-hoc, cognitivamente fondato, che integra VLM, Gated Cross-Attention, Concept Bottleneck e Neural GAM per imporre l'allineamento con l'umano.
3. Metrica AlignFace2AFC: Una metrica spiegabile che quantifica la percezione tramite i contributi non lineari di attributi fondati.
4. Dataset FACETS: Un nuovo dataset di triplette facciali con giudizi di similarità sia a livello globale che di attributo attraverso 20 attributi, inclusi i metadati demografici.

Risultati

• Accordo Comportamentale: AlignFace supera significativamente i baseline (inclusi i metodi euristici come SSIM, i metrici appresi come LPIPS/DreamSim e i modelli specifici per il volto come ArcFace) nell'allineamento con i giudizi umani 2AFC. Raggiunge i punteggi di accordo più elevati per la percezione del volto complessiva.
• Allineamento degli Attributi: Il modello dimostra un alto accordo sulle predizioni a livello di attributo (accordo medio di 0,79 con il backbone FLIP), particolarmente per attributi come la lunghezza dei capelli e la forma delle sopracciglia.
• Interpretabilità e Non Linearità: I grafici di dipendenza parziale (PDP) rivelano che AlignFace cattura relazioni altamente non lineari tra le differenze di attributo e la similarità complessiva, raggiungendo alte correlazioni di Pearson ($\rho \approx 0,94–0,98$) con i GAM umani. Ciò conferma l'ipotesi che l'influenza dell'attributo sia non lineare.
• Sensibilità Demografica: Il modello cattura con successo gli effetti del "proprio gruppo" (own-group), mostrando tendenze di sensibilità differenti per i partecipanti White e Asian quando valutano volti del proprio gruppo demografico rispetto ad altri.

Significato

L'articolo sostiene che, unendo le rappresentazioni apprese ai processi cognitivi umani, AlignFace permetta metriche di valutazione percettiva più trasparenti e allineate. A differenza dei precedenti approcci basati sui dati che rischiano correlazioni spurie, AlignFace è giustificato teoricamente attraverso la psicologia cognitiva. Fornisce un framework per valutare i modelli generativi che non è solo più accurato nel predire la percezione umana, ma è anche spiegabile, permettendo agli sviluppatori di capire perché un modello percepisce due volti come simili o diversi in base a specifici attributi fattuali e configurazionali. Ciò è critico per applicazioni che coinvolgono compiti centrati sull'uomo come il trucco digitale, il restauro e la protezione della privacy, dove il "vero effetto sulle persone" deve essere stimato accuratamente.