Résumé Technique : AlignFace : Une métrique de similitude faciale alignée sur l'humain avec des relations de concepts interprétables

Énoncé du Problème

Les modèles actuels de vision par ordinateur pour le contenu facial généré (par exemple, l'édition de visages, la protection de la vie privée) reposent sur des métriques de similitude qui échouent souvent à servir de proxys fidèles à la perception humaine. Bien que l'évaluation perceptuelle ait évolué des heuristiques basées sur le signal (ex. PSNR, SSIM) vers des métriques basées sur les représentations (ex. LPIPS, DreamSim), les approches existantes restent limitées à une modélisation comportementale sans alignement cognitif. Ces modèles « boîte noire » reposent sur des relations implicites et spécieuses, supposent un observateur universel et ne parviennent pas à rendre compte des variations inhérentes entre diverses populations humaines. Par conséquent, ils fournissent des modèles d'évaluation inexacts pour les parties prenantes et des orientations trompeuses pour le débogage des modèles génératifs, comme la sous-estimation des risques de confidentialité ou des changements d'identité lorsque un humain percevrait encore les visages comme similaires.

Les auteurs soutiennent que les modèles de perception doivent adhérer aux effets cognitifs scientifiques pour atteindre un véritable alignement humain. Plus précisément, la perception humaine des visages est caractérisée par :

1. Traitement Dual : Dépendance à la fois vis-à-vis des attributs de traits (composants discrets comme la couleur des yeux) et des attributs configuraux (disposition spatiale comme la distance pupillaire).
2. Mise à l'échelle Non Linéaire : La perception humaine des différences d'attributs ne suit pas une échelle linéaire ; elle suit des lois psychophysiques non linéaires.
3. Variance Démographique : La présence d'un biais de l'appartenance au groupe (own-group bias), où les individus reconnaissent les visages de leur propre groupe démographique (ethnicité, genre) plus précisément que ceux des autres groupes.

Méthodologie

1. Le Jeu de Données FACETS

Pour ancrer le modèle dans la cognition humaine, les auteurs ont introduit FACETS, un jeu de données de grande échelle annoté par des humains.

• Stimuli : Construits à partir des jeux de données CMU Multi-PIE et CelebA, présentant 120 identités (équilibrées pour les démographies Blanche et Asiatique). Les images ont été éditées via l'inpainting par diffusion, le déformage basé sur des points de repère (landmarks) et le transfert par GAN pour créer des variations dans 20 attributs ancrés cognitivement (14 de traits, 6 configuraux).
• Collecte de Données : Utilisant un protocole de Choix Forcé à Deux Alternatives (2AFC), les participants ont comparé des visages édités par rapport à une référence.
  • Similitude Globale : 9,36k évaluations de triplets réalisées par 78 participants.
  • Similitude d'Attribut : 73,32k évaluations de triplets pour 20 attributs réalisées par 611 participants.
• Analyse : Une analyse préliminaire par Modèle Additif Généralisé (GAM) sur ces données a confirmé l'influence non linéaire des attributs et des différences significatives de sensibilité entre la perception de son propre groupe et celle des autres groupes.

2. Architecture AlignFace

AlignFace est un modèle interprétable ante-hoc conçu pour encoder ces principes cognitifs. Il se compose de quatre modules principaux :

1. Encodage par Modèle Vision-Langage (VLM) :

   • Utilise un encodeur de vision partagé pour extraire les représentations d'une paire de visages ($\hat{\mathbf{z}}_A, \hat{\mathbf{z}}_B$) et calcule les différences relationnelles ($\hat{\mathbf{Z}}_\Delta$).
   • Un encodeur de texte traite les invites d'attributs (ex. « Distance pupillaire ») pour créer une ancre ($\hat{\mathbf{Z}}_{attr}$) guidant la comparaison le long de dimensions spécifiques.

2. Attention Croisée à Porte d'Attribut (AGCA - Attribute-Gated Cross-Attention) :

   • Effectue une fusion multimodale où les caractéristiques de différence d'image agissent comme requêtes ($Q$) et les caractéristiques textuelles d'attributs agissent comme clés ($K$) et valeurs ($V$).
   • Un facteur de porte apprenable ($\tanh(\alpha)$) contrôle l'injection de signaux conditionnés par l'attribut, extrayant efficacement les caractéristiques visuelles pertinentes de l'attribut à partir de la représentation de différence.

3. Modèle à Goulot d'Étranglement Conceptuel (CBM - Concept Bottleneck Model) :

   • La sortie de l'AGCA est contrainte en concepts binaires multi-labels interprétables ($\Delta\hat{\mathbf{c}}_{attr} \in [-1, +1]$).
   • Cela force le raisonnement du modèle à se baser explicitement sur ces attributs de visage désengagés plutôt que sur des caractéristiques latentes et ininterprétables.

4. Modèle Additif Généralisé Neural d'Influence d'Attribut (Neural GAM) :

   • Cartographie les différences d'attributs vers le score de similitude globale en utilisant un Neural GAM : $F(\Delta\hat{\mathbf{c}}) = \sigma(\beta + \sum f_i(\Delta\hat{c}_i))$.
   • Chaque $f_i$ est une fonction spline implémentée via un petit réseau de neurones, capturant les influences partielles non linéaires.
   • Une contrainte de monotonie est imposée ($\frac{\partial f_i}{\partial \Delta\hat{c}_i} \geq 0$) pour garantir que des différences d'attributs plus élevées ne diminuent jamais la distance faciale globale, s'alignant ainsi sur la cohérence perceptive.

3. Objectif d'Entraînement

Le modèle est entraîné en tant que AlignFace2AFC, une métrique de triplet multi-tâches. Il prédit les distances par paires pour deux comparaisons ($\langle A, Ref \rangle$ et $\langle B, Ref \rangle$) et minimise la perte de charnière au carré (squared hinge loss) entre les différences de distance relative prédites et les étiquettes humaines binaires (qui indiquent quel visage est le plus similaire). L'entraînement est séquencé : d'abord, les prédictions au niveau des attributs sont entraînées et figées ; ensuite, le Neural GAM est entraîné sur la perte de distance globale.

Contributions Clés

1. Caractérisation Cognitive : Identification de caractiques cognitives spécifiques de la perception de la similitude faciale humaine, incluant la dépendance aux traits/configurations, l'échelle psychophysique non linéaire et le biais de l'appartenance au groupe démographique.
2. Modèle AlignFace : Un modèle interprétable ante-hoc ancré cognitivement, intégrant des VLM, l'Attention Croisée à Porte, des Goulots d'Étranglement Conceptuels et des Neural GAMs pour imposer l'alignement humain.
3. Métrique AlignFace2AFC : Une métrique explicable qui quantifie la perception via les contributions non linéaires d'attributs ancrés.
4. Jeu de Données FACETS : Un nouveau jeu de données de triplets de visages avec des jugements de similitude tant au niveau global qu'au niveau des attributs pour 20 attributs, incluant des métadonnées démographiques.

Résultats

• Accord Comportemental : AlignFace surpasse significativement les modèles de référence (incluant les métriques heuristiques comme SSIM, les métriques apprises comme LPIPS/DreamSim, et les modèles spécifiques aux visages comme ArcFace) en termes d'alignement avec les jugements humains 2AFC. Il atteint les scores d'accord les plus élevés pour la perception faciale globale.
• Alignement des Attributs : Le modèle démontre un accord élevé sur les prédictions au niveau des attributs (Accord moyen de 0,79 avec le backbone FLIP), particulièrement pour des attributs comme la longueur des cheveux et la forme des sourcils.
• Interprétabilité et Non-Linéarité : Les graphiques de dépendance partielle (PDPs) révèlent qu'AlignFace capture des relations hautement non linéaires entre les différences d'attributs et la similitude globale, atteignant des corrélations de Pearson élevées ($\rho \approx 0,94–0,98$) avec les GAMs humains. Cela confirme l'hypothèse selon laquelle l'influence des attributs est non linéaire.
• Sensibilité Démographique : Le modèle capture avec succès les effets de « l'appartenance au groupe », montrant des tendances de sensibilité différentes pour les participants Blancs et Asiatiques lorsqu'ils évaluent des visages de leur propre groupe démographique par rapport à d'autres.

Signification

L'article affirme qu'en faisant le pont entre les représentations apprises et les processus cognitifs humains, AlignFace permet des métriques d'évaluation perceptuelle plus transparentes et alignées pour les images faciales. Contrairement aux approches basées uniquement sur les données qui risquent de créer des corrélations spécieuses, AlignFace est théoriquement justifié par la psychologie cognitive. Il fournit un cadre pour évaluer les modèles génératifs qui est non seulement plus précis pour prédire la perception humaine, mais aussi explicable, permettant aux développeurs de comprendre pourquoi un modèle perçoit deux visages comme similaires ou différents en fonction de leurs attributs de traits et de configurations spécifiques. Ceci est crucial pour des applications impliquant des tâches centrées sur l'humain comme le maquillage numérique, la restauration et la protection de la vie privée, où l'« effet réel sur les personnes » doit être estimé avec précision.