PriorProbe: Recovering Individual-Level Priors for Personalizing Neural Networks in Facial Expression Recognition

Résumé Technique : PriorProbe pour la personnalisation des réseaux de neurones dans la reconnaissance des expressions faciales

Énoncé du problème
L'adaptation de l'intelligence artificielle aux utilisateurs individuels est cruciale pour une prise de décision personnalisée, pourtant, capturer le comportement spécifique à chaque individu reste un défi majeur. Bien que les réseaux de neurones profonds (DNN) de pointe puissent prédire le comportement humain en moyenne, ils peinent à capturer les jugements perceptuels individuels, particulièrement concernant les expressions faciales subtiles ou ambiguës où la variabilité interpersonnelle est élevée.

Formellement, la reconnaissance des expressions faciales peut être modélisée comme une inférence bayésienne : $P(e|f) \propto P(e)P(f|e)$, où $P(e)$ est la croyance a priori d'un individu sur les états émotionnels et $P(f|e)$ est la vraisemblance d'observer l'expression $f$ étant donné l'émotion $e$. Lorsque les stimuli sont ambigus, le terme de vraisemblance devient peu informatif, et les différences individuelles dans les a priori $P(e)$ dominent l'inférence. Les méthodes existantes pour personnaliser les DNN font face à deux obstacles fondamentaux :

1. Rareté des données : L'entraînement sur des données au niveau individuel est souvent coûteux et irréalisable en raison de la nécessité de jeux de données larges et représentatifs.
2. Dégradation du modèle : L'ajustement fin (fine-tuning) des DNN sur des données individuelles éparses et bruitées risque de provoquer un surapprentissage et un oubli catastrophique des représentations apprises.

De plus, les méthodes traditionnelles de la science cognitive pour l'élicitation des a priori échouent souvent à les identifier de manière unique ou introduisent des biais systématiques en traitant la fonction de vraisemblance comme un paramètre libre ou une application arbitraire.

Méthodologie
Les auteurs introduisent PriorProbe, une nouvelle approche d'élicitation fondée sur le Markov Chain Monte Carlo with People (MCMCP). Contra-rément à la personnalisation au niveau des paramètres (ex: ajustement des poids), PriorProbe récupère des a priori cognitifs et des vraisemblances fins et spécifiques à l'individu pour informer l'espace d'inférence d'un réseau de neurones sans modifier ses poids.

La méthodologie se compose de trois composantes centrales :

1. DistFace (Espace désengagé Affect-Identité) :
   Pour permettre un échantillonnage impartial, les auteurs ont construit un espace génératif contrôlé où l'affect facial est désengagé de l'identité faciale.

   • Architecture : Un auto-encodeur variationnel (VAE) hybride comprenant :
     • Encodeur : Trois branches pré-entraînées extraient des caractéristiques : ResEmoteNet (expression), FMAE-IAT (Unités d'Action, identité-adversaire) et ArcFace (identité).
     • Espace latent : Ces caractéristiques sont projetées dans des sous-espaces latents distincts ($V_{af}$ pour l'affect, $V_{id}$ pour l'identité).
     • Débruitage : Un auto-encodeur de débruitage compresse l'espace d'affect à 128 dimensions en un espace d'affect pur de 16 dimensions pour un échantillonnage efficace.
   • Entraînement : Le modèle a été entraîné sur le jeu de données BU-4DFE en utilisant des pertes de reconstruction, de préservation de l'identité et de préservation de l'affect pour garantir que la branche d'affect dirige l'expression tandis que la branche d'identité dirige l'identité.

2. Procédure d'élicitation PriorProbe :
   PriorProbe opère au sein de l'espace d'affect de 16 dimensions en utilisant un algorithme de Metropolis–Hastings par blocs avec une interaction humaine. Il alterne entre deux types d'essais pour échantillonner conjointement la vraisemblance $P(f|e)$ et l'a priori $P(e)$ d'un individu :

   • Essais de Visage (Face Trials) : Les participants voient une catégorie d'émotion $e$ et deux options de visages ($f, f'$). Ils sélectionnent le visage représentant le mieux la catégorie. Pour accélérer l'échantillonnage, un schéma de Metropolis–Hastings Indépendant (IMH) est utilisé où un « Gardien » (ResEmoteNet) propose des visages susceptibles d'appartenir à la catégorie cible.
   • Essais de Catégorisation (Categorization Trials) : Les participants voient un visage $f$ et deux catégories d'émotions ($e, e'$). Ils sélectionnent la meilleure description. La distribution de proposition pour les catégories est également guidée par le Gardien.
   • Récupération : La chaîne de Markov résultante converge sur la distribution jointe $\pi(f, e)$. Les a priori individuels $P(e)$ sont récupérés en repondérant les catégories échantillonnées par $1/G_e(e|f)$, où $G_e$ est la probabilité d'assignation du Gardien, corrigeant ainsi le biais de proposition.

3. Intégration et Évaluation :
   Les a priori individuels récupérés sont intégrés à un DNN de pointe (ResEmoteNet) au sein de l'espace d'inférence. Le système est évalué sur une tâche de classification de stimuli nouveaux et ambigus (images où la confiance du DNN est $<0,25$). L'objectif est de déterminer si l'incorporation des a priori individuels améliore l'alignement du modèle avec la classification humaine sur les stimuli ambigus sans dégrader les performances sur les étiquettes de vérité terrain (ground-truth).

Contributions Clés

• Cadre PriorProbe : Une méthode générale, interprétable et robuste pour récupérer efficacement des représentations mentales fines et spécifiques à l'individu (a priori et vraisemblances), évitant ainsi le besoin de jeux de données massifs ou de la modification des poids.
• Modèle/Jeu de données DistFace : Un modèle génératif qui désengage l'affect facial de l'identité, fournissant un « espace d'affect pur » essentiel pour une élicitation impartiale des a priori dans les tâches d'expression faciale.
• Validation Empirique : Une expérience humaine complète démontrant que les réseaux de neurones informés par des a priori récupérés prédisent mieux les choix individuels sur les stimuli ambigus par rapport au réseau seul ou aux réseaux utilisant des sources d'a priori alternatives.

Résultats
Dans une expérience impliquant 55 participants, les auteurs ont récupéré les a priori individuels sur sept émotions de base.

• Différences Individuelles : Les a priori récupérés ont montré une hétérogénéité substantielle entre les participants, confirmant que les individus possèdent des biais cognitifs distincts concernant les catégories émotionnelles.
• Gains de Performance : L'intégration des a priori dérivés de PriorProbe dans le réseau de neurones a généré des gains de performance substantiels dans la prédiction des classifications individuelles sur les stimuli ambigus.
• Robustesse : La personnalisation a amélioré l'alignement avec les jugements humains individuels sans dégrader la performance d'inférence du modèle sur les stimuli non ambigus (vérité terrain).

Signification et Revendications
L'article prétend fournir un cadre général, interprétable et robuste pour la personnalisation des réseaux de neurones profonds. En déplaçant l'attention de l'adaptation au niveau des paramètres vers la récupération des a priori cognitifs, PriorProbe répond aux limites de la rareté des données et de l'oubli catastrophique. Les auteurs affirment que cette approche offre une voie balisée pour développer des systèmes numériques capables d'offrir une assistance véritablement personnalisée, particulièrement dans des domaines comme la reconnaissance des expressions faciales où les différences de perception individuelle sont significatives et où les modèles standards échouent à les capturer. Ce travail démontre que les a priori cognitifs de niveau individuel peuvent être élicités avec précision et utilisés efficacement pour améliorer le pouvoir prédictif des systèmes d'IA pour des utilisateurs spécifiques.