🤖 machine learning

Pain in 3D: Generating Controllable Synthetic Faces for Automated Pain Assessment

Cet article présente 3DPain, un ensemble de données synthétiques à grande échelle comprenant 82 500 images et un cadre ViTPain correspondant, afin de surmonter la rareté des données et les limitations de contrôle dans l'évaluation automatisée de la douleur en générant des expressions faciales de douleur diverses, cliniquement validées et sensibles à l'identité.

Auteurs originaux : Xin Lei Lin, Soroush Mehraban, Abhishek Moturu, Babak Taati

Publié 2026-07-22

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xin Lei Lin, Soroush Mehraban, Abhishek Moturu, Babak Taati

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à comprendre les émotions humaines simplement en regardant des visages. C'est le monde de la vision par ordinateur, une branche de l'intelligence artificielle où les machines apprennent à « voir » et à interpréter le monde visuel. Mais il y a une difficulté : la douleur. La douleur est une expérience privée et interne, mais elle s'échappe souvent par nos visages — sourcils froncés, yeux plissés ou grimaces. Les scientifiques veulent construire des systèmes capables de repérer ces indices subtils pour aider les patients qui ne peuvent pas s'exprimer, comme ceux atteints de démence ou de blessures graves. Le problème, c'est qu'apprendre cette compétence à un ordinateur revient à essayer d'apprendre à nager dans un désert ; il n'y a tout simplement pas assez d'eau. Les données réelles sur la douleur intense sont incroyablement rares car il est contraire à l'éthique de faire souffrir des personnes juste pour prendre des photos de leurs visages pour une étude. Sans assez d'exemples diversifiés, les ordinateurs se confondent, pensant souvent que le visage d'une personne spécifique est « douloureux » simplement parce qu'ils ont déjà vu cette personne pleurer, plutôt que d'apprendre ce que la douleur représente réellement à travers différentes personnes.

C'est là qu'intervient une équipe de chercheurs qui a décidé de construire son propre océan de données. Ils ont créé 3DPain, une immense bibliothèque de 82 500 visages synthétiques (générés par ordinateur) exprimant la douleur, comprenant 2 500 « personnes numériques » uniques de tous âges, genres et ethnies. Au lieu de faire souffrir de vrais volontaires, ils ont utilisé une recette astucieuse en trois étapes pour générer ces visages. D'abord, ils ont construit un squelette 3D d'un visage. Ensuite, ils ont utilisé un « modèle de diffusion » — imaginez cela comme un artiste numérique capable de peindre des textures de peau et des rides incroyablement réalistes sur ce squelette. Troisièmement, ils ont utilisé une technique appelée « rigging neural » pour tirer les ficelles du visage numérique, tordant des muscles spécifiques pour correspondre à des niveaux de douleur exacts définis par des experts médicaux. Le résultat est un ensemble de données où chaque visage est accompagné d'un score précis de l'intensité de la douleur qu'il exprime, ce qui est presque impossible à obtenir à partir de photos du monde réel.

Pour tester si ces données numériques fonctionnent réellement, l'équipe a construit un nouveau cerveau d'IA appelé ViTPain. Imaginez cette IA comme un détective qui ne se contente pas de regarder la photo d'une personne en souffrance ; elle regarde aussi une photo de la même personne lorsqu'elle est calme et neutre. En comparant les deux, l'IA peut ignorer les traits uniques de la personne (comme la forme du nez ou la couleur des yeux) et se concentrer entièrement sur les changements causés par la douleur. Lorsqu'ils ont entraîné cette IA sur leur bibliothèque synthétique 3DPain, puis l'ont testée sur un petit ensemble de données réelles provenant de véritables patients, les résultats ont été prometteurs. L'IA a appris beaucoup plus vite et est devenue meilleure pour détecter la douleur chez différents types de personnes que les modèles entraînés uniquement sur les rares données réelles. Bien que l'article suggère que cette approche pourrait révolutionner la façon dont nous surveillons la douleur dans les hôpitaux, les auteurs précisent avec prudence que leurs visages synthétiques, bien que réalistes, doivent encore combler l'écart pour imiter parfaitement les textures complexes de la peau humaine réelle. Ils ont construit une fondation puissante, mais le voyage vers un détecteur de douleur automatisé et de qualité clinique est encore un travail en cours.

Résumé Technique : La Douleur en 3D

Énoncé du Problème

L'évaluation automatisée de la douleur à partir des expressions faciales est cruciale pour le suivi des patients non communicants (par exemple, les personnes atteintes de démence ou de troubles cognitifs). Cependant, les progrès sont sévèrement freinés par deux goulots d'étranglement principaux :

Rareté et déséquilibre des données : Les contraintes éthiques empêchent l'induction de douleurs sévères chez des participants diversifiés pour la collecte de données. Par conséquent, les références existantes comme UNBC-McMaster sont de petite taille, manquent de diversité démographique et souffrent d'un déséquilibre de classe extrême où les images de douleur de haute intensité sont des occurrences rares.
Limites des modèles génératifs : Les approches génératives actuelles (par exemple, l'inversion de GAN, la diffusion basée sur des prompts) peinent à fournir le contrôle clinique précis requis pour l'évaluation de la douleur. Elles échouent souvent à cibler des Unités d'Action (AU) faciales spécifiques définies par le système de codage des actions faciales (FACS) ou à garantir l'alignement avec la métrique de l'intensité de la douleur de Prkachin et Solomon (PSPI). De plus, de nombreux ensembles de données d'entraînement standards manquent d'annotations pour les AU critiques liées à la douleur (spécifiquement AU7 et AU43), et les méthodes basées sur la 2D manquent de la cohérence géométrique nécessaire pour une robustesse multi-vues.

Méthodologie

1. Le Pipeline de Génération du Jeu de Données 3DPain

Les auteurs introduisent 3DPain, un jeu de données synthétique à grande échelle comprenant 82 500 images à travers 2 500 identités uniques. La génération suit un pipeline contrôlable en trois étapes conçu pour assurer la cohérence anatomique, la diversité démographique et un contrôle précis des AU :

Étape 1 : Conditionnement par Maillage 3D et Profondeur :
- Des maillages faciaux 3D neutres et diversifiés sont échantillonnés à l'aide du modèle paramétrique FLAME, couvrant un large spectre d'âges, de genres et d'ethnies.
- Ces maillages sont rendus sous forme de cartes de profondeur frontales.
Étape 2 : Synthèse par Diffusion :
- Génération de Visage Neutre : Un modèle Kandinsky 2.2 conditionné par la profondeur (augmenté de ControlNet) traduit les cartes de profondeur FLAME en visages 2D photoréalistes. Des prompts textuels sont utilisés pour imposer la diversité démographique.
- Synthèse de Texture : Hunyuan3D 2.1 est utilisé pour générer des textures de rendu physique (PBR) conditionnées sur les images neutres, capturant les détails fins de la peau et les traits ethniques.
Étape 3 : Rigging Neural et Rendu :
- Rigging Facial Neural (NFR) : En utilisant DiffusionNet et les Champs Jacobiens Neuraux, le système applique des déformations précises au maillage 3D basées sur des configurations d'AU spécifiques (AU4, AU6, AU7, AU9, AU10, AU43) dérivées de la formule PSPI. Cela permet la génération d'expressions de douleur avec des scores PSPI exacts et connus.
- Rendu Multi-vues et Inpainting : Les maillages riggés sont rendus sous plusieurs angles de vue. Kandinsky 2.2 est ensuite utilisé pour l'inpainting du fond et la complétion des cheveux afin d'assurer le photoréalisme.

Le jeu de données résultant inclut des images paires neutre/douleur, des configurations d'AU exactes, des scores PSPI et des cartes de chaleur des régions de douleur.

2. L'Architecture ViTPain

Pour exploiter les données synthétiques, les auteurs proposent ViTPain, un cadre basé sur le Vision Transformer pour l'estimation de la douleur :

Attention Croisée de Référence Neutre : Le modèle traite une image de douleur cible ( $I_{pain}$ ) et une image de référence neutre ( $I_{neutral}$ ) de la même identité. Les deux sont encodées à l'aide de backbones Dino-V3 avec des adaptateurs LoRA. Un mécanisme d'attention croisée permet aux caractéristiques de la douleur d'interroger les caractéristiques de la référence neutre. Ceci est conçu pour désentrelacer les expressions dynamiques de la douleur des caractéristiques statiques d'identité.
Attention Croisée d'AU par Requêtes : Des jetons de requête apprenables correspondant aux six AU pertinentes pour la douleur extraient des informations de mouvement musculaire localisées à partir des patchs de contexte, fournissant une supervision auxiliaire.
Prédiction Multi-tâches :
- Régression : Une tête prédit le score continu PSPI à partir du jeton CLS.
- Classification Binaire : Une tête auxiliaire distingue les états de douleur et de non-douleur pour atténuer l'effondrement de la valeur moyenne dans les tâches de régression.
- Régression d'AU : Des têtes indépendantes prédisent les intensités pour des AU spécifiques.
Stratégie d'Inférence : Une stratégie d'inférence multi-shots moyenne les prédictions conditionnées sur plusieurs cadres de référence neutres pour améliorer la robustesse.

Principales Contributions

Jeu de données 3DPain : Un jeu de données synthétique à grande échelle et diversifié (82 500 images, 2 500 identités) avec des annotations d'AU précises et des scores PSPI, répondant à la rareté et au déséquilibre des données de douleur réelles.
Pipeline de Génération Contrôlable : Un nouveau cadre en trois étapes combinant la géométrie FLAME, la synthèse de texture par diffusion et le rigging neural pour générer des expressions de douleur multi-vues cliniquement valides avec un contrôle exact sur les unités d'action.
Cadre ViTPain : Une architecture Vision Transformer sensible à la référence qui utilise l'attention croisée avec des visages neutres pour isoler les caractéristiques dynamiques de la douleur, démontrant une meilleure généralisation que les bases standards.

Résultats Expérimentaux

Les modèles ont été évalués sur l'archive UNBC-McMaster Shoulder Pain Expression Archive en utilisant une validation croisée à 5 plis avec des séparations indépendantes des sujets.

Impact du Pré-entraînement : Le pré-entraînement sur 3DPain a considérablement amélioré les performances à travers toutes les architectures. Pour le modèle ViTPain proposé, le pré-entraînement a augmenté le F1-Score (au seuil $\ge 2$ ) de 0,43 à 0,50 et l'AUROC de 0,79 à 0,86.
Études d'Ablation :
- L'ajout d'une tête de classification binaire a amélioré les scores F1 pour la douleur de haute intensité.
  - L'incorporation de la référence neutre et de l'inférence multi-shot a amélioré les métriques de discrimination globale (AUROC et PCC), indiquant une meilleure séparation de l'identité de l'expression, bien que cela ait légèrement réduit les scores F1 de haute intensité en raison d'un biais de prédiction plus conservateur.
Comparaison avec l'État de l'Art : ViTPain (utilisant des images simples) a obtenu des résultats compétitifs par rapport aux méthodes basées sur la vidéo de l'état de l'art. Au seuil $\ge 2$ , ViTPain a atteint un AUROC de 0,86 et un F1 de 0,51, surpassant les précédentes méthodes basées sur l'image comme PwCT (AUROC 0,82, F1 0,48) et approchant les bases de référence vidéo.

Signification et Revendications

L'article affirme que 3DPain et ViTPain établissent une « base contrôlable, diversifiée et cliniquement fondée » pour l'évaluation automatisée de la douleur. La principale importance réside dans le comblement du fossé de données qui a historiquement limité le développement de modèles de reconnaissance de la douleur indépendants du sujet. En démontrant que les données synthétiques avec des annotations cliniques précises peuvent efficacement pré-entraîner des modèles pour des applications réelles, ce travail offre une alternative scalable à la collecte de données cliniques coûteuses et soumises à des contraintes éthiques.

Les auteurs notent modestement que, bien que le cadre améliore la généralisation, des défis subsistent concernant les décalages de domaine dans le réalisme de la texture de la peau et la modélisation de la dynamique temporelle à long terme, qui sont identifiés comme des directions pour les travaux futurs.