Debiased Multimodal Personality Understanding through Dual Causal Intervention

Résumé technique : Compréhension de la personnalité multimodale débiaisée par intervention causale duale

Énoncé du problème
La compréhension de la personnalité multimodale vise à inférer des traits intrinsèques (par exemple, les Big Five, MBTI) à partir de données vidéo contenant des signaux visuels, auditifs et linguistiques. Bien que les approches d'apprentissage profond aient atteint une haute précision en fusionnant des modalités hétérogènes, elles souffrent fréquemment de biais liés au sujet. Les modèles apprennent souvent des corrélations fallacieuses entre des attributs démographiques (facteurs de confusion observables tels que l'âge, le genre, la race) ou des états psychologiques transitoires (facteurs de confusion non observables) et les traits de personnalité. Par exemple, un modèle pourrait associer erronément la démographie « femme blanche » à une grande amabilité sur la base de la distribution des données d'entraînement, conduisant à des prédictions injustes et inexactes pour des sujets ne correspondant pas à ce profil démographique spécifique. Les méthodes actuelles manquent d'un cadre unifié pour traiter simultanément les facteurs de confusion observables et latents, et les benchmarks existants manquent souvent d'annotations démographiques complètes ou se concentrent uniquement sur les traits Big Five, limitant ainsi l'analyse de l'équité.

Méthodologie : Réseau d'ajustement causal dual (DCAN)
Les auteurs proposent un Modèle Causal Structurel (SCM) pour formaliser les relations causales entre les entrées multimodales ($X$), les traits de personnalité ($Y$), les médiateurs de modalité ($M_x$), les facteurs de confusion observables ($C^o_x$) et les facteurs de confusion non observables ($C^u_x$). Pour atténuer le biais, ils introduisent le DCAN, un réseau de bout en bout intégrant deux mécanismes d'intervention causale :

1. Apprentissage causal par ajustement par la porte arrière (BACL) :

   • Cible : Facteurs de confusion démographiques observables (par exemple, âge, genre, race).
   • Mécanisme : Construit des dictionnaires prototypiques de facteurs de confusion spécifiques à la modalité ($D_{back}$).
     • Texte : Identifie les mots présentant des différences de probabilité significatives entre les groupes démographiques pour former un dictionnaire.
     • Visuel/Audio : Regroupe les embeddings par triplets démographiques (race, genre, âge) pour créer des prototypes globaux, mis à jour via une Moyenne Mobile Exponentielle (EMA).
   • Intervention : Récupère les représentations des facteurs de confusion via une attention et applique une connexion résiduelle aux caractéristiques d'entrée. Cela bloque efficacement le chemin par la porte arrière ($X \leftarrow C^o_x \rightarrow Y$), approxime l'effet causal $P(Y|do(X))$ en marginalisant sur la distribution du facteur de confusion.

2. Apprentissage causal par ajustement par la porte avant (FACL) :

   • Cible : Facteurs de confusion non observables/latents (par exemple, états émotionnels transitoires, fluctuations psychologiques) que le BACL ne peut pas capturer.
   • Mécanisme : Introduit un médiateur ($M$) pour former le chemin $F_m \rightarrow M \rightarrow Y$. Il construit deux dictionnaires : un dictionnaire de caractéristiques global ($D_{global}$) approxime l'espace d'entrée et un dictionnaire de médiateur ($D_{med}$) servant de prior de connaissances.
   • Intervention : Utilise un mécanisme d'attention dual pour récupérer les prototypes pertinents de ces dictionnaires sur la base de la sortie BACL. Cela approxime la formule d'ajustement par la porte avant, isolant l'effet causal véritable en intervenant sur le médiateur, traitant ainsi les biais qui n'ont pas de chemin observable direct.

3. Fusion et prédiction :

   • Les représentations déconfondues des deux modules sont fusionnées à l'aide d'un Transformateur Cross-Modal.
   • Le modèle est entraîné avec une fonction de perte unifiée combinant l'erreur quadratique moyenne (MSE) et la régularisation $L_2$ pour prédire des scores de traits continus pour les taxonomies Big Five et MBTI.

Contributions clés

• Analyse causale : L'article est le premier à étudier le biais lié au sujet dans la compréhension de la personnalité multimodale à travers une lentille causale, modélisant explicitement les facteurs de confusion observables et non observables.
• Cadre causal dual : Le DCAN proposé combine de manière unique les ajustements par la porte arrière et par la porte avant dans un seul réseau pour atténuer conjointement les biais démographiques et latents, allant au-delà de la cartographie basée sur la vraisemblance standard ($P(Y|X)$) vers l'intervention causale ($P(Y|do(X))$).
• Nouveau jeu de données (DMSP) : Les auteurs ont construit le jeu de données DMSP (Demographic-annotated Multimodal Student Personality). Contrairement aux benchmarks existants (par exemple, CFI-V2) qui se concentrent principalement sur les traits Big Five et manquent d'annotations démographiques détaillées, le DMSP contient 839 vidéos d'interactions dyadiques annotées avec des traits MBTI et des attributs sensibles (genre, âge), permettant une évaluation rigoureuse de l'équité.
• Évaluation complète : Le travail fournit des expériences extensives démontrant des améliorations à la fois dans la précision de prédiction et les métriques d'équité (Parité Démographique et Opportunité Égale).

Résultats expérimentaux
Des expériences extensives ont été menées sur le benchmark CFI-V2 et le nouveau jeu de données DMSP.

• Précision : Le DCAN a atteint des performances de pointe, atteignant 92,11 % de précision sur CFI-V2 (améliorant le précédent meilleur, PMGRT, de 0,12 %) et 92,90 % de précision sur DMSP (améliorant MM-ResVGG de 1,21 %).
• Équité : Le modèle a réduit significativement le biais. Sur CFI-V2, les améliorations de la Parité Démographique (DP) et de l'Opportunité Égale (EO) étaient de 6,57 % et 7,97 %, respectivement. Sur le jeu de données DMSP, ces métriques se sont améliorées de 15,38 % et 20,06 %.
• Généralisation : Les tests hors distribution (OOD) ont montré que le DCAN maintient des performances robustes à travers les splits démographiques (âge, genre, ethnie) où les modèles de base se dégradent, en particulier dans la gestion des stéréotypes de genre dans la dimension T/F (Pensée/Sentiment) du MBTI.
• Ablation : Le retrait soit du BACL soit du FACL a entraîné une dégradation des performances, confirmant que les facteurs de confusion observables et latents doivent être traités simultanément.

Signification et affirmations
L'article affirme qu'en passant de l'apprentissage basé sur la corrélation à l'intervention causale, le DCAN réussit à démêler les signaux de personnalité intrinsèques des associations démographiques fallacieuses. Les auteurs soulignent que cette approche est cruciale pour développer des systèmes d'IA centrés sur l'humain, équitables et fiables, en particulier dans des applications comme la surveillance de la santé mentale et les recommandations personnalisées où le biais peut conduire à des résultats néfastes. L'introduction du jeu de données DMSP est mise en avant comme une étape nécessaire pour combler le vide dans les benchmarks existants concernant les annotations démographiques et l'analyse d'équité basée sur le MBTI. Le travail conclut que la déconfusion causale est essentielle pour généraliser les modèles de compréhension de la personnalité à travers des populations de sujets diverses et invisibles.