Résumé technique : Détection des biais causaux dans l'intelligence artificielle générative

Énoncé du problème

Alors que les systèmes automatisés basés sur l'intelligence artificielle (IA) sont de plus en plus déployés dans des domaines à haut risque (par exemple, l'embauche, le prêt, les soins de santé), les préoccupations concernant l'équité et la perpétuation des disparités démographiques se sont intensifiées. Bien que les travaux antérieurs sur l'équité causale aient établi un cadre principiel pour le contexte standard de l'apprentissage automatique (AA) — où un décideur construit une seule fonction prédictive $f_{\hat{Y}}$ tout en héritant des mécanismes causaux pour toutes les autres covariables du monde réel — ce cadre est insuffisant pour l'IA générative.

Les modèles génératifs diffèrent fondamentalement des prédicteurs standards de l'AA :

1. Construction des mécanismes : Contrairement à l'AA standard, qui apprend une seule transformation des covariables vers un résultat, les modèles génératifs construisent implicitement leurs propres croyances concernant tous les mécanismes causaux (y compris ceux des covariables $X, Z, W$), et pas seulement le résultat $Y$.
2. Granularité des données : Les modèles génératifs opèrent souvent sur des modalités de bas niveau (texte, images) plutôt que sur des données tabulaires structurées, nécessitant l'inférence de relations entre variables qui peuvent différer considérablement des corrélations du monde réel.
3. Propagation des biais : Les méthodes existantes échouent à distinguer si les disparités observées dans les sorties générées proviennent du mécanisme de résultat appris par le modèle, de ses mécanismes de covariables appris, ou de l'interaction entre eux.

L'article répond au besoin d'une nouvelle méthodologie pour détecter, quantifier et décomposer les biais causaux dans l'IA générative, en analysant spécifiquement comment les modèles génératifs altèrent les disparités du monde réel à travers leurs mécanismes causaux internes.

Méthodologie

Les auteurs proposent un cadre théorique unifié qui étend le Modèle d'Équité Standard (SFM) au contexte génératif en utilisant des Modèles Causaux Structurels (MCS).

1. Le Modèle d'Équité Standard-S (S-SFM)

L'innovation centrale est l'introduction d'un nœud de sélection $S$ qui indique la source du mécanisme de génération de données :

• $S = rw$ (ou $0$) : Le mécanisme du monde réel ($f^{rw}$).
• $S = gm$ (ou $1$) : Le mécanisme du modèle génératif ($f^{gm}$).

Dans ce cadre, le nœud de sélection $S$ pointe vers toutes les variables ($X, Z, W, Y$), permettant le remplacement indépendant des mécanismes. Cela contraste avec le SFM standard où $S$ affecte généralement uniquement le mécanisme de résultat. Le modèle définit des résultats potentiels $Y^{s_y}_{x_y, W^{s_w}_{x_w} | X=x_z, S=s_z}$, où les exposants désignent l'environnement (monde réel ou modèle) à partir duquel le mécanisme spécifique est tiré, et les indices désignent les valeurs des variables le long de chemins causaux spécifiques.

2. Effets causaux S-modifiés

Les auteurs définissent des effets spécifiques à x S-modifiés (Direct, Indirect et Spuriaire) qui tiennent compte de la source du mécanisme. Par exemple, l'effet direct S-modifié est :
$$x\text{-}DE^{s_z, s_w, s_y}_{x_0, x_1}(y | x) = E[Y^{s_y}_{x_1, W^{s_w}_{x_0}} | X=x, S=s_z] - E[Y^{s_y}_{x_0, W^{s_w}_{x_0}} | X=x, S=s_z]$$
Cela permet d'isoler comment l'effet direct change lorsque des mécanismes spécifiques (par exemple, $f_Y$, $f_W$, ou $f_{X,Z}$) sont remplacés du monde réel vers le modèle génératif.

3. Décomposition des différences de disparité

L'article dérive un Théorème 1 qui décompose la différence de variation totale (TV) entre le monde réel et le modèle génératif ($\Delta TV$) en contributions provenant de changements dans les voies directes, indirectes et spurières. Crucialement, chaque contribution de voie est davantage décomposée en trois termes représentant le remplacement progressif des mécanismes :

1. T1 : Remplacement du mécanisme de résultat ($f_Y$) uniquement.
2. T2 : Remplacement du mécanisme du médiateur ($f_W$), $f_Y$ étant déjà remplacé.
3. T3 : Remplacement du mécanisme de la covariable ($f_{X,Z}$), $f_W$ et $f_Y$ étant déjà remplacés.

Cette décomposition granulaire permet aux chercheurs d'identifier exactement quelle partie du « système de croyances » du modèle génératif alimente le biais.

4. Identification et estimation

L'article établit des conditions d'identification (Proposition 3) montrant que ces résultats potentiels peuvent être estimés à l'aide d'échantillons provenant d'environnements mixtes. La stratégie d'estimation implique :

• Générateur ($\Gamma$) : Un LLM invité à générer des récits basés sur des conditions spécifiques (par exemple, « Écrivez une histoire sur une personne de [Race] de [Sexe] âgée de [Âge]... »).
• Annotateur ($A$) : Un LLM distinct qui extrait des valeurs structurées (par exemple, revenu, éducation, résultat) des récits générés.
• Ensembles de données : Construction de quatre ensembles de données spécifiques ($D_{s_0}$, $D_{s_0,s_0,s_1}$, $D_{s_0,s_1,s_1}$, $D_{s_1}$) représentant le remplacement progressif des mécanismes, permettant le calcul des termes de décomposition.

Contributions clés

1. Formalisation de l'équité causale dans l'IA générative : L'article unifie le contexte standard de l'équité en AA et le contexte de l'IA générative sous une même bannière théorique (S-SFM), modélisant explicitement la construction par le modèle génératif de ses propres mécanismes causaux.
2. Nouveaux résultats de décomposition causale : Il introduit une décomposition novatrice (Théorème 1) qui quantifie les impacts sur l'équité selon deux dimensions :
   • Différentes voies causales (Directe, Indirecte, Spuriaire).
   • Le mécanisme spécifique étant remplacé (Monde réel vs Modèle).
3. Identification et estimation : Il fournit des conditions d'identification et des estimateurs efficaces pour ces quantités causales, démontrant comment générer les données contrefactuelles nécessaires à l'aide de LLM.
4. Application empirique : La méthodologie est appliquée pour analyser les biais raciaux et de genre dans 10 grands modèles de langage (LLM) à travers trois ensembles de données :
   • NSDUH : Biais racial dans la toxicomanie (consommation de marijuana).
   • BRFSS : Biais racial dans le fardeau des maladies chroniques (diabète).
   • ACS : Biais de genre dans les niveaux de revenu.

Résultats

Les auteurs ont analysé 10 modèles open-weight ajustés par instruction (incluant les familles Llama 3, Qwen, Gemma, DeepSeek et Phi) à travers les trois ensembles de données.

• Signatures de biais : L'étude a produit une « signature de biais » à 27 dimensions pour chaque modèle. Le clustering hiérarchique a révélé que la similarité des biais ne corrèle pas strictement avec la famille de modèles ou l'échelle des paramètres ; des familles distinctes présentaient souvent des signatures de biais plus proches que des frères au sein d'une même famille.
• Amplification et inversion :
  • Inversion : Les modèles ont fréquemment inversé le signe des disparités du monde réel. Par exemple, dans l'ensemble de données NSDUH, les données du monde réel montraient que les minorités consomment de la marijuana à des taux inférieurs (en contrôlant les covariables), mais des modèles comme Gemma 3 27B ont inversé cela pour montrer que les minorités en consomment à des taux supérieurs.
  • Amplification : Dans l'ensemble de données BRFSS, les modèles ont souvent amplifié l'effet direct de la race sur le risque de diabète.
  • Atténuation : Certains modèles ont atténué des avantages spurières (par exemple, la protection liée à l'âge contre le diabète pour les minorités dans BRFSS).
• Attribution des mécanismes : La décomposition a révélé que le biais n'est pas monolithique.
  • Dans le cas Gemma 3 27B (NSDUH), l'inversion de l'effet direct était principalement entraînée par le remplacement du mécanisme du médiateur ($f_W$), qui encodait une distribution stéréotypée de l'éducation/revenu pour les minorités, plutôt que par le seul mécanisme de résultat.
  • Dans le cas Qwen 3.5 27B (BRFSS), l'inversion de l'effet direct était dominée par le mécanisme de résultat ($f_Y$), tandis que l'inversion de l'effet indirect était entraînée par les mécanismes du médiateur ($f_W$) et des covariables ($f_{X,Z}$).

Importance et revendications

L'article affirme que son importance principale réside dans la fourniture d'une lentille causale granulaire pour comprendre les biais dans l'IA générative, allant au-delà des disparités statistiques agrégées.

• Au-delà de l'équité contrefactuelle : Contrairement aux travaux antérieurs qui se concentrent uniquement sur l'équité contrefactuelle dans la classification, ce cadre modélise le processus causal latent et quantifie quels mécanismes (génération de résultat, de médiateur ou de covariable) contribuent aux disparités.
• Généralisation : Le cadre généralise strictement la littérature existante sur l'équité causale pour l'AA standard (où seul le mécanisme de résultat est remplacé) au contexte génératif plus complexe où tous les mécanismes sont potentiellement altérés.
• Utilité diagnostique : La décomposition permet aux praticiens de diagnostiquer si le biais d'un modèle provient de sa compréhension du résultat (par exemple, « les minorités sont plus susceptibles de consommer des drogues ») ou de sa compréhension de la structure du monde (par exemple, « les minorités ont un niveau d'éducation/revenu plus faible »), offrant des informations ciblées pour l'atténuation.

Les auteurs restent modestes concernant les limites, notant que le cadre suppose la capacité d'interroger les modèles pour des conditionnels arbitraires (ce qui peut être difficile dans les modèles de vision), nécessite une élicitation humaine des hypothèses causales (spécification S-SFM), et a été restreint aux modèles open-weight en raison des contraintes de coût pour les modèles fermés. Ils notent également que le cadre ne couvre pas actuellement les inférences faites dans l'ordre causal inverse (par exemple, inférer la race à partir du salaire).