Causal Inference with Generative Artificial Intelligence: Application to Texts as Treatments

Cet article propose une méthodologie d'inférence pilotée par l'IA générative (GPI) qui exploite les grands modèles de langage pour générer des traitements et utilise leurs représentations internes pour une estimation plus précise et efficace des effets causaux à partir de textes non structurés, éliminant ainsi la nécessité d'apprendre directement des représentations causales à partir des données et surmontant des défis courants tels que le biais de confusion et les violations de l'hypothèse de recouvrement.

L'essentiel

Imaginez que vous êtes un détective essayant de déterminer si un détail spécifique dans une histoire change la façon dont les gens perçoivent un personnage. Disons que vous voulez savoir : Le fait d'avoir un passé militaire fait-il que les électeurs apprécient davantage un politicien ?

Le problème est que les histoires de la vie réelle sont désordonnées. Un politicien ayant un passé militaire peut aussi être plus âgé, avoir un niveau d'éducation différent ou rédiger sa biographie sur un ton plus émotionnel. Si vous vous contentez de comparer deux biographies au hasard, vous ne pourrez pas dire si les électeurs ont aimé le candidat à cause du militaire ou à cause de son éducation. En science, nous appelons ces détails supplémentaires désordonnés des « facteurs de confusion » (confounders).

Traditionnellement, les chercheurs ont essayé de corriger cela en utilisant des ordinateurs pour « lire » le texte et deviner quels sont les facteurs de confusion. Mais c'est comme essayer de nettoyer une fenêtre boueuse en devinant où se trouve la saleté ; c'est difficile, lent et souvent imprécis.

Ce document présente un nouvel outil appelé GPI (Inférence pilotée par l'IA générative). Voici comment il fonctionne, en utilisant une analogie simple :

La photocopieuse magique (L'IA générative)

Au lieu de simplement lire des histoires existantes, les chercheurs utilisent une « Photocopieuse Magique » (un Grand Modèle de Langage, ou LLM) pour écrire les histoires pour eux.

1. L'instruction (Le Prompt) : Le chercheur dit à la machine : « Écris une biographie d'un politicien qui a un passé militaire. » Puis, il lui dit : « Écris une biographie d'un politicien qui n'a pas de passé militaire. »
2. Le plan secret : Voici le superpouvoir. Lorsque l'IA écrit l'histoire, elle ne se contente pas de recracher des mots ; elle crée un « plan » interne caché (une représentation mathématique) de ce qu'elle vient d'écrire.
3. L'astuce : Comme l'IA a écrit l'histoire, les chercheurs ont accès à ce plan parfait et caché. Ils savent exactement ce que l'IA a mis dans le texte pour parler du militaire, et ils savent ce qu'elle a mis pour tout le reste (comme l'éducation ou le ton).

Le « Déconfondeur » (Le Filtre)

Les chercheurs utilisent ce plan parfait pour construire un filtre spécial appelé Déconfondeur.

• L'ancienne méthode : Imaginez que vous essayiez de séparer des billes rouges et bleues qui sont collées ensemble. Vous devez deviner comment les détacher.
• La méthode GPI : Parce que l'IA a écrit l'histoire, les chercheurs possèdent le « manuel d'instructions ». Ils peuvent regarder le plan et dire : « D'accord, cette partie du plan est l'ingrédient 'Militaire', et cette autre partie est l'ingrédient 'Éducation'. » Ils peuvent ainsi isoler mathématiquement la partie militaire sans altérer la partie éducation.

Cela leur permet de demander : « Si nous gardons l'éducation et le ton exactement les mêmes, mais que nous changeons uniquement la partie militaire, comment le score de l'électeur évolue-t-il ? »

Pourquoi est-ce meilleur ?

Le document affirme que cette méthode est comparable au passage d'une calculatrice à manivelle à un superordinateur pour deux raisons principales :

1. Précision : Parce qu'ils utilisent le véritable plan interne de l'IA plutôt que de deviner le sens du texte, ils obtiennent une réponse beaucoup plus claire. Dans leurs tests, leur méthode présentait moins de « bruit » (erreur) et donnait des résultats plus fiables que les meilleures méthodes existantes.
2. Vitesse : Les anciennes méthodes consistent à essayer de résoudre un puzzle géant en regardant chaque pièce une par une. La nouvelle méthode est comme avoir l'image sur la boîte ; elle résout le problème environ 100 fois plus vite.

Le tour de passe-passe de la « Réutilisation de texte »

Les chercheurs ont également découvert un raccourci intéressant. Si vous prenez une biographie existante et demandez à l'IA de « réécrire exactement cette même histoire », l'IA crée un nouveau plan parfait pour ce texte ancien. Cela signifie que vous n'avez même pas besoin de générer de nouvelles histoires à partir de zéro ; vous pouvez utiliser des données anciennes, les soumettre à l'IA et obtenir les mêmes résultats de haute qualité.

L'essentiel

Le document soutient qu'en utilisant l'IA générative non seulement pour générer du texte, mais pour comprendre la structure cachée de ce texte, nous pouvons enfin démêler le réseau complexe de cause à effet dans les sciences sociales.

• Le but : Mesurer l'effet réel d'une chose spécifique (comme le service militaire) sur un résultat (comme le sentiment de sympathie des électeurs).
• Le problème : D'autres éléments (facteurs de confusion) sont mélangés.
• La solution : Utiliser une IA pour générer ou réécrire le texte, saisir son « plan secret », et utiliser ce plan pour séparer parfaitement la cause du bruit.

Les auteurs ont testé cela sur de véritables enquêtes électorales et ont constaté que, oui, le passé militaire semble rendre les électeurs plus chaleureux envers les candidats, et ils ont pu le prouver avec beaucoup plus de confiance et de rapidité qu'auparavant. Ils notent également que cette même logique pourrait s'appliquer aux images et aux vidéos à l'avenir, à condition que l'IA puisse les générer avec une précision similaire.

Résumé technique

Résumé technique : Inférence causale avec l'intelligence artificielle générative : Application aux textes en tant que traitements

Énoncé du problème
L'article traite du défi consistant à estimer les effets causaux lorsque les traitements sont des objets non structurés et de grande dimension, tels que des textes. Dans l'inférence causale traditionnelle avec du texte, les chercheurs doivent apprendre une représentation de faible dimension des caractéristiques de confusion (par exemple, le ton, la longueur, des thèmes spécifiques) à partir des données pour les ajuster. Les méthodes existantes, telles que celles utilisant les plongements (embeddings) BERT ou les modèles thématiques, tentent d'apprendre ces représentations directement à partir des textes de traitement. Cependant, ce processus peine souvent à démêler la caractéristique de traitement spécifique d'intérêt (par exemple, le passé militaire) des autres caractéristiques de confusion corrélées, ce qui conduit à des estimations biaisées et à des violations de l'hypothèse de recouvrement (overlap). De plus, l'apprentissage de ces représentations à partir des données est coûteux en termes de calcul et peut ne pas produire de mesures causales précises, particulièrement lorsque la confusion est forte.

Méthodologie : Inférence pilotée par la GenAI (GPI - GenAI-Powered Inference)
La méthodologie GPI proposée par les auteurs exploite les modèles génératifs profonds, spécifiquement les grands modèles de langage (LLM), pour améliorer l'inférence causale. L'innovation centrale réside dans l'utilisation de la représentation interne réelle des textes générés directement à partir du LLM, plutôt que d'apprendre une représentation à partir des données.

1. Design expérimental :

   • Les chercheurs utilisent un LLM pour générer des objets de traitement (textes) basés sur des invites (prompts) spécifiques. Alternativement, des textes existants peuvent être « réutilisés » en demandant au LLM de les reproduire exactement.
   • Le LLM doit fonctionner en mode de décodage déterministe (par exemple, recherche gloutonne/greedy search avec une température fixée à zéro) pour garantir que la sortie est une fonction déterministe de la représentation interne.
   • La représentation interne ($R_i$) du texte généré est extraite directement des couches cachées du LLM.

2. Hypothèses clés :

   • Séparabilité (Hypothèse 5) : La caractéristique de traitement ($T$) et les caractéristiques de confusion ($U$) doivent être séparables. Plus précisément, $T$ ne peut pas être une fonction déterministe de $U$, et $U$ ne peut pas être une fonction déterminante de $T$. Cela implique que l'on peut intervenir sur la caractéristique de traitement sans altérer les caractéristiques de confusion.
   • Décodage déterministe (Hypothèse 6) : La sortie du modèle génératif est une fonction déterministe de sa représentation interne, garantissant que l'objet de traitement dépend de l'invite uniquement à travers cette représentation.

3. Identification et estimation :

   • Identification non paramétrique : Sous les hypothèses de séparabilité et de décodage déterministe, les auteurs prouvent l'existence d'une fonction de déconfondeur $f(R_i)$ qui résume les caractéristiques de confusion. Ce déconfondeur est une représentation de plus faible dimension de l'état interne $R_i$ qui satisfait l'indépendance conditionnelle : $Y_i \perp R_i \mid T_i, f(R_i)$.
   • Stratégie d'estimation : Les auteurs emploient une architecture de réseau neuronal basée sur TarNet pour estimer simultanément le déconfondeur et la fonction de résultat conditionnelle.
   • Double Machine Learning (DML) : Pour obtenir des intervalles de confiance asymptotiquement valides, la méthode applique le DML. Crucialement, le score de propension est modélisé comme une fonction du déconfondeur estimé, et non de la représentation interne brute ; cela évite la violation de l'hypothèse de recouvrement qui se produirait si le score de propension était modélisé directement sur la représentation interne de grande dimension (où la caractéristique de traitement est une fonction déterministe).
   • Traitements perçus : La méthodologie est étendue aux contextes où les répondants perçoivent les caractéristiques de traitement différemment en utilisant une approche de variables instrumentales, où la caractéristique de traitement réelle sert d'instrument pour la caractéristique perçue.

Principales contributions

• Utilisation des véritables représentations internes : Contrairement aux travaux antérieurs qui apprennent des représentations à partir des données (via les plongements BERT), la GPI extrait la véritable représentation vectorisée directement des LLM open-source. Cela élimine la nécessité d'apprendre des représentations causales à partir des données, améliorant ainsi la précision et l'efficacité computationnelle.
• Formalisation de la séparabilité : Le papier établit formellement l'hypothèse de « séparabilité » comme une condition nécessaire pour l'identification non paramétrique dans ce contexte, la liant aux concepts de désenchevêtrement (disentanglement) et de l'hypothèse de recouvrement.
• Outils de diagnostic : Les auteurs proposent des outils de diagnostic, incluant l'analyse des distributions de scores de propension et du score d'Indépendance du Support (IOSS), pour détecter les violations potentielles de l'hypothèse de séparabilité.
• Estimation efficace : En utilisant la représentation interne et une architecture de réseau neuronal spécifique, la méthode évite la « malédiction de la dimensionnalité » et les violations de recouvrement communes aux méthodes existantes d'apprentissage de représentation causale.

Résultats
Les auteurs évaluent la GPI via des études de simulation basées sur l'expérience du profil de candidat (Fong et Grimmer, 2016) et une application empirique utilisant ce même ensemble de données.

• Études de simulation :

  • Sous l'hypothèse de séparabilité, la GPI (utilisant à la fois de nouveaux textes générés et la réutilisation de textes) démontre des biais et une erreur quadratique moyenne (RMSE) nettement plus faibles par rapport aux méthodes de pointe (Modèle de résultat avec BERT et DML avec BERT).
  • La GPI maintient une couverture appropriée des intervalles de confiance à 95 % dans des scénarios de confusion faible, modérée et forte. En revanche, les méthodes basées sur BERT souffrent de sous-couverture sévère ou de rupture sous une confusion forte.
  • Efficacité de calcul : La GPI est plus de dix fois plus rapide que les estimateurs basés sur BERT.
  • Réutilisation de texte : L'approche de « réutilisation de texte » (régénération de textes existants) produit une variance (RMSE) plus faible que la génération de nouveaux textes, probablement en raison de la cohérence des représentations internes.
  • Violation des hypothèses : Lorsque l'hypothèse de séparabilité est violée (c'est-à-dire que les caractéristiques de traitement et de confusion sont enchevêtrées), toutes les méthodes, y compris la GPI, performent mal, soulignant l'importance de cette hypothèse.

• Application empirique :

  • Appliquée à l'expérience du profil de candidat, la GPI estime un effet positif et statistiquement significatif du passé militaire sur les évaluations des électeurs (ATE $\approx$ 4,85).
  • Les méthodes concurrentes basées sur BERT ont produit des résultats contradictoires : l'une a produit un effet négatif significatif, l'autre un effet positif déraisonnablement élevé (ATE $\approx$ 45,7), probablement dû à des violations de recouvrement.
  • L'IOSS pour la GPI était de 0,10, indiquant un meilleur recouvrement du support par rapport au 0,41 des méthodes basées sur BERT.

Signification et affirmations
L'article affirme que la GPI améliore considérablement la validité de l'inférence causale avec des traitements non structurés en exploitant les capacités de la GenAI. La principale signification réside dans la capacité de :

1. Désenchevêtrer les caractéristiques de traitement des caractéristiques de confusion en utilisant les véritables représentations internes des LLM.
2. Éviter le besoin d'apprendre des représentations causales à partir des données, réduisant ainsi l'erreur d'estimation et le coût de calcul.
3. Formaliser les conditions (séparabilité) requises pour une identification valide, fournissant ainsi un fondement théorique à l'utilisation de la GenAI en inférence causale.
4. Étendre l'inférence causale aux caractéristiques de traitement perçues via des variables instrumentales.

Les auteurs notent que bien que l'accent soit mis sur le texte, la méthodologie est applicable aux images et potentiellement aux vidéos, à condition que les représentations internes puissent être gérées efficacement. Ils soulignent que la méthode repose sur la disponibilité de LLM open-source permettant l'accès aux représentations internes et au décodage déterministe.