AI-Assisted Variance Reduction in Randomized Experiments

Résumé Technique : Réduction de la Variance Assistée par l'IA dans les Expériences Randomisées

Énoncé du Problème
Le document traite du défi consistant à améliorer la précision des estimations de l'Effet de Traitement Moyen (ATE) dans les expériences randomisées. Bien que la littérature récente explore l'utilisation des Grands Modèles de Langage (LLM) et des « jumeaux numériques » pour simuler les réponses humaines, ces prédictions synthétiques souffrent souvent de biais et constituent de piètres substituts aux données humaines réelles lorsqu'elles sont utilisées de manière isolée. Les méthodes d'estimation hybrides existantes, telles que l'Inférence Propulsée par la Prédiction (PPI) et les estimateurs semi-paramétriques efficaces, visent à combiner les prédictions de l'IA avec les données humaines, mais manquent souvent de garanties de robustesse dans les contextes de randomisation. Plus précisément, les approches non calibrées peuvent gonfler la variance si les prédictions de l'IA ne sont pas suffisamment précises, et certains méthodes introduisent un biais si le modèle est mal spécifié. Les auteurs soutiennent que les chercheurs ont besoin d'une méthode qui exploite les prédictions de l'IA pour réduire la variance sans compromettre l'impartialité de l'estimateur, même lorsque la qualité de la prédiction est modeste ou inconnue.

Méthodologie
Les auteurs proposent un cadre où les prédictions générées par l'IA sont utilisées strictement comme covariables auxiliaires au sein d'un ajustement de régression standard, plutôt que comme substituts directs des résultats.

• Estimateur Central : Le document préconise d'inclure les prédictions de l'IA ($\hat{Y}_i$) en tant que covariables dans une régression linéaire du résultat observé ($Y^{obs}_i$) sur l'indicateur de traitement ($Z_i$). Plus précisément, ils recommandent la spécification de régression avec interaction :
  $$Y \sim 1 + Z + \hat{Y}(Z) + Z \times \hat{Y}(Z)$$
  où $\hat{Y}(Z)$ représente la prédiction de l'IA pour le bras de traitement assigné. Cela est analogue à un ajustement par un score pronostique.
• Justification Théorique : Les auteurs démontrent que cet estimateur ajusté par régression est une version « calibrée » de l'estimateur assisté par modèle. Contrairement aux estimateurs assistés par modèle non calibrés (qui nécessitent que la corrélation entre les prédictions et les résultats dépasse 0,5 pour réduire la variance), l'estimateur ajusté par régression possède une propriété de « non-nuisance » (do no harm). Il est asymptotiquement non biaisé et garantit que la variance ne sera jamais supérieure à celle de l'estimateur de différence de moyennes non ajusté ($Deff \leq 1$). Si les prédictions ne sont pas informatives, les coefficients ajustés tendent vers zéro, et l'estimateur revient à la différence de moyennes standard.
• Gestion des Résultats Discrets : Pour les résultats binaires ou de comptage, les auteurs déconseillent l'utilisation de prédictions de l'IA discrétisées (par exemple, classer une sortie de LLM en 0 ou 1). Au lieu de cela, ils recommandent d'ajuster pour des probabilités ou des scores continus prédits. Ils fournissent des stratégies de mise en œuvre pour obtenir ces scores continus à partir des LLM, telles que l'extraction des log-probabilités de jetons spécifiques ou la moyenne sur plusieurs tirages stochastiques.
• Sources de Données : Le cadre accepte des prédictions provenant de diverses sources, incluant les LLM en zero-shot, les modèles de fondation tabulaires (ex: TabPFN), et les modèles supervisés standards (ex: XGBoost, Ridge). Les auteurs notent que pour les modèles entraînés sur les données expérimentales elles-mêmes, une validation croisée (cross-fitting) est requise pour maintenir la validité, tandis que les prédictions zero-shot des LLM peuvent être traitées comme des covariables fixes pré-traitement.

Contributions Clés

1. Simplicité et Robustesse : Le document établit qu'aucun nouvel estimateur n'est requis ; un ajustement de régression standard avec des covariables d'IA est suffisant. Cette approche hérite de la robustesse de la propriété de « non-nuisance », garantissant des gains d'efficacité lorsque les prédictions sont informatives et aucun pénalité lorsqu'elles ne le sont pas.
2. Comparaison des Estimateurs : Les auteurs comparent systématiquement l'ajustement par régression aux estimateurs assistés par modèle non calibrés et aux estimateurs de « jumeau numérique » (imputation). Ils montrent que les méthodes non calibrées peuvent gonfler la variance si la qualité de la prédiction est faible ($\rho < 0,5$), et que les estimateurs de jumeau numérique peuvent introduire un biais significatif à moins que le modèle d'IA ne soit parfaitement spécifié.
3. Featurisation de Données Non Structurées : Le document souligne la capacité unique des LLM à transformer des entrées non structurées (ex: texte, profils d'utilisateurs complexes) en covariables auxiliaires. Cela permet une réduction de la variance dans des contextes où les méthodes tabulaires traditionnelles peinent à extraire un signal à partir de texte brut.
4. Conseils de Mise en Œuvre : Les auteurs fournissent des conseils pratiques pour extraire des scores continus à partir de sorties de LLM discrètes et pour gérer les résultats binaires afin de maximiser la réduction de la variance.

Résultats
Le document valide ses affirmations à travers des expériences synthétiques et trois applications empiriques : une méga-étude de sondage, un test A/B de marketing par email, et une expérience sur une plateforme technologique de grande envergure.

• Expériences Synthétiques : Les simulations confirment que l'ajustement par régression maintient un effet de design $\leq 1$ à travers divers niveaux de qualité de prédiction ($R^2_{\hat{Y}}$) et de prédictibilité du résultat ($R^2_m$). En revanche, les estimateurs assistés par modèle non calibrés gonflent fréquemment la variance lorsque la qualité de la prédiction est faible. Les simulations démontrent également que l'utilisation de prédictions d'IA continues pour les résultats binaires produit des gains d'efficacité supérieurs à l'utilisation de prédictions discrétisées.
• Applications Empiriques :
  • Dans la méga-étude de sondage (impliquant des jumeaux numériques), l'ajustement par régression a fourni des gains d'efficacité modestes mais réels.
  • Dans le test A/B de marketing par email, l'ajustement des prédictions de l'IA aux côtés de covariables tabulaires a amélioré la précision.
  • Dans l'expérience de plateforme technologique, l'approche a été appliquée à des données utilisateur séquentielles.
  • Dans tous les contextes, les gains ont été décrits comme « réels si modestes », les bénéfices les plus importants étant observés dans les études contenant des données textuelles substantielles ou complexes. La propriété de « non-nuisance » a été confirmée empiriquement ; les estimateurs ajustés n'ont jamais été moins performants que la différence de moyennes non ajustée.

Signification et Revendications
Le document affirme que l'ajustement des prédictions générées par l'IA devrait devenir une pratique empirique régulière dans les expériences randomisées. La signification réside dans la capacité à exploiter le pouvoir prédictif de l'IA générative — particulièrement pour les données non structurées — sans les risques associés aux estimateurs hybrides plus complexes. Les auteurs soulignent que, bien que les gains d'efficacité puissent être modestes dans de nombreux contextes structurés, l'approche est peu coûteuse, robuste et particulièrement précieuse pour les études riches en textes ou en entrées complexes où l'ingénierie de caractéristiques traditionnelle est difficile. Ils concluent que la combinaison d'une robustesse garantie (« non-nuisance ») et d'un potentiel d'amélioration de l'efficacité en fait une stratégie supérieure aux alternatives non calibrées ou à l'ignorance totale des prédictions de l'IA.