📊 statistics

Transporting causal effects from a randomized trial without "transportability:" a case study of political advertising during U.S. elections

Cet article propose un cadre d'apprentissage par transfert avec analyse de sensibilité pour estimer les effets causaux dans une population cible (Géorgie) à partir d'un essai randomisé dans une population source (cinq États pivots), sans supposer une transportabilité totale, révélant que de faibles écarts par rapport à cette supposition entraînent des effets publicitaires hétérogènes sur le taux de participation électorale induits par la composition raciale.

Auteurs originaux : Xinran Miao, Jiwei Zhao, Hyunseung Kang

Publié 2026-06-24

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xinran Miao, Jiwei Zhao, Hyunseung Kang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Essayer de prédire le futur à partir du passé

Imaginez que vous êtes un stratège politique. Vous venez de mener une expérience massive dans cinq États spécifiques (Pennsylvanie, Wisconsin, Michigan, Caroline du Nord et Arizona) pour voir si l'envoi de publicités numériques négatives contre un candidat inciterait davantage de personnes à voter.

Le résultat : Dans ces cinq États, les publicités n'ont absolument rien fait. Le taux de participation électorale n'a pas changé.

La question : Maintenant, vous voulez savoir : « Est-ce que ces mêmes publicités fonctionneront en Géorgie ? »

La Géorgie est un État crucial, mais il est différent. Il possède un mélange de populations différent (plus d'électeurs noirs, des contextes économiques différents) et une histoire politique unique. Le problème est que l'expérience originale ne s'est pas déroulée en Géorgie, et nous ne pouvons pas simplement supposer que les résultats seront les mêmes.

Cet article porte sur la construction d'une « machine à remonter le temps » mathématique et d'un « guide de traduction » pour répondre à cette question, même lorsque nous ne sommes pas sûrs à 100 % que les deux lieux sont comparables.

Le problème : Le mythe de la « correspondance parfaite »

Habituellement, les statisticiens tentent de transférer les résultats d'un endroit à un autre en disant : « Si nous ajustons simplement les différences que nous voyons (comme l'âge, la race et le sexe), les résultats devraient se maintenir. »

Les auteurs appellent cela l'hypothèse de « transportabilité ». C'est comme dire : « Si j'ai une recette de gâteau qui fonctionne dans une cuisine sèche, et que j'ajuste l'humidité pour une cuisine humide, le gâteau aura le même goût. »

Le pièsel : Et s'il y avait des ingrédients invisibles ? Peut-être que les gens en Géorgie sont plus fatigués, ou que le cycle de l'actualité est différent, ou qu'ils ont une couverture d'assurance maladie différente. Ce sont des choses que l'expérience originale n'a pas mesurées. Si ces « ingrédients invisibles » existent, les mathématiques standards s'effondrent. Les auteurs appellent cela une violation de la transportabilité.

La solution : Un filet de sécurité de type « Et si ? »

Au lieu de prétendre que nous savons tout, les auteurs proposent un nouveau cadre qui admet : « Nous ne savons pas tout, mais voyons à quel point notre réponse change si nous supposons qu'il existe des différences invisibles. »

Ils utilisent un concept appelé analyse de sensibilité. C'est comme tester un pont.

Approche standard : « Le pont tient si le vent est calme. »
L'approche de cet article : « Le pont tient si le vent est calme. Mais que se passe-t-il si le vent souffle à 10 km/h ? À 20 km/h ? Calculons exactement de combien le pont oscille à chaque vitesse afin de savoir quand il pourrait céder. »

Dans leurs mathématiques, ils utilisent un « bouton de sensibilité » (appelé $\Gamma$ ).

Tournez le bouton sur 1,0 : Nous supposons que la Géorgie est exactement comme les cinq autres États (pas de différences invisibles).
Tournez le bouton sur 1,01 : Nous supposons qu'il existe une infime différence invisible entre les États.
Tournez le bouton sur 0,99 : Nous supposons que la différence invisible va dans l'autre sens.

Les deux outils qu'ils ont créés

Pour effectuer ce calcul, ils ont créé deux calculateurs différents :

Le calculateur de « régression simple » (le bourreau de travail) :
- Analogie : C'est comme utiliser une carte fiable et standard. C'est facile à comprendre, facile à utiliser et cela donne une bonne réponse pour la plupart des gens.
- Comment ça marche : Il examine les données des cinq États, ajuste pour les différences visibles (comme la race et l'âge), puis applique un « facteur de correction » basé sur l'importance que nous pensons accorder aux différences invisibles. Ils utilisent une technique appelée bootstrap (rééchantillonnage des données des milliers de fois) pour s'assurer que la réponse est stable.
- Recommandation : Les auteurs disent : « Si vous êtes un praticien, commencez par celui-ci. »
Le calculateur de « fonction d'influence efficace » (la voiture de course) :
- Analogie : C'est une voiture de course haute performance. Elle est plus rapide et théoriquement plus précise, mais elle est beaucoup plus difficile à conduire et nécessite une équipe de mécaniciens pour l'entretenir.
- Comment ça marche : Il utilise des mathématiques complexes pour obtenir la réponse la plus précise possible, mais il nécessite l'estimation de nombreuses variables cachées.
- Avertissement : Les auteurs notent que, contrairement à certains autres outils avancés, celui-ci n'est pas « doublement robuste ». Si vous faites une erreur dans une partie du calcul, toute la réponse peut être fausse.

L'astuce de la « calibration » : Comment régler le bouton

La partie la plus difficile de cette méthode est de décider jusqu'où tourner le « bouton de sensibilité ». Quelle est la taille de la différence invisible ? 1 % ? 10 % ?

D'habitude, les gens se contentent de deviner. Les auteurs ont inventé une méthode ingénieuse et basée sur les données pour déterminer cela, qu'ils appellent la Calibration.

L'analogie : Imaginez que vous vouliez savoir si un nouveau moteur de voiture fonctionne dans un climat neigeux, mais que vous ne l'avez testé que dans un désert. Vous ne savez pas à quel point la neige est importante.
L'astuce : Au lieu de deviner, vous prenez vos données du désert, et vous les divisez en deux groupes : les États du « Rust Belt » (froids, industriels) et les États du « Sun Belt » (chauds, ensoleillés).
Vous faites comme si les données du « Sun Belt » étaient la nouvelle cible. Vous essayez de transporter les résultats du « Rust Belt » vers le « Sun Belt » en utilisant votre mathématique.
Vous continuez de tourner le bouton de sensibilité jusqu'à ce que votre calcul prédise les résultats du Sun Belt aussi précisément que si vous aviez mené l'expérience directement là-bas.
Le résultat : Le montant de rotation nécessaire pour que le calcul fonctionne vous indique : « Voici la taille de la différence invisible entre le Rust Belt et le Sun Belt. » Maintenant, vous savez que si la Géorgie est aussi différente des États originaux, vous devez tourner le bouton de cette quantité.

Ce qu'ils ont découvert en Géorgie

Lorsqu'ils ont appliqué cela aux données de l'élection de 2020 en Géorgie, les résultats ont été surprenants et nuancés :

Si nous supposons que tout est parfait (la transportabilité est vérifiée) : Les publicités ne font toujours rien. Effet nul.
Si nous supposons qu'il existe de petites différences invisibles (analyse de sensibilité) : Le résultat change radicalement.
- Dans les comtés avec plus d'électeurs blancs et moins d'électeurs noirs, les publicités pourraient en réalité augmenter la participation (un effet positif).
- Dans les comtés avec plus d'électeurs latinos, les publicités pourraient diminuer la participation (un effet négatif).

La grande conclusion :
Les auteurs concluent que, puisque l'effet original était si proche de zéro (c'était essentiellement un résultat « nul »), il est extrêmement fragile. Même la plus petite différence non mesurée entre les cinq États et la Géorgie peut faire basculer le résultat d'un « aucun effet » à un « grand effet positif » ou un « grand effet négatif ».

Ils citent un statisticien célèbre, Paul Rosenbaum, pour résumer : « Les petits effets sont sensibles aux petits biais. » Ce n'est pas parce qu'une expérience ne montre aucun effet dans un endroit qu'il n'y a pas d'effet ailleurs ; il se peut simplement que l'effet soit caché derrière une petite différence invisible que nous n'avons pas mesurée.

Résumé

Cet article nous enseigne que lorsqu'on déplace les résultats scientifiques d'un groupe à un autre, nous ne devrions pas simplement prétendre que les groupes sont identiques. Au lieu de cela, nous devrions utiliser un « filet de sécurité » pour tester à quel point nos conclusions changent s'il existe des différences cachées. Dans le cas des publicités politiques, un résultat de « aucun effet » dans un endroit peut être un « effet énorme » dans un autre, selon les détails invisibles de la population.

Résumé technique : Transporter les effets causaux d'un essai randomisé sans « transportabilité »

Énoncé du problème
L'article traite du défi consistant à généraliser (transporter) les effets causaux d'une population source, où un essai contrôlé randomisé (ECR) a été mené, vers une population cible qui diffère de manière non mesurée. L'application motivante spécifique concerne la généralisation des résultats d'un ECR à grande échelle sur la publicité politique numérique contre Donald Trump lors de l'élection présidentielle américaine de 2020. Aggarwal et al. (2023) ont trouvé un effet nul sur la participation électorale dans cinq États pivots (Pennsylvanie, Wisconsin, Michigan, Caroline du Nord et Arizona). Les auteurs étudient si ce résultat nul se généralise à la Géorgie, un État pivot unique avec une démographie électorale distincte (notamment une part plus élevée d'électeurs noirs) et des différences non mesurées dans les facteurs socio-économiques (ex. : assurance maladie, revenu) par rapport aux États sources.

Les méthodes de transportabilité standard reposent sur l'hypothèse que toutes les différences entre la population source et la population cible sont capturées par les covariables observées (transportabilité). Cependant, dans ce contexte, des différences non mesurées sont susceptibles de violer cette hypothèse. De plus, les méthodes existantes exigent souvent des ensembles de covariables identiques entre les données de la source et de la cible, ce qui n'est pas le cas ici (les données de la source incluent l'affiliation partisane et l'historique de vote, tandis que les données cibles du registre électoral de la Géorgie ne comprennent que des données démographiques comme l'âge, la race et le genre).

Méthodologie
Les auteurs proposent un cadre d'apprentissage par transfert qui combine l'analyse de sensibilité aux méthodes de transportabilité pour gérer à la fois les différences non mesurées et les décalages de covariables ( $V \subset X$ ).

Modèle de sensibilité : Le cadre assouplit l'hypothèse de transportabilité en introduisant un paramètre de sensibilité $\Gamma_a$ (pour les niveaux de traitement $a \in \{0, 1\}$ ). Ce paramètre représente le rapport des cotes (odds ratio) des résultats contrefactuels entre la population cible et la population source, conditionnellement aux covariables partagées $V$ . Lorsque $\Gamma_a = 1$ , la transportabilité est respectée ; les écarts par rapport à 1 quantifient le degré de violation. Le modèle suppose une relation de basculement exponentiel (exponential tilting) entre les densités conditionnelles des potentiels résultats dans les deux populations.
Identification : Sous ce modèle de sensibilité, l'Effet de Traitement Moyen Cible (TATE) est identifié comme une fonction de $\Gamma_a$ et de fonctions de nuisance (régression des résultats, score de propension et rapports de densité).
Estimation : Deux estimateurs sont proposés :
- Estimateur de Régression de Résultat (OR) : Un simple estimateur de type "plug-in" qui pondère la fonction de régression de résultat estimée $\hat{\rho}_a(V)$ par le paramètre de sensibilité. Les auteurs recommandent un bootstrap de percentile non paramétrique pour l'inférence, fournissant une justification théorique de sa consistance et de sa normalité asymptotique.
- Estimateur de la Fonction d'Influence Efficace (EIF) : Un estimateur semi-paramétriquement efficace basé sur le cross-fitting. Il utilise l'EIF dérivée du modèle de sensibilité. Les auteurs notent qu'à l'inverse des estimateurs de transportabilité standards, cet estimateur n'est pas doublement robuste lorsque la transportabilité est violée ; il nécessite une estimation consistante de la fonction de régression des résultats $\rho_a$ .
Procédure de Calibrage : Pour répondre à la difficulté de sélectionner des valeurs significatives pour les paramètres de sensibilité non identifiables, les auteurs proposent une procédure de calibrage pilotée par les données, inspirée de la sensibilité de conception. Cela consiste à diviser les données sources en deux sous-ensembles dissemblables (ex. : Rust Belt vs Sun Belt, ou soutien élevé vs faible à Trump). La procédure trouve la plage de valeurs de $\Gamma_a$ où l'estimation transportée entre ces sous-ensembles correspond à l'estimation "oracle" (l'estimation directe du sous-ensemble traité comme cible). Cela génère un ensemble de référence de paramètres de sensibilité qui reflètent l'ampleur des différences non mesurées présentes dans les données sources elles-mêmes.

Contributions clés

Exigences de covariables assouplies : Le cadre permet aux données sources de contenir plus de covariables ( $X$ ) que les données cibles ( $V$ ), un scénario courant où les données cibles issues d'observations manquent des variables détaillées collectées lors d'un ECR.
Justification théorique pour l'inférence par bootstrap : L'article établit formellement la correction théorique de l'utilisation des bootstraps de percentile non paramétriques pour l'inférence dans les contextes d'apprentissage par transfert, une pratique auparavant suggérée qualitativement mais non prouvée rigoureusement.
Estimateur EIF sous analyse de sensibilité : Les auteurs étendent la théorie de la fonction d'influence efficace aux contextes avec paramètres de sensibilité. Ils démontrent que bien que l'estimateur soit semi-paramétriquement efficace, il perd sa propriété de "double robustesse" lorsque la transportabilité est violée, nécessitant une spécification correcte de la fonction de régression des résultats.
Calibrage piloté par les données : Un nouveau mode de calibrage est introduit pour générer des magnitudes de référence interprétables pour les paramètres de sensibilité sans omettre les covariables mesurées, évitant ainsi les pièges du calibrage classique par omission de variables.

Résultats
Application du cadre aux données électorales de 2020 en Géorgie :

Sous la Transportabilité : Si l'on suppose que la transportabilité est respectée (i.e., $\Gamma_0 = \Gamma_1 = 1$ ), la campagne publicitaire reste inefficace dans tous les 159 comtés de Géorgie.
Sous l'Analyse de Sensibilité : De faibles écarts par rapport à la transportabilité mènent à des conclusions radicalement différentes.
- Avec des paramètres de sensibilité pré-spécifiés (ex. : $\Gamma_0=0,99, \Gamma_1=1,01$ ), l'effet publicitaire devient significatif et positif dans 154 comtés.
- Avec des paramètres inversés ( $\Gamma_0=1,01, \Gamma_1=0,99$ ), l'effet devient significatif et négatif dans 158 comtés.
Résultats Calibrés : En utilisant les ensembles calibrés dérivés de la partition des données sources :
- Partition Rust Belt vs Sun Belt : De nombreux comtés sont sensibles à la direction de l'effet. Les comtés ayant une population blanche plus élevée et une population noire plus faible ont tendance à montrer des effets positifs, tandis que les comtés ayant une population Latinx plus élevée ont tendance à montrer des effets négatifs.
- Partition du Soutien à Trump : La plupart des comtés sont peu sensibles aux violations de la transportabilité de cette magnitude, suggérant que les différences non mesurées entre les partisans de Trump et les non-partisans sont suffisamment grandes pour que seules des déviations spécifiques et importantes des paramètres de sensibilité modifient la conclusion.
Analyse de Sous-groupes : L'effet publicitaire est sensible dans six des huit sous-groupes (définis par le genre, la race et l'historique de vote) lorsque la transportabilité est violée, particulièrement pour les femmes électrices revenant voter qui ne sont ni noires ni Latinx.

Signification et Revendications
L'article affirme que son cadre fournit une approche statistiquement valide pour généraliser les effets causaux lorsque l'hypothèse stricte de transportabilité est intenable et que les covariables sont décalées. Les auteurs soulignent que leurs conclusions soutiennent la conjecture selon laquelle les effets nuls de l'ECR original peuvent ne pas se généraliser à la population cible si de petites différences non mesurées existent.

Crucialement, l'article met en lumière une intuition pratique issue de Rosenbaum (2010) : « les petits effets sont sensibles aux petits biais [non mesurés] ». Comme l'effet original dans la population source était proche de zéro, l'étude démontre que la conclusion est hautement fragile face à de mineures différences non mesurées entre les populations. Les auteurs positionnent leur travail comme un outil pour les praticiens qui nécessitent une approche simple et théoriquement valide (spécifiquement l'estimateur OR avec bootstrap) pour évaluer la robustesse des affirmations de généralisation sans dépendre de l'hypothèse impraticable d'une transportabilité parfaite. Ils déclarent explicitement que le cadre est applicable au-delà des élections, par exemple dans les essais cliniques où les patients éligibles diffèrent de la population éligible plus large de manière non mesurée.