📈 economics

Conformal Inference for Counterfactuals and Individual Treatment Effects with Experiment Attrition

Cet article propose une nouvelle méthode d'inférence conforme combinant des avancées statistiques récentes et des outils éprouvés pour gérer les données manquantes, permettant d'obtenir des intervalles de prédiction plus précis et robustes pour les effets de traitement individuels dans les expériences affectées par l'attrition.

Auteurs originaux : Xiangyu Song

Publié 2026-04-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiangyu Song

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous organisez une grande expérience pour tester si un nouveau médicament fonctionne mieux qu'un placebo. Vous recrutez 1 000 personnes. Mais, comme souvent dans la vie, certaines personnes abandonnent l'expérience en cours de route : elles sont trop occupées, malades, ou simplement perdent intérêt. C'est ce qu'on appelle l'attrition (ou la perte de participants).

Le problème, c'est que si vous analysez seulement les résultats de ceux qui sont restés jusqu'au bout, vous risquez de tirer de mauvaises conclusions. Peut-être que ceux qui ont abandonné étaient justement les plus malades, ou au contraire, ceux qui se sentaient déjà mieux. En ignorant les "disparus", vous avez une image incomplète et faussée de la réalité.

Les méthodes traditionnelles pour réparer ce problème sont comme des tentatives de deviner l'avenir en se basant sur des règles rigides (comme supposer que tout le monde réagit de la même façon). Si ces règles sont fausses, vos résultats le sont aussi.

C'est ici qu'intervient l'auteur de cet article, Xiangyu Song, avec une nouvelle approche qu'il appelle l'inférence conforme. Voici comment cela fonctionne, expliqué simplement :

1. Le problème : Le "Choc des Cultures" (Décalage de Covariables)

Imaginez que vous essayez de prédire le temps qu'il fera demain à Paris en regardant les prévisions faites hier pour Marseille. Si le climat de Paris est très différent de celui de Marseille, votre prédiction sera nulle.

Dans une expérience, il y a deux types de "décalages" :

Entre les groupes traités et non traités : Même si le tirage au sort est juste, ceux qui restent dans l'étude peuvent avoir des caractéristiques différentes de ceux qui partent.
Entre les "restants" et les "disparus" : Les gens qui abandonnent l'expérience ne sont pas un échantillon aléatoire. Ils forment un groupe spécifique avec ses propres habitudes.

Les méthodes actuelles ont du mal à combler ce fossé sans faire de suppositions hasardeuses.

2. La solution : Le "Filet de Sécurité" Intelligent

L'inférence conforme ne cherche pas à deviner la valeur exacte du résultat pour chaque personne disparue (ce qui est impossible). Au lieu de cela, elle construit un filet de sécurité (une "fourchette" ou un intervalle de prédiction) autour de sa prédiction.

L'analogie du pêcheur :
Imaginez que vous voulez pêcher un poisson (le vrai résultat) dans un lac sombre.

Les méthodes classiques essaient de lancer un seul hameçon très précis. Si elles se trompent de profondeur, le poisson s'échappe.
La méthode de l'auteur lance un grand filet. Elle ne promet pas de dire exactement où est le poisson, mais elle garantit à 95 % que le poisson sera dans le filet.

Ce qui est génial avec cette méthode, c'est qu'elle est robuste. Elle ne se soucie pas de la forme du poisson, de la couleur de l'eau ou de la vitesse du courant. Elle s'assure simplement que le filet est assez grand pour attraper le poisson, peu importe les conditions.

3. Comment ça marche en deux étapes ?

L'auteur combine cette idée de "filet" avec des outils statistiques modernes pour résoudre le problème des disparus en deux temps :

Étape 1 : Calibrer le filet sur les "restants".
D'abord, on regarde les gens qui sont restés. On utilise leur histoire pour apprendre à construire un filet de la bonne taille. On s'assure que ce filet couvre bien les résultats réels de ceux qui sont restés.
Étape 2 : Adapter le filet pour les "disparus".
Ensuite, on doit appliquer ce filet aux gens qui ont abandonné. Mais attention ! Comme les disparus sont différents des restants (c'est le "décalage"), on ne peut pas juste utiliser le même filet.
L'auteur utilise une astuce mathématique (appelée "estimateur semi-paramétrique efficace") pour redimensionner et déplacer le filet. Il ajuste la taille du filet pour qu'il soit parfaitement adapté au groupe des disparus, même s'ils sont très différents des autres.

4. Pourquoi c'est mieux que les autres ?

L'auteur a testé sa méthode sur des simulations et sur de vraies études politiques (comme des sondages où des gens arrêtent de répondre).

Les autres méthodes (Imputation multiple) : Elles sont comme des devins qui essaient de reconstituer les données manquantes en supposant que tout est "normal". Si la réalité est bizarre, elles échouent et donnent des résultats faux.
Les anciennes méthodes conformes : Elles sont trop prudentes. Elles lancent un filet si énorme qu'il couvre tout le lac, mais il devient inutile car il ne dit rien de précis.
La méthode de l'auteur : Elle trouve le juste milieu. Elle crée un filet qui est assez grand pour être sûr de capturer le résultat (fiabilité), mais assez petit pour être utile et précis (précision).

En résumé

Cette recherche est comme un nouveau type de parachute pour les scientifiques.
Quand une expérience perd des participants (ce qui arrive souvent), au lieu de paniquer ou de faire des suppositions dangereuses, les chercheurs peuvent maintenant utiliser cette méthode pour dire : "Même si nous ne savons pas exactement ce qui est arrivé aux gens qui sont partis, nous pouvons garantir avec une très haute certitude que le résultat se trouve dans cette fourchette précise."

Cela permet de tirer des conclusions plus honnêtes, plus solides et moins biaisées, même lorsque les données sont incomplètes. C'est une avancée majeure pour rendre la science plus fiable, même dans le chaos du monde réel.

1. Problématique et Contexte

L'article aborde le défi majeur de l'attrition (abandon de participants) dans les expériences de terrain et les enquêtes en sciences sociales. L'attrition non aléatoire introduit un biais de sélection qui compromet la validité des inférences causales.

Limites des approches existantes : Les méthodes courantes (analyse des cas complets, imputation multiple, pondération par propension inverse - IPW) reposent souvent sur des hypothèses paramétriques fortes (ex: normalité multivariée, absence de biais de sélection non observé) qui ne tiennent pas toujours dans la pratique.
Le problème du décalage de covariables (Covariate Shift) : Même sous l'hypothèse de données manquantes au hasard (MAR), la distribution des covariables diffère entre le groupe observé ( $R=1$ ) et le groupe ayant abandonné ( $R=0$ ). Les méthodes existantes peinent souvent à corriger ce décalage tout en fournissant des intervalles de prédiction précis pour les effets de traitement individuels (ITE) et les résultats contrefactuels.
Objectif : Construire des intervalles de prédiction valides pour les effets de traitement individuels (ITE) et les résultats contrefactuels, spécifiquement pour les unités ayant abandonné l'étude, sans dépendre d'hypothèses paramétriques strictes sur le processus de génération des données (DGP).

2. Méthodologie Proposée

L'auteur propose une méthode hybride combinant l'inférence conforme (Conformal Inference) et la théorie des estimateurs semi-paramétriques efficaces.

A. Cadre Théorique

Le cadre repose sur le modèle des résultats potentiels (Neyman-Rubin) avec deux sources de données manquantes :

Le problème fondamental de l'inférence causale (un seul résultat potentiel observé par unité).
L'attrition expérimentale (les deux résultats potentiels sont manquants pour les abandonneurs).

L'auteur suppose l'indépendance conditionnelle du traitement et de l'attrition par rapport aux covariables observées (MAR), ainsi que l'hypothèse de recouvrement (Overlap).

B. L'Approche en Deux Étapes

La méthode suit une approche « imbriquée » (nested) en deux étapes pour gérer les deux types de décalage de covariables :

Étape 1 : Construction d'intervalles pour le groupe observé ( $R=1$ )
- L'objectif est de prédire le résultat contrefactuel pour les unités traitées et témoins au sein du groupe observé.
- Utilisation de la Régression Quantile Conformalisée (CQR) pondérée pour corriger le décalage de covariables entre les groupes de traitement et de contrôle au sein du groupe observé.
- Au lieu d'utiliser simplement la distribution empirique des scores de non-conformité (ce qui donne des intervalles trop larges), l'auteur utilise un estimateur semi-paramétrique efficace basé sur la Fonction d'Influence Efficace (EIF). Cela permet d'identifier le seuil de quantile optimal ( $\eta_{\alpha, d}$ ) en résolvant des conditions de moments, garantissant une couverture asymptotique valide.
Étape 2 : Extrapolation vers le groupe d'attrition ( $R=0$ )
- Les intervalles d'ITE construits à l'étape 1 sont traités comme des « substituts » (surrogates) pour les ITE des abandonneurs.
- Une seconde inférence conforme est appliquée pour étendre ces intervalles au groupe cible ( $R=0$ ), en corrigeant le décalage de covariables entre le groupe observé et le groupe d'attrition.
- Là encore, une EIF est dérivée pour identifier le seuil d'expansion ( $\eta_{\gamma, \mathcal{C}}$ ) garantissant que l'intervalle élargi $\check{\mathcal{C}}_{ITE}$ couvre le véritable ITE avec une probabilité spécifiée.

C. Algorithme

L'algorithme utilise une inférence conforme divisée (split conformal) avec une séparation des données en trois plis (pré-entraînement, entraînement, calibration) pour éviter le surajustement des paramètres de nuisance (scores de propension et modèles de régression quantile). La double robustesse de l'EIF assure que l'erreur d'estimation des paramètres de nuisance n'affecte la couverture qu'à travers des termes d'ordre supérieur.

3. Contributions Clés

Cadre d'inférence conforme pour l'attrition : Introduction d'une méthode non paramétrique et sans distribution pour quantifier l'incertitude sur les effets de traitement individuels en présence de données manquantes, applicable aux sciences politiques.
Combinaison avec l'estimation semi-paramétrique efficace : Amélioration des méthodes existantes (comme celles de Lei & Candès, 2021) en remplaçant l'approche par distribution empirique (souvent trop conservatrice) par une approche basée sur l'EIF. Cela permet d'obtenir des intervalles plus étroits tout en maintenant une couverture valide.
Évaluation complète : Une évaluation rigoureuse via des simulations Monte Carlo et des réanalyses d'études empiriques, démontrant la supériorité de la méthode par rapport aux alternatives courantes.

4. Résultats

A. Études de Simulation (Monte Carlo)

Couverture : La méthode proposée (CISE - Conformal Inference with Semiparametric Efficient Estimator) atteint une couverture empirique proche du niveau nominal (95%) sur divers algorithmes d'apprentissage (Random Forest, BART, etc.), même avec des covariables corrélées.
Longueur des intervalles : Les intervalles générés par CISE sont significativement plus étroits que ceux de la méthode « Weighted CQR avec cadre imbriqué non pondéré » (qui est trop conservatrice) et offrent une meilleure couverture que l'imputation multiple (Amelia II), qui échoue lorsque les hypothèses de normalité sont violées.
Robustesse : La méthode maintient ses performances quelle que soit la corrélation entre les covariables et la taille de l'échantillon.

B. Applications Empiriques

L'auteur réanalyse deux études publiées :

Margalit and Shayo (2021) : Impact des marchés financiers sur les valeurs socio-économiques.
- Résultat : L'estimation de l'effet moyen du traitement (ATE) pour le groupe d'attrition diffère de celle du groupe observé. L'agrégation des deux groupes modifie légèrement l'estimation globale, mais la conclusion substantielle reste similaire. Cependant, les intervalles de prédiction de CISE sont plus précis que ceux de l'imputation multiple.
Finkel et al. (2024) : Éducation civique en ligne en Tunisie.
- Résultat : Pour certaines mesures (M2, M3), l'inclusion du groupe d'attrition change la signification statistique et la conclusion substantielle (passant de non-significatif à significatif ou vice-versa). Cela illustre le risque de biais si l'on ignore l'attrition.
- La méthode CISE produit des intervalles plus courts que les alternatives tout en maintenant une couverture valide.

5. Signification et Limites

Signification :

La méthode fournit une fondation plus robuste pour l'inférence causale en présence d'attrition, permettant aux chercheurs de comparer les effets de traitement entre les participants restants, les abandonneurs et l'échantillon total.
Elle démontre que l'on peut obtenir des intervalles de prédiction à la fois valides (couverture garantie) et précis (étroits) sans hypothèses paramétriques fortes, en exploitant la théorie de l'estimation semi-paramétrique.

Limites :

Hypothèse MAR : La méthode nécessite toujours l'hypothèse de données manquantes au hasard (MAR). Elle ne gère pas directement le cas MNAR (Missing Not At Random) où l'attrition dépend de résultats non observés.
Taux d'attrition élevé : Lorsque le taux d'attrition est très élevé, les estimations peuvent devenir bruyantes.
Perte de données : La procédure de division des données (split conformal) signifie que certaines données observées ne peuvent pas être utilisées pour la prédiction finale, rendant difficile l'évaluation de la couverture sur l'ensemble total des unités.

Perspectives futures :
L'auteur suggère d'étendre ce cadre aux cas MNAR, d'intégrer l'inférence conforme avec l'apprentissage automatique double (Double Machine Learning) pour des paramètres de nuisance de haute dimension, et d'adapter la méthode aux données de panel.