Résumé technique : Agrégation de preuves avec prise en compte de l'ignorance

1. Énoncé du problème

Les chercheurs évaluant les interventions politiques sont souvent confrontés à deux défis simultanés : identifier quels individus ou contextes bénéficient le plus d'une intervention (hétérogénéité de l'effet de traitement) et déterminer si les modèles d'hétérogénéité observés dans un environnement donné peuvent être agrégés de manière fiable pour éclairer une décision dans un autre. Les approches traditionnelles de l'hétérogénéité des effets de traitement imposent généralement une prédiction pour chaque contexte observable, même lorsque les données sont bruitées, que la taille de l'échantillon est réduite ou que les mécanismes sous-jacents sont substantiellement différents. Cette « prédiction forcée » peut conduire au surapprentissage (overfitting), à des estimations extrêmes et à la distorsion des prédictions pour les groupes bien identifiés par ceux qui le sont mal.

Le document traite du problème de l'agrégation de preuves avec une option explicite d'abstention. L'objectif est de développer un cadre permettant d'agréger les effets de traitement hétérogènes en résumés interprétables (archétypes) tout en identifiant simultanément un « bassin d'ignorance » — un ensemble de contextes où l'extrapolation est peu fiable et où de nouvelles preuves sont nécessaires. Le cadre équilibre l'utilisation des preuves existantes pour des prédictions crédibles avec le coût du report de la prédiction pour collecter de nouvelles données.

2. Méthodologie

2.1 Configuration et structure des données

Le cadre implique un grand nombre de types observables $x \in \mathcal{X}$, où un type est défini par le produit croisé des caractéristiques individuelles et des caractéristiques au niveau de l'environnement ou de l'étude (ex: pays, site). Pour chaque type $x$, le chercheur observe :

• Une estimation non biaisée mais potentiellement bruitée de l'effet moyen de traitement conditionnel (CATE), $\hat{\tau}(x)$.
• Une estimation non biaisée de sa variance d'échantillonnage, $\hat{\eta}(x)^2$.
• Une estimation du coût d'opportunité de l'abstention, $\hat{c}(x)$.

Le nombre de types $|\mathcal{X}|$ peut croître avec la taille de l'échantillon, et les estimations au sein des types peuvent reposer sur des tailles d'échantillons réduites.

2.2 Le problème de décision

Le chercheur recherche une règle de prédiction $f(x)$ issue d'une classe candidate $\mathcal{F}$ (par exemple, des partitions d'arbres, des modèles linéaires parcimonieux) et une règle d'abstention $\pi(x) \in \{0, 1\}$, où $\pi(x)=1$ indique qu'une prédiction est faite et $\pi(x)=0$ indique une abstention (assignation au bassin d'ignorance).

L'objectif est de minimiser l'espérance de la perte :
$$R_c(f, \pi) = \sum_{x \in \mathcal{X}} p(x) \left[ (f(x) - \tau(x))^2 \pi(x) + c(x)(1 - \pi(x)) \right]$$
où $p(x)$ est la distribution cible sur les types. La perte consiste en l'erreur quadratique de prédiction pour les types où une prédiction est faite, plus le coût de l'abstention pour les types où aucune prédiction n'est faite.

2.3 Procédure d'estimation

Les auteurs proposent une procédure d'estimation en deux étapes :

1. Estimation non biaisée de la perte : Pour toute paire candidate $(f, \pi)$, ils construisent un estimateur non biaisé de la fonction de perte en corrigeant l'erreur quadratique de l'approximation candidate par rapport à l'estimation bruitée $\hat{\tau}(x)$ avec la variance estimée $\hat{\eta}(x)^2$ :
   $$\hat{R}(f, \pi) = \sum_{x \in \mathcal{X}} p(x) \left[ \left( (f(x) - \hat{\tau}(x))^2 - \hat{\eta}(x)^2 \right) \pi(x) + \hat{c}(x)(1 - \pi(x)) \right]$$
   Cette correction garantit que l'espérance de l'estimateur de la perte est égale à l'espérance de la perte réelle, même lorsque $\hat{\tau}(x)$ est bruité.
2. Optimisation : L'estimateur $(\hat{f}, \hat{\pi})$ est choisi pour minimiser $\hat{R}(f, \pi)$ sur la classe de fonctions $\mathcal{F}$ et la classe des règles d'abstention $\Pi$.

2.4 Sélection de modèle et contrôle de la complexité

Le cadre permet une sélection pilotée par les données de la complexité de la classe de modèles (par exemple, la profondeur de l'arbre) en utilisant la division d'échantillon (sample splitting). La procédure compare les classes candidates sur leur perte hors échantillon. Crucialement, l'erreur d'approximation est évaluée uniquement sur le sous-ensemble de types où le modèle choisit de prédire, plutôt que globalement. Cela permet de sélectionner des modèles plus simples s'ils performent bien sur un sous-ensemble spécifique, tandis que le modèle s'abstient pour le reste.

2.5 Calibration du coût d'abstention

Le coût d'abstention $c(x)$ est interprété de manière décisionnelle comme l'erreur quadratique moyenne d'une prédiction formée après la collecte de nouvelles données dans une expérience de suivi. Les auteurs proposent une analyse de point d'équilibre (break-even analysis) pour sélectionner la taille d'échantillon effective $m$ d'une étude de suivi. La procédure identifie le $m$ minimum tel que l'espérance de la perte liée à la collecte de nouvelles données (et à la mise à jour de la prédiction) est statistiquement significativement plus faible qu'une perte de référence (par exemple, la variance d'une règle sans abstention).

2.6 Algorithmes d'optimisation

• Règles basées sur les arbres : Un algorithme récursif exact (Algorithme 1) est fourni pour trouver la partition d'arbre optimale et les assignations de feuilles (archétype vs ignorance) avec une complexité polynomiale pour une profondeur fixe.
• Clustering G-means : Des algorithmes d'approximation exacts et lisses sont discutés pour le clustering sur les espaces de covariables.
• Régression lissée : Le cadre est étendu aux fonctions de prédiction lissées (par exemple, régression linéaire/Ridge) en utilisant une approximation différentiable de la règle d'abstention stricte.

3. Contributions théoriques clés

3.1 Garanties de regret en échantplon fini

L'article dérive des bornes de regret en échantplon fini pour l'estimateur conscient de l'ignorance par rapport à un oracle qui connaît le vrai $\tau(x)$ et choisit de manière optimale les ensembles de prédiction et d'abstention.

• Modèles généraux : Sous des conditions de moments standards et des hypothèses de complexité bornée sur la classe de prédiction $\mathcal{F}$ et la classe d'abstention $\Pi$, le regret s'annule à un taux de $O(1/\sqrt{N_X})$, où $N_X$ est le nombre de types.
• Partitions discrètes : Pour les partitions basées sur les arbres et le clustering G-means, les auteurs dérivent des bornes minimax (supérieure et inférieure) correspondantes, confirmant que le taux de $1/\sqrt{N_X}$ est optimal. Les bornes tiennent explicitement compte de la complexité des groupes de prédiction et du bassin d'ignorance.

3.2 Sélection de modèle avec abstention

L'article fournit une nouvelle garantie de sélection de modèle (Théorème 3.4). Contrairement aux résultats standards où l'erreur d'approximation est évaluée globalement, la borne de regret se décompose ici en :

1. Un terme de sélection de modèle.
2. Un terme de bruit d'estimation (variance).
3. Erreur d'approximation sans ignorance : Le biais de la classe de modèle choisie par rapport à la classe la plus riche, évalué uniquement sur l'ensemble prédictif.
4. Le coût de l'abstention.

Ce résultat démontre que l'abstention améliore la sélection de modèle en permettant au chercheur d'utiliser un modèle plus simple et plus précis là où il convient, tout en s'abstenant de prédire dans les contextes où le modèle performerait mal.

3.3 Interprétation du coût d'abstention

L'article établit un lien formel entre le paramètre de coût abstrait $c(x)$ et la valeur de la collecte de données futures. En interprétant $c(x)$ comme l'erreur quadratique moyenne d'une prédiction après $m$ observations supplémentaires, le cadre offre une méthode pilotée par les données pour déterminer quand de nouvelles expérimentations sont justifiées.

4. Application empirique et résultats

Les auteurs appliquent la méthode à une réanalyse du programme « Graduation », une intervention multifacette de lutte contre la pauvreté mise en œuvre dans six pays (Éthiopie, Ghana, Honduras, Inde, Pakistan, Pérou) impliquant plus de 10 000 ménages.

• Traitement des données : Ils construisent 796 types basés sur les caractéristiques de base (consommation, actifs, sécurité alimentaire, montants des prêts) et le pays.
• Sélection de modèle : En utilisant la validation croisée et l'analyse de point d'équilibre, ils sélectionnent un arbre de profondeur quatre avec 11 archétypes prédictifs.
• Bassin d'ignorance : Environ 15 % des observations sont assignées au bassin d'ignorance. Celles-ci sont principalement concentrées dans les quartiles les plus pauvres du Pérou et du Pakistan, ainsi qu'en Inde et en Éthiopie, suggérant que pour ces sous-groupes spécifiques, les preuves existantes sont insuffisantes pour faire des prédictions fiables.
• Résultats sur l'hétérogénéité : Les archétypes prédictifs révèlent une hétérogénéité substantielle, avec des effets allant de près de zéro à 48 % de l'écart-type du groupe de contrôle. Plusieurs archétypes à effet élevé sont partagés entre les pays, démontrant une agrégation réussie des preuves.
• Comparaison avec les bases de référence sans abstention :
  • Un arbre standard sans abstention divise principalement par pays, échouant à identifier des modèles transnationaux portables.
  • L'arbre sans abstention crée des feuilles de petite taille et de haute variance avec des prédictions extrêmes et instables (ex: effets de -103 % ou 249 %).
  • L'arbre conscient de l'ignorance réduit considérablement l'erreur quadratique moyenne sur l'ensemble prédictif par rapport aux procédures standards (Empirical Bayes, CART, Forêts Aléatoires Généralisées) et à l'arbre sans abstention.
  • Les erreurs types de l'arbre conscient de l'ignorance sont environ la moitié de celles de l'arbre sans abstention.

Étude numérique

Une étude de Monte Carlo calibrée introduit une région « contaminée » (un sous-ensemble du Pérou) présentant une hétérogénéité arbitraire à queue épaisse. Les résultats montrent qu'à mesure que la sévérité de cette contamination augmente, l'arbre conscient de l'ignorance parvient à assigner la région contaminée au bassin d'ignorance. Cela protège la précision des prédictions des régions stables restantes, réduisant l'erreur de prédiction jusqu'à 50 % par rapport aux meilleurs benchmarks concurrents (CART, Forêts Aléatoires, Empirical Bayes) et de 80 % par rapport à l'arbre sans abstention.

5. Signification et revendications

L'article affirme offrir un nouveau paradig ideally pour l'agrégation de preuves qui reconnaît explicitement les limites des données actuelles. Ses principales contributions sont :

1. Apprendre l'ignorance : Il dépasse l'hypothèse selon laquelle une prédiction doit être faite pour chaque unité. Au lieu de cela, il traite l'identification de « ce que nous ne savons pas » comme une partie centrale du problème d'estimation.
2. Robustesse à la spécification erronée : En permettant l'abstention, la méthode assouplit les hypothèses globales (ex: parcimonie, lissage) requises par les méthodes d'hétérogénéité standard. Ces hypothèses n'ont besoin de tenir que localement sur le sous-ensemble de données où la prédiction est effectuée.
3. Lien décisionnel : Il fournit un lien rigoureux entre l'abstention statistique et la valeur de l'expérimentation future, offrant une règle concrète et pilotée par les données pour savoir quand s'arrêter et collecter plus de données.
4. Amélioration de la précision : Les résultats empiriques et de simulation suggèrent qu'en excluant les unités difficiles à prédire, la méthode améliore considérablement la précision et la stabilité des prédictions pour les unités restantes, évitant la distorsion causée par l'obligation d'agréger des contextes hétérogènes et bruités.

Les auteurs positionnent ce travail comme un pont entre la méta-analyse, l'hétérogénéité de l'effet de traitement et l'apprentissage automatique avec options de rejet, adapté spécifiquement aux défis des contextes d'évaluation de politiques potentiellement non échangeables et mal spécifiés.