Program Evaluation with Remotely Sensed Outcomes

Cet article propose une méthode pour identifier de manière non paramétrique les effets causaux dans les expériences et les quasi-expériences en combinant des données expérimentales avec des données observationnelles où des variables de télédétection peu coûteuses et évolutives (comme l'imagerie satellite) servent de proxys post-résultats pour des résultats économiques mesurés imparfaitement.

L'essentiel

Le gros problème : L'expérience « aveugle »

Imaginez que vous êtes un scientifique essayant de tester un nouvel engrais pour voir s'il fait pousser le maïs plus haut. Vous avez un plan parfait : vous donnez l'engrais à la moitié de vos champs (le Groupe Expérimental) et rien à l'autre moitié.

Cependant, il y a un piège. Mesurer la hauteur exacte de chaque tige de maïs est incroyablement coûteux et chronophage. Vous ne pouvez pas vous permettre de le faire pour les champs expérimentaux. Vous vous retrouvez donc face à une expérience « aveugle » : vous savez quels champs ont reçu l'engrais, mais vous ne savez pas quelle hauteur le maïs a réellement atteinte.

La solution habituelle : Les chercheurs utilisent souvent un substitut (proxy) imparfait et bon marché. Peut-être qu'ils observent la couleur du maïs via une photo satellite. Ils partent du principe que : « Si la photo satellite est verte, le maïs doit être grand ». Ils entraînent un ordinateur sur un autre ensemble de champs où ils ont mesuré la hauteur, puis appliquent cet ordinateur à leur expérience aveugle.

La découverte de l'article : Les auteurs affirment que cette méthode courante est défaillante. C'est comme essayer de deviner le poids d'une personne en regardant son ombre. Si la source de lumière change, l'ombre change, même si le poids de la personne reste le même. Dans leur monde, l'« ombre » est l'image satellite, et la « personne » est le résultat économique (comme la pauvreté ou le brûlage des cultures).

L'idée centrale : L'indice « Post-Résultat »

Les auteurs introduisent une distinction cruciale : L'indice est-il une cause ou un résultat ?

• L'ancienne méthode (Substitut) : Traite l'image satellite comme une cause ou un intermédiaire. (ex : « L'engrais provoque le changement de l'image satellite, ce qui provoque la croissance du maïs »). C'est faux.
• La nouvelle méthode (Post-Résultat) : Traite l'image satellite comme un résultat. Le maïs pousse (le résultat), et parce qu'il a poussé, l'image satellite change. L'image est une « empreinte digitale » laissée par le résultat.

Pensez-y comme à une scène de crime.

• Le Résultat : Le voleur a volé les bijoux.
• La Variable de Télédétection : Les traces de pas boueux laissées sur le sol.
• La Logique : Le vol a causé les traces de pas, et non l'inverse. Si vous voyez des traces de pas, vous savez qu'un vol a eu lieu.

La solution : La cuisine à « Deux Recettes »

Les auteurs proposent une méthode pour combiner deux « cuisines » différentes (jeux de données) afin de résoudre le problème sans jamais mesurer la hauteur du maïs dans les champs expérimentaux.

Cuisine A (L'échantillon expérimental) :

• Ce que vous avez : Vous savez qui a reçu l'engrais (Traitement) et vous avez les photos satellites (L'Indice).
• Ce qui vous manque : Vous ne connaissez pas la hauteur réelle du maïs (Le Résultat).
• Ce que vous apprenez : Vous apprenez comment l'engrais modifie les photos.

Cuisine B (L'échantillon d'observation) :

• Ce que vous avez : Vous avez un autre ensemble de champs où vous connaissez la hauteur du maïs et vous avez les photos satellites.
• Ce qui vous manque : Vous ne savez pas s'ils ont reçu l'engrais (ou l'engrais n'était pas randomisé).
• Ce que vous apprenez : Vous apprenez comment la hauteur du maïs modifie les photos.

Le tour de magie :
Les auteurs supposent que la « caméra » (le satellite) fonctionne de la même manière dans les deux cuisines. Si un champ a du maïs haut, la photo satellite aura un aspect spécifique, que vous soyez dans la Cuisine A ou la Cuisine B. C'est ce qu'on appelle la Stabilité.

En combinant les deux cuisines, ils peuvent mathématiquement « annuler » les particularités de la caméra. Ils utilisent la relation entre l'engrais et la photo (de la Cuisine A) et la relation entre la hauteur et la photo (de la Cuisine B) pour résoudre le lien manquant : À quel point l'engrais a-t-il réellement aidé la croissance du maïs ?

Pourquoi les anciennes méthodes échouent

L'article souligne que de nombreux chercheurs utilisent actuellement une méthode en « deux étapes » qui est fondamentalement erronée :

1. Étape 1 : Entraîner un ordinateur pour deviner la hauteur du maïs à partir des photos en utilisant la Cuisine B.
2. Étape 2 : Utiliser cet ordinateur pour deviner la hauteur dans la Cuisine A et comparer les groupes.

La faille : Cette méthode souffre d'un « biais d'atténuation ». C'est comme essayer d'entendre un murmure à travers un mur. L'ordinateur devine la hauteur, mais comme les photos ne sont pas parfaites, les estimations de l'ordinateur sont « floues ». Lorsque vous comparez ces estimations floues, la différence entre les groupes semble plus petite qu'elle ne l'est réellement. Les auteurs démontrent que cette méthode sous-estime souvent l'effet réel de près de la moitié (47 % dans l'un de leurs exemples concrets).

Ils ont également testé une méthode plus récente appelée « Inférence basée sur la prédiction » (PPI). Ils ont constaté que la PPI ne fonctionne que si les deux cuisines sont identiques à tous les égards (mêmes personnes, même époque, même contexte). Mais dans le monde réel, la Cuisine A et la Cuisine B sont généralement différentes (années différentes, lieux différents). Lorsqu'elles diffèrent, la PPI échoue.

Les tests en conditions réelles

Les auteurs ont testé leur nouvelle méthode sur trois scénarios du monde réel :

1. Couverture forestière en Ouganda : Est-ce que payer les gens pour sauvegarder les arbres a réellement stoppé la déforestation ?
2. Pauvreté en Inde : Est-ce qu'un nouveau système de paiement numérique a réduit la pauvreté villageoise ?
3. Brûlage des cultures en Inde : Est-ce que payer les agriculteurs pour ne pas brûler les résidus de culture a réellement fonctionné ?

Les résultats :

• Dans l'étude sur la pauvreté, leur nouvelle méthode a donné des résultats presque identiques au « standard d'or » (où ils ont réellement mesuré la pauvreté), même s'ils n'ont pas utilisé les mesures directes pour le calcul principal.
• Dans l'étude sur le brûlage des cultures, l'ancienne méthode en « deux étapes » disait que le programme fonctionnait un peu. Leur nouvelle méthode a montré que le programme fonctionnait bien mieux (presque deux fois plus efficace). L'ancienne méthode cachait le véritable succès du programme.

Ce qu'il faut retenir

Si vous voulez mesurer le succès d'un programme en utilisant des données distantes et peu coûteuses (comme des photos satellites ou des signaux téléphoniques), ne traitez pas simplement ces données comme un substitut direct de la réponse réelle. Au lieu de cela, traitez-les comme une empreinte digitale laissée par le résultat.

En reconnaissant que l'« empreinte digitale » est causée par le résultat, et en combinant soigneusement les données d'une expérience contrôlée avec celles du monde réel, vous pouvez obtenir des réponses précises sans dépenser une fortune en enquêtes coûteuses. Et, surtout, vous pouvez le faire même si les modèles informatiques que vous utilisez pour prédire le résultat sont imparfaits.

Résumé technique

Résumé Technique : Évaluation de Programmes avec des Résultats Observés par Télédétection

1. Énoncé du Problème

L'évaluation traditionnelle des programmes repose souvent sur des résultats issus d'enquêtes, qui sont coûteux, difficiles à généraliser et parfois impossibles à collecter. Les chercheurs utilisent de plus en plus de variables observées par télédétection (ex. : imagerie satellite, activité des téléphones mobiles, lumières nocturnes) comme des proxys à faible coût et évolutifs pour les résultats économiques. Cependant, ces variables sont des mesures imparfaites.

Le défi central abordé concerne l'inférence causale dans des contextes où :

1. Échantillon Expérimental : Contient une assignation aléatoire au traitement ($D$) et des variables observées par télédétection ($R$), mais le véritable résultat économique ($Y$) est manquant en raison de contraintes de coût ou de logistique.
2. Échantillon Observationnel : Lie le résultat ($Y$) à la variable observée par télédétection ($R$), mais manque d'une assignation aléatoire au traitement (le traitement peut être absent, déterministe ou confondu).

Les méthodes existantes échouent souvent dans ce cadre. Les approches classiques en deux étapes (entraîner un prédicteur sur l'échantillon observationnel puis l'appliquer à l'échantillon expérimental) souffrent d'un biais d'atténuation lorsque la variable observée par télédétection est une mesure post-résultat (c'est-à-dire que $Y$ cause $R$, et non l'inverse). De même, les méthodes d'Inférence Propulsée par la Prédiction (PPI - Prediction-Powered Inference) nécessitent souvent des observations conjointes du traitement, du résultat et du proxy dans les deux bras de traitement, ce qui est fréquemment indisponible, ou reposent sur des hypothèses de stabilité concernant le mécanisme du résultat qui peuvent ne pas se vérifier d'une population à l'autre.

2. Méthodologie et Hypothèses d'Identification

Les auteurs proposent un cadre qui identifie de manière non paramétrique l'Effet de Traitement Moyen (ATE) en combinant des données expérimentales et observationnelles sous des hypothèses de stabilité spécifiques.

2.1 Structure Causale

Le cadre modélise la variable observée par télédétection $R$ comme étant post-résultat : la variation du résultat économique $Y$ cause la variation de $R$.

• Échantillon Expérimental ($S=e$) : Observe $(X, D, R)$. $Y$ est manquant.
• Échantillon Observationnel ($S=o$) : Observe $(X, Y, R)$. $D$ peut être manquant ou confondu.

2.2 Hypothèses Clés

1. Non-confondance Expérimentale : Les hypothèses de randomisation standard sont respectées dans l'échantillon expérimental ($D \perp \{Y(0), Y(1)\} | X, S=e$).
2. Stabilité de la Variable Observée par Télédétection (L'Hypothèse Centrale) : La distribution conditionnelle de la variable observée par télédétection étant donné le résultat et le traitement est stable entre les échantillons :
   $$f(R | X, D, Y, S=e) = f(R | X, D, Y, S=o)$$
   Cela implique que le mécanisme de détection (ex. : la physique de la façon dont les images satellites capturent le brûlage des cultures) est invariant, même si le mécanisme de résultat (la façon dont le traitement affecte $Y$) ou le mécanisme de traitement diffère entre les échantillons.
3. Conditions de Complétude :
   • Cas Observationnels Complets : Si $D$ est observé et varie dans l'échantillon observationnel, aucune autre hypothèse n'est nécessaire.
   • Cas Observationnels Incomplets : Si $D$ est manquant ou déterministe dans l'échantillon observationnel, une hypothèse supplémentaire d'absence d'effet direct est requise : $D \perp R | X, Y$. Cela signifie que le traitement affecte la variable observée par télédétection uniquement à travers son effet sur le résultat.

2.3 Stratégie d'Identification

L'effet de traitement est identifié via une restriction de moment conditionnel. Les auteurs dérivent une formule où la variable observée par télédétection relie la variation du traitement expérimentale à la variation du résultat observationnelle.

Pour un résultat discret $Y \in \{y_1, \dots, y_K\}$, le vecteur d'effet de traitement conditionnel $\theta(X)$ est identifié par :
$$E[\Delta_e(X) - \Delta_o(X)^\top \theta(X) \mid X, R] = 0$$
Où :

• $\Delta_e(X)$ résume la variation du traitement dans l'échantillon expérimental.
• $\Delta_o(X)$ résume la variation du résultat dans l'échantillon observationnel.

Cela permet l'identification sans spécifier la forme fonctionnelle de la relation entre $R$ et $Y$. Le cadre supporte des représentations arbitraires $H(X, R)$ de la variable observée par télédétection, à condition qu'elles satisfassent une condition de rang (pertinence).

3. Estimation et Inférence

3.1 Robustesse à la Spécification Incorrecte

Les auteurs développent un algorithme d'estimation (Algorithme 1) utilisant la division d'échantillons (sample splitting) et le croisement (cross-fitting). Une contribution théorique clé est qu'une inférence $n^{-1/2}$ valide est réalisable sans conditions de taux sur les modèles de machine learning utilisés pour prédire les résultats, les traitements ou les indicateurs d'échantillon.

• L'estimateur reste valide même si les prédicteurs (ex. : réseaux de neurones profonds) sont mal spécifiés ou manquent de taux de convergence.
• Cette robustesse découle de l'orthogonalité de Neyman de la restriction de moment.

3.2 Efficacité et Instruments Optimaux

Pour améliorer l'efficacité, les auteurs connectent le problème à la théorie des instruments optimaux (Chamberlain, 1987 ; Newey, 1993). La représentation semi-paramétrique efficace $H^*(R)$ implique de prédire :

1. Le résultat $Y$ (à partir de l'échantillon observationnel).
2. Le traitement $D$ (à partir de l'échantillon expérimental).
3. L'indicateur d'échantillon $S$ (à partir des données regroupées).
   L'utilisation de ces prédictions permet la réduction de dimensionnalité de $R$ de haute dimension tout en préservant l'information causale.

3.3 Tests Diagnostiques

Le cadre fournit deux tests diagnostiques :

1. Test d'Instrument Faible : Vérifie si la variable observée par télédétection est suffisamment informative sur la variation du résultat (analogue aux instruments faibles dans les variables instrumentales).
2. Restrictions de Suridentification (Test J) : Si différentes représentations $H(R)$ et $H'(R)$ produisent des estimations d'effet de traitement significativement différentes, cela suggère une violation des hypothèses de stabilité ou d'absence d'effet direct.

4. Résultats Empiriques et Applications

Le papier valide la méthode à travers des simulations calibrées et des applications réelles :

4.1 Simulations

• Biais : La méthode standard en deux étapes présente un large biais d'atténuation (sous-estimation des effets), tandis que la méthode proposée est approximativement non biaisée.
• Couverture : Les intervalles de confiance pour la méthode proposée atteignent une couverture nominale (environ 95 %), alors que la méthode en deux étapes sous-couvre sévèrement (aussi bas que 0-25 % dans certains scénarios).
• Comparaison avec PPI : Lorsqu'un échantillon de validation est disponible, les méthodes PPI peuvent être non biaisées mais sont moins efficaces que la méthode proposée. Si l'échantillon de validation n'est pas aléatoire ou si les bases diffèrent, la PPI devient biaisée.

4.2 Application 1 : Cartes à puce et Pauvreté Villageoise (Inde)

• Contexte : Évaluation de l'effet des systèmes de paiement biométriques sur la pauvreté villageoise.
• Configuration : L'échantillon expérimental possède le traitement et les données satellites ; l'échantillon de validation (non aléatoire) possède les résultats et les données satellites ; l'échantillon observationnel possède les résultats et les données satellites.
• Résultat : La méthode proposée produit des estimations proches de la différence de moyennes "oracle" (utilisant les données de résultats complètes), malgré l'utilisation de données de résultats pour seulement un sous-ensemble de villages. Elle démontre un potentiel significatif de réduction des coûts d'enquête.

4.3 Application 2 : Paiements pour Services Écosystémiques et Brûlage des Cultures (Inde)

• Contexte : Évaluation des incitations à réduire le brûlage des cultures en utilisant l'imagerie satellite.
• Configuration : Aucun résultat expérimental n'est disponible ; seul un échantillon observationnel lie les données satellites à la vérité de terrain.
• Résultat : La méthode courante en deux étapes a sous-estimé l'effet du traitement de 47 %. La méthode proposée a identifié un effet nettement plus important (réduction de 14,1 % du brûlage contre 7,5 % pour la méthode en deux étapes), corrigeant ainsi le biais d'atténuation inhérent à la suppléance post-résultat.

5. Contributions Clés et Signification

1. Nouvelle Stratégie d'Identification : Le papier fournit la première formule d'identification non paramétrique pour les effets de traitement combinant des données expérimentales et observationnelles lorsque le proxy est une variable post-résultat, en s'appuyant sur la stabilité du mécanisme de détection plutôt que sur celui du résultat.
2. Correction des Biais Communs : Il démontre formellement que la méthode de prédiction "en deux étapes" largement utilisée souffre d'un biais d'atténuation dans les contextes post-résultat, expliquant pourquoi de nombreuses études existantes pourraient sous-déclarer les impacts des interventions.
3. Inférence Robuste : Il établit qu'une inférence valide est possible même avec des modèles de machine learning complexes et potentiellement mal spécifiés, supprimant le besoin de conditions de taux strictes souvent requises dans le Double Machine Learning.
4. Diagnostics Pratiques : Il introduit des restrictions de suridentification testables pour valider les hypothèses centrales, permettant aux chercheurs de vérifier les violations de stabilité à l'aide de multiples représentations des données de télédétection.
5. Gains d'Efficacité : En exploitant des instruments optimaux qui prédisent également le traitement et les indicateurs d'échantillon, la méthode atteint une précision plus élevée que les approches standards.

Le papier conclut que bien que les variables observées par télédétection soient imparfaites, elles peuvent être utilisées rigoureusement pour l'inférence causale si la stabilité de la technologie de détection est plausible. Ce cadre permet aux chercheurs de réduire considérablement les coûts d'enquête tout en maintenant une validité statistique, particulièrement en économie de l'environnement et du développement.