📈 economics

Learning What to Learn: Experimental Design when Combining Experimental with Observational Evidence

Cet article propose un cadre unifié pour la conception d'expériences sous contrainte de coût qui se combinent à des données observationnelles potentiellement biaisées en employant un critère de regret proportionnel minimax afin d'optimiser le compromis biais-variance sans nécessifier de bornes de biais préspécifiées.

Auteurs originaux : Aristotelis Epanomeritakis, Davide Viviano

Publié 2026-07-20

📖 8 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Aristotelis Epanomeritakis, Davide Viviano

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le dilemme du grand détective : quand les indices mentent

Imaginez que vous êtes un détective essayant de résoudre un mystère colossal : comment une nouvelle politique, comme donner de l'argent aux familles pauvres, modifiera l'économie d'un pays entier. Vous avez deux types d'indices. Le premier type provient d'un « Essai Contrôlé Randomisé » (ECR). C'est comme une expérience scientifique parfaitement contrôlée où l'on donne à un petit groupe de personnes un traitement spécifique et où l'on observe ce qui se passe dans un laboratoire. Ces indices sont de l'or car ils sont dignes de confiance ; vous savez exactement ce qui a causé le résultat. Mais il y a un piège : ces expériences sont coûteuses et ne se produisent généralement que dans des villes très spécifiques. Elles vous disent ce qui se passe dans ce village précis, mais elles ne peuvent pas vous dire ce qui se passera si vous déployez le programme à l'échelle nationale, là où les prix changent et où les gens réagissent de manière complexe.

Le second type d'indice provient de « l'Évidence Observationnelle ». C'est comme lire de vieux dossiers d'affaires ou des rapports de presse sur ce qui s'est passé ailleurs. Ces indices sont peu coûteux et couvrent de vastes zones, mais ils sont désordonnés. Peut-être que les personnes mentionnées dans ces vieux rapports étaient différentes, ou peut-être que quelque chose d'autre se passait qui a fait paraître les résultats différents de ce qu'ils sont réellement. Le grand problème pour les scientifiques est le suivant : comment mélanger ces deux types d'indices ? Vous voulez la fiabilité de l'expérience et la vision globale des anciens rapports, mais vous ne savez pas à quel point les anciens rapports mentent. Si vous faites trop confiance aux anciens rapports, toute votre théorie pourrait s'effondrer. Si vous les ignorez, vous gaspillez une quantité utile d'informations. Ce document traite de la construction d'une meilleure carte pour aider les détectives à décider exactement quelle part de leur budget consacrer à l'expérience coûteuse par rapport à la part qu'ils doivent accorder aux vieux dossiers désordonnés.

La solution du papier : la boussole du « Regret »

Ce document, intitulé « Learning What to Learn » (Apprendre ce qu'il faut apprendre), propose une nouvelle façon de concevoir des expériences lorsque l'on doit mélanger des données fraîches et coûteuses avec des données anciennes et potentiellement biaisées. Les auteurs, Aristotelis Epanomeritakis et Davide Viviano, soutiennent que l'ancienne façon de faire — essayer de minimiser le « bruit » ou la variance de vos résultats — est dangereuse si vous ignorez la possibilité que vos anciennes données soient biaisées. Au lieu de cela, ils introduisent une nouvelle boussole appelée Minimax Proportional Regret (Regret Proportionnel Minimax).

Considérez le « Regret » comme le sentiment que l'on éprouve en regardant en arrière et en souhaitant avoir fait un choix différent. Dans ce document, les auteurs imaginent un « Oracle » super intelligent (un être magique) qui connaît la quantité exacte de biais dans les anciennes données. L'Oracle choisit l'expérience parfaite et la manière parfaite de mélanger les données pour obtenir la meilleure réponse. Comme les chercheurs réels n'ont pas de l'Oracle magique, ils ne peuvent pas connaître le biais exact. Ainsi, les auteurs demandent : « Et si nous choisissions un design qui nous fait regretter notre choix le moins possible, même dans le pire des scénarios ? »

Le document révèle que la meilleure stratégie ne consiste pas seulement à choisir l'expérience qui donne les chiffres les plus précis. Il s'agit plutôt de trouver un « point d'équilibre » où vous équilibrez deux choses :

Le Regret de Variance : À quel point vos résultats sont « bruyants » ou instables parce que vous n'avez pas collecté assez de données.
Le Regret de Biais : À quel point vos résultats pourraient être faux parce que vous avez trop fait confiance à un ancien rapport biaisé.

Les auteurs montrent que le design optimal est celui où ces deux types de regret sont égalisés. C'est comme un funambule : si vous penchez trop vers la minimisation du bruit (en collectant une énorme quantité de données expérimentales), vous pourriez tomber de la falaise du biais (en faisant confiance à un mensonge). Si vous penchez trop vers la minimisation du biais (en ignorant les données bruyantes), vous pourriez tomber de la falaise de la variance (vos chiffres sont trop instables pour être utiles). Le document prouve mathématiquement que le meilleur design est celui où vous êtes également inquiet des deux falaises.

Comment cela fonctionne dans le monde réel

Pour prouver que leur idée fonctionne, les auteurs l'ont testée avec un exemple du monde réel : un gouvernement au Kenya voulant savoir comment les transferts de fonds affectent la fréquentation scolaire. Ils possédaient des données anciennes provenant d'un célèbre programme au Mexique (PROGRESA) qui ne s'appliquent peut-être pas parfaitement au Kenya. Ils devaient décider s'ils devaient mener une nouvelle expérience pour mesurer l'effet direct du cash, l'effet du revenu ou l'effet des salaires.

En utilisant leur nouvelle méthode du « Regret », ils ont découvert que la méthode standard (appelée « allocation de Neyman ») aurait dépensé tout leur argent dans les expériences de transfert de fonds car celles-ci donnaient les chiffres les plus clairs. Cependant, cela ignorait le risque que les anciennes données mexicaines soient biaisées. La nouvelle méthode a suggéré une voie différente : elle a recommandé de mener une expérience de programme d'emploi à chaque taille d'échantillon considérée, plutôt que les expériences de transfert de fonds. Les méthodes standard ne passaient au programme d'emploi qu'à des tailles d'échantillons très importantes, mais la nouvelle méthode l'a privilégié immédiatement pour éviter le risque de biais.

Dans leurs simulations, la nouvelle méthode a montré que si les anciennes méthodes semblaient excellentes si les anciennes données étaient parfaites, elles s'effondraient si les données étaient même légèrement erronées. Le nouveau design « optimal au regret » est resté stable. Il a accepté une légère augmentation du « bruit » des résultats pour gagner une réduction massive du risque d'erreur. Par exemple, pour un échantillon de 3 700 personnes (ce qui est typique pour ce genre d'études), les anciennes méthodes avaient un score de « regret » supérieur à 4 ou 5, ce qui signifie qu'elles étaient loin de la meilleure réponse possible. La nouvelle méthode a maintenu le score de regret autour de 1,3, ce qui signifie qu'elle était beaucoup plus proche de la vérité, même lorsque les anciennes données étaient biaisées.

Ce que le document dit et ne dit pas

Le document est très clair sur ce qu'il fait et ne fait pas. Il ne prétend pas que nous devions arrêter de faire des expériences ou que nous devions arrêter d'utiliser les anciennes données. Il ne dit pas que nous pouvons connaître magiquement le degré de biais des anciennes données. En fait, c'est précisément parce que nous ne le savons pas.

Les auteurs argumentent explicitement contre l'idée de simplement essayer de rendre les chiffres expérimentaux aussi précis que possible (minimiser la variance) sans penser au biais. Ils montrent que si vous faites cela, vous pourriez finir avec une réponse très précise à la mauvaise question. Ils s'opposent également à l'idée d'être si effrayés par le biais que l'on ignore totalement les anciennes données ; cela gaspille des ressources et laisse des résultats instables.

Les conclusions sont basées sur des preuves mathématiques et des simulations informatiques. Les auteurs montrent que leur méthode fonctionne pour une large classe d'outils statistiques courants (comme les estimateurs GMM et de distance minimale) et même pour des scénarios où un « public bayésien » (un groupe de personnes ayant des croyances différentes) tente d'interpréter les données. Ils prouvent que leur approche par le « Regret » est une façon robuste de gérer l'inconnu. Ils ne prétendent pas avoir résolu tous les problèmes possibles en économie, mais ils fournissent un outil spécifique et mathématiquement solide pour le problème très courant de mélanger des expériences propres avec des données réelles désordonnées.

La conclusion à retenir

En fin de compte, ce document donne aux chercheurs un nouveau manuel de règles pour dépenser leurs budgets limités. Il leur dit : « Ne cherchez pas seulement les données les plus brillantes et les plus précises. Cherchez le design qui vous protège des erreurs les plus graves, même si vous ne connaissez pas exactement quels sont ces erreurs. » C'est une leçon d'humilité : en admettant que nous ne savons pas tout sur le passé, nous pouvons concevoir de meilleures expériences pour l'avenir. Le résultat est une façon plus honnête et plus fiable de répondre aux grandes questions politiques, garantissant que, lorsque les gouvernements décident de financer des programmes, ils fondent leurs décisions sur une base qui est à la fois précise et résiliente.

Résumé Technique : Apprendre quoi apprendre : Conception expérimentale lors de la combinaison de preuves expérimentales et observationnelles

Énoncé du problème
Les essais contrôlés randomisés (ECR) fournissent des estimations de l'effet de traitement qui sont valides sur le plan interne, mais ils sont souvent contraints par des coûts et une faisabilité limités, ce qui les restreint à des sites spécifiques, de petites populations ou à des mécanismes d'équilibre partiel. Par conséquent, les chercheurs combinent fréquemment des estimations expérimentales avec des preuves externes — telles que des estimations de forme réduite ou structurelles issues de données observationnelles ou d'expériences dans d'autres contextes — pour répondre à des questions de politique publique plus larges impliquant des effets d'équilibre général (EG) ou de la validité externe.

Le défi central abordé dans cet article est la conception d'expériences dans ce cadre combiné. Plus précisément, comment un chercheur doit-il choisir l'expérience (ou les expériences) à mener et comment allouer les tailles d'échantillon sous des contraintes budgétaires lorsque les preuves externes peuvent souffrir de biais inconnus (par exemple, en raison de facteurs de confusion ou d'un manque de validité externe) ? La littérature traditionnelle sur la conception expérimentale suppose souvent que tous les paramètres sont identifiés au sein de l'expérience ou se concentre sur des conceptions fixes, laissant un vide méthodologique pour optimiser le choix de l'expérience lorsqu'on s'appuie sur des données externes potentiellement biaisées.

Méthodologie et Cadre
Les auteurs développent un cadre unifié de conception expérimentale qui intègre les preuves expérimentales et observationnelles. La configuration implique :

L'estimand cible : Un objet pertinent pour les politiques $\tau(\theta)$ , où $\theta$ est un vecteur de paramètres inconnus et $\tau$ est une fonction lisse connue.
Sources de données :
- Estimations observationnelles ( $S_{obs}$ ) : Un ensemble d'estimations qui peuvent être biaisées par un vecteur $b$ inconnu. Elles servent de base de référence mais ne sont pas garanties sans biais.
- Estimations expérimentales ( $S_{exp}$ ) : Un ensemble de moments non biaisés obtenus à partir d'expériences réalisables $E$ , qui identifient un sous-ensemble de paramètres dans $\theta$ .
Estimateurs : Les auteurs se concentrent sur des estimateurs (asymptotiquement) linéaires, tels que la méthode des moments généralisés (GMM) ou les estimateurs de distance minimale, qui admettent une représentation linéaire des moments.

Fonction Objectif : Regret Proportionnel Minimax
Parce que le biais $b$ est inconnu a priori, minimiser l'erreur quadratique moyenne (MSE) directement est irréalisable sans spécifier une borne de biais. Les auteurs proposent un critère de regret proportionnel minimax.

L'Oracle : Un oracle qui connaît la magnitude réelle du biais observationnel ( $B$ ) et choisit à la fois la conception optimale et l'estimateur optimal pour minimiser la MSE.
Le Regret : La performance d'une conception candidate est mesurée par le ratio de sa pire MSE par rapport à la MSE de l'oracle, maximisé sur toutes les magnitudes de biais possibles $B \geq 0$ .
$R(E, \Sigma, W) \equiv \sup_{B \geq 0} \frac{\sup_{b \in \mathcal{B}(B)} \text{MSE}_b(E, \Sigma, W)}{\text{MSE}^*(B)}$
Idée Clé : Pour les estimateurs linéaires, ce regret proportionnel se simplifie en le maximum de deux composantes normalisées :
1. Regret de Variance : Le ratio de la variance de la conception par rapport à la variance minimale réalisable ( $\alpha / \alpha^*$ ).
2. Regret de Biais : Le ratio du carré du pire biais induit par la conception par rapport au pire biais minimal réalisable ( $\beta / \beta^*$ ).
  $R = \max \left\{ \frac{\alpha}{\alpha^*}, \frac{\beta}{\beta^*} \right\}$

Cette formulation offre un compromis biais-variance transparent. La conception optimale égalise les regrets de variance et de biais normalisés, évitant ainsi au chercheur de devoir spécifier une limite stricte sur le biais.

Principales Contributions et Résultats

Caractérisation Nouvelle du Regret : L'article fournit une caractérisation inédite montrant que, pour les estimateurs linéaires, le pire regret proportionnel est une fonction quasi-convexe de le rayon de biais. Cela permet de résoudre le problème d'optimisation efficacement comme un problème convexe (pour des conceptions fixes) ou un programme convexe de type mélange entier (lorsqu'on choisit parmi des expériences discrètes). Cela contraste avec les estimateurs non linéaires sous des conceptions fixes, où l'optimisation nécessite souvent de résoudre sur les pires priors et manque de quasi-convexité.
Allocation de Neyman « Sensible au Biais » : La solution optimale généralise l'allocation de Neyman standard. Alors que l'allocation de Neyman standard minimise la variance, l'allocation proposée « sensible au biais » ajuste les tailles d'échantillon et la sélection d'expériences en fonction de la sensibilité de l'estimand cible aux biais potentiels. Si le biais domine, la conception donne la priorité aux paramètres ayant une haute sensibilité ; si la variance domine, elle investit dans la réduction du bruit d'échantillonnage.
Extension aux Audiences Bayésiennes : Le cadre est étendu à des contextes où les chercheurs rapportent des statistiques à une audience bayésienne qui met à jour ses propres priors. Les auteurs montrent que la solution à regret linéaire dérivée pour les estimateurs fixes sert d'objectif substitut valide (borne supérieure) pour le regret de l'audience sous des priors gaussiens, offrant des garanties de robustesse même lorsque l'audience utilise des règles de mise à jour non linéaires.
Équivalence à la Conception d'Intervalle de Confiance : Les auteurs démontrent que minimiser le regret proportionnel basé sur la longueur de l'intervalle de confiance produit la même conception et le même estimateur que la minimisation du regret basé sur la MSE, renforçant ainsi la robustesse de l'approche.
Illustration Empirique : Le cadre est appliqué à un programme de transfert monétaire au Kenya, combinant de nouvelles preuves expérimentales avec des données externes du programme Progresa au Mexique.
- Configuration : L'objectif est d'estimer les effets d'équilibre général (réponses de la scolarisation aux revenus, aux allocations et aux salaires).
- Comparaison : La conception optimale en termes de regret est comparée aux conceptions standard (Neyman) minimisant la variance.
- Résultats : La conception optimale en termes de regret sélectionne un programme d'emploi (choc salarial) plutôt que des transferts monétaires pour des tailles d'échantillon typiques, alors que les conceptions standard favorisent les transferts monétaires. La conception optimale en termes de regret réduit considérablement le regret de biais (sensibilité à la spécification) avec un coût modeste en regret de variance. Elle maintient un faible regret global sur une large gamme de magnitudes de biais, tandis que les conceptions standard souffrent d'un regret élevé lorsque la validité externe est compromise.

Signification et Revendications
L'article affirme fournir un cadre pratique, transparent et calculablement traitable pour concevoir des expériences lorsqu'une identification complète est impossible sans données externes.

Praticité : La méthode repose uniquement sur des informations typiquement disponibles pour les calculs de puissance conventionnels (matrices de variance-covariance et gradients de sensibilité) et ne nécessite pas que les chercheurs spécifient des bornes de biais arbitraires.
Robustesse : En optimisant contre un oracle qui connaît le biais, l'approche protège contre la pire spécification tout en utilisant la précision des données observationnelles.
Fondement Théorique de la Décision : Ce travail relie la conception expérimentale à une longue tradition de théorie de la décision, offrant une solution qui équilibre le biais et la variance d'une manière que les critères de regret additif ou minimax standard (qui privilégient souvent le biais de manière lexicographique) ne font pas.

Les auteurs présentent cela comme une évolution nécessaire de la conception expérimentale en économie, où l'extrapolation de petits essais vers des questions de politique publique à grande échelle est courante mais empreinte d'incertitude concernant la validité externe. Le cadre permet aux chercheurs de quantifier et de gérer explicitement le compromis entre apprendre davantage sur des mécanismes spécifiques par l'expérimentation versus s'appuyer sur des estimations externes potentiellement biaisées mais précises.

Le dilemme du grand détective : quand les indices mentent

La solution du papier : la boussole du « Regret »

Comment cela fonctionne dans le monde réel

Ce que le document dit et ne dit pas

La conclusion à retenir

Articles similaires