Bias-robust causal inference for panel data

Imaginez que vous soyez un détective tentant de résoudre un mystère : « Cette nouvelle politique a-t-elle réellement changé des vies ? » Dans le monde réel, nous n'avons que rarement l'occasion de mener des expériences parfaites où nous actionnons un interrupteur et attribuons aléatoirement certaines personnes à l'obtention de la politique tandis que d'autres n'y ont pas droit. Au lieu de cela, nous devons examiner les données observationnelles désordonnées dont nous disposons déjà. Pour déterminer ce qui serait arrivé sans la politique (le « contrefactuel »), les statisticiens construisent des modèles — comme des machines à remonter le temps numériques — qui tentent de prédire le futur en se basant sur le passé. Ils utilisent souvent des mathématiques sophistiquées pour trouver des motifs cachés, comme une « tendance » ou un « facteur » commun qui affecte tout le monde, puis utilisent ces motifs pour deviner à quoi le groupe traité ressemblerait s'il n'avait jamais été traité. Le problème est que ces machines à remonter le temps ne sont pas parfaites. Si le modèle manque un motif caché ou se trompe de tendance, la prédiction est fausse. Les méthodes traditionnelles agissent souvent comme si elles étaient sûres à 100 % de leur prédiction, ignorant le fait que leur « machine à remonter le temps » pourrait être légèrement défectueuse, menant à des conclusions qui semblent confiantes mais qui sont en réalité fragiles.

Ce document présente une nouvelle façon plus prudente de mener ce travail de détective, spécifiquement pour les données qui suivent de nombreuses personnes ou lieux au fil du temps (appelées données de panel). L'auteur, Angelos Alexopoulos, soutient qu'au lieu de prétendre que nos prédictions sont parfaites, nous devrions admettre qu'elles pourraient être fausses et intégrer cette incertitude directement dans notre réponse finale. Voyez cela comme une prévision météorologique : au lieu de simplement dire « Il pleuvra à 14h00 », une méthode robuste au biais dit : « Il pleuvra à 14h00, mais si notre modèle se trompe, la pluie pourrait en fait commencer à 13h30 ou 14h30 ». Le document développe une méthode qui ajuste la prédiction en examinant les erreurs « résiduelles » dans les données et crée un filet de sécurité (un intervalle plus large) qui garantit que la véritable réponse se trouve à l'intérieur, même si le modèle n'est pas parfait.

La machine à remonter le temps et le filet de sécurité

Le document s'attaque à un casse-tête spécifique en économie et en sciences sociales : comment mesurer l'effet d'une politique quand nous ne pouvons pas mener d'expérience contrôlée. L'approche standard, comme la méthode du « Contrôle Synthétique Généralisé » (GSC), revient à essayer d'assortir la tenue d'une célébrité en recousant des morceaux de vêtements provenant d'un groupe de personnes ordinaires. Cela fonctionne bien si la célébrité et les personnes ordinaires partagent un style sous-jacent très similaire (facteurs). Mais si le modèle se trompe de style — par exemple, s'il manque une tendance subtile que seule la célébrité suit — la tenue « recousue » semble incorrecte, et l'effet estimé de la politique est biaisé. Pire encore, les méthodes traditionnelles calculent leur « confiance » comme si la couture était parfaite, ignorant le fait que le motif puisse être erroné.

L'auteur propose une méthode « robuste au biais ». Imaginez que vous essayiez de deviner le poids d'une boîte mystère. Vous avez une balance qui pourrait être légèrement décalée. Au lieu de simplement lire le chiffre et de dire : « Elle pèse 10 livres », vous dites : « Elle pèse 10 livres, mais ma balance peut être décalée de jusqu'à 2 livres, donc le poids réel se situe quelque part entre 8 et 12 livres ». La nouvelle méthode fait exactement cela pour les effets de politique. Elle prend la prédiction standard, vérifie à quel point le modèle pourrait se tromper (l'« erreur contrefactuelle »), puis ajoute une « marge de sécurité » au résultat final. Elle utilise un tour mathématique appelé optimisation « minimax », qui est comme un jeu où l'on cherche la meilleure estimation qui fonctionne même dans le pire scénario de l'erreur du modèle.

Ce que les simulations ont montré

Pour tester cette idée, l'auteur a réalisé des simulations informatiques — créant des mondes fictifs où la vraie réponse était connue pour être zéro (signifiant que la politique n'a rien fait). Dans ces simulations, la nouvelle méthode s'est révélée être un détective fiable. Lorsque la méthode standard du « Contrôle Synthétique Généralisé » tentait de deviner l'effet, elle était souvent incroyablement confiante mais totalement erronée, manquant la vraie réponse (zéro) presque tout le temps, surtout lorsque le modèle ne possédait pas assez de « facteurs » pour décrire les données. Dans un scénario où le modèle manquait une tendance clé, les intervalles de confiance de la méthode standard étaient si étroits qu'ils manquaient la vérité 100 % du temps.

En revanche, les intervalles de la nouvelle méthode étaient plus larges, mais ils attrapaient toujours la vraie réponse. C'était comme un filet de pêche qui est plus grand et plus lourd, mais qui ne laisse jamais s'échapper le poisson. Le document note que cela a un coût : les intervalles sont plus larges, ce qui signifie que l'estimation est moins précise. Cependant, l'auteur soutient qu'être légèrement moins précis mais réellement correct est bien mieux que d'être très précis mais faux. Dans les simulations, la nouvelle méthode a maintenu un taux de réussite de 100 % pour capturer la vérité, tandis que le taux de réussite de la méthode standard est tombé proche de zéro lorsque le modèle était légèrement imparfait.

Le test en conditions réelles : l'inscription le jour de l'élection

L'auteur a ensuite appliqué cette méthode à un cas réel : l'effet de l'inscription le jour de l'élection (EDR) sur le taux de participation électorale. Des études précédentes utilisant la méthode standard estimaient que l'EDR augmentait la participation d'environ 4,9 points de pourcentage. Lorsque l'auteur a appliqué la nouvelle méthode robuste au biais, l'estimation est restée très similaire (environ 4,99 points), mais le « filet de sécurité » était beaucoup plus large.

La partie la plus intéressante de ce test en conditions réelles était de vérifier combien d'erreur la méthode pouvait tolérer avant que la conclusion ne change. L'auteur a constaté que la conclusion (que l'EDR augmente la participation) restait valide même si l'erreur de prédiction du modèle était presque deux fois plus grande que les erreurs typiques observées dans les tests « placebo » (fausses expériences où la politique ne devrait pas avoir d'effet). Cependant, si l'erreur devenait trop énorme — spécifiquement, si le modèle était décalé d'un montant massif — la conclusion s'inversait. Le document souligne que si la méthode standard donne une plage étroite qui semble impressionnante, la nouvelle méthode admet : « Nous sommes assez sûrs que l'effet est positif, mais nous devons accepter la possibilité que notre modèle soit un peu décalé ».

L'essentiel

Ce document ne prétend pas avoir trouvé une solution miracle qui rend tous les modèles parfaits. Au lieu de cela, il propose une façon plus honnête de rapporter les résultats. Il suggère que lorsque nous utilisons des modèles complexes pour deviner ce qui serait arrivé, nous devrions explicitement tenir compte de la possibilité que notre supposition soit fausse. La nouvelle méthode échange un peu de précision contre beaucoup de fiabilité. Elle nous dit que, bien que nous ne puissions pas connaître l'erreur contrefactuelle exacte, nous pouvons fixer une limite sur l'ampleur de cette erreur et tout de même faire confiance à notre conclusion. En fin de compte, le document soutient qu'être transparent sur notre incertitude est la seule façon de savoir si une politique a fonctionné, plutôt que de simplement prétendre que notre machine à remonter le temps est sans faille.