📊 statistics

Real vs. Semi-Simulated: Rethinking Evaluation for Treatment Effect Estimation

Cet article révèle une rupture critique entre la recherche méthodologique et l'application pratique dans l'estimation des effets de traitement, démontrant que les métriques contrefactuelles et les benchmarks semi-simulés ne parviennent pas à prédire de manière fiable les performances des modèles sur des données réelles, plaidant ainsi pour un virage vers des métriques observables et une validation sur des données réelles.

Auteurs originaux : George Panagopoulos

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : George Panagopoulos

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de déterminer lequel de deux engrais différents fait pousser les plantes le plus grand. Vous avez une équipe de scientifiques (les chercheurs) et une équipe d'agriculteurs (les praticiens du monde réel).

Ce papier soutient que les scientifiques et les agriculteurs jouent à deux jeux complètement différents, en utilisant des règles distinctes, et qu'ils ne réalisent pas qu'ils parlent de choses différentes.

Voici la décomposition des conclusions du papier à l'aide d'analogies simples :

1. Les Deux Livres de Règles Différents

Dans le monde de l'« Apprentissage Automatique Causal » (utiliser l'IA pour déterminer l'effet d'un traitement, comme un médicament ou un courriel marketing), il existe deux façons de juger si un modèle est bon :

Le Livre de Règles du Scientifique (Benchmarks Semi-Simulés) :
Imaginez que les scientifiques sont dans un laboratoire. Ils font pousser des plantes dans un environnement contrôlé où ils savent exactement ce qui se serait passé s'ils avaient utilisé l'Engrais A et ce qui se serait passé s'ils avaient utilisé l'Engrais B. Parce qu'ils connaissent les deux résultats, ils peuvent calculer la différence « parfaite ». Ils utilisent une métrique appelée PEHE (Précision de l'Estimation des Effets Hétérogènes).
- L'Analogie : C'est comme un jeu vidéo où les développeurs connaissent le « code de triche » pour le score parfait. Ils jugent l'IA en fonction de sa proximité avec ce score parfait et connu.
Le Livre de Règles de l'Agriculteur (Données du Monde Réel) :
Les agriculteurs sont dans le champ réel. Ils ne peuvent voir que ce qui est arrivé aux plantes qu'ils ont réellement traitées. Ils ne voient jamais ce qui se serait passé s'ils avaient choisi l'autre engrais. Ils ne peuvent pas mesurer la « différence parfaite ». À la place, ils jugent l'IA sur la base des résultats observables : « L'IA nous a-t-elle aidés à choisir les 20 % de plantes les meilleures à traiter ? » ou « La récolte totale a-t-elle augmenté ? »
- L'Analogie : C'est comme un match de sport réel. Vous ne savez pas ce qui aurait pu se passer si le joueur avait pris un tir différent ; vous savez seulement si le but a été marqué. Vous jugez le joueur sur son bilan victoires/défaites, et non sur une « parfaite exécution » théorique.

2. Le Grand Décalage (Le « Mismatch des Métriques »)

Le papier a mené une expérience massive (la plus grande de son genre) pour voir si les « Vainqueurs du Labo » étaient aussi les « Vainqueurs du Champ ».

La Découverte Choc :
Les modèles qui ont gagné le « Jeu du Labo » (en utilisant les codes de triche parfaits) n'étaient souvent pas les modèles qui ont gagné le « Jeu du Champ ».

L'Analogie : Imaginez un ordinateur d'échecs qui est le champion du monde incontesté dans une simulation où il connaît les 10 prochains coups de son adversaire. Mais lorsque vous mettez ce même ordinateur dans un tournoi réel contre un humain, il perd lamentablement.
La Preuve du Papier : Lorsque les chercheurs ont examiné les données, ils ont constaté que le « meilleur » modèle selon le score parfait du Labo (PEHE) était souvent classé très bas selon les métriques réelles de l'Agriculteur (comme « Up@20 » ou « Qini »). En fait, choisir le Vainqueur du Labo entraînait souvent un « regret » (une perte de performance) lorsqu'il était appliqué à des données réelles.

3. Le Problème du « Faux Champ »

Les scientifiques utilisent souvent des données « Semi-Simulées ». Ce sont des données réelles où ils font semblant de connaître les contrefactuels (les « et si ») en inventant les chiffres manquants basés sur des hypothèses mathématiques.

La Découverte :
Même lorsque les scientifiques utilisaient les mêmes métriques du monde réel (comme le classement) sur ces « Faux Champs », les résultats ne correspondaient pas aux résultats des vrais champs réels.

L'Analogie : C'est comme tester une voiture sur une piste parfaite, lisse et générée par ordinateur. La voiture semble incroyable. Mais lorsque vous conduisez cette même voiture sur une vraie route avec des nids-de-poule et de la pluie, elle se comporte complètement différemment. Le « Faux Champ » crée un classement de voitures qui ne se traduit pas sur la « Vraie Route ».

4. Le Vainqueur Surprise : Les Modèles « Simples »

Le papier a examiné de nombreux modèles d'IA complexes et sophistiqués (comme des réseaux de neurones spécialisés conçus uniquement pour cela).

La Découverte :
Les modèles sophistiqués et spécialisés ont souvent perdu. Les vainqueurs étaient généralement des modèles simples et robustes (comme des « Meta-Learners » standards associés à des outils de base puissants comme XGBoost).

L'Analogie : Dans la course entre une voiture de Formule 1 haute technologie et aérodynamique (les modèles causaux spécialisés) et un solide et fiable camionnette (les meta-learners simples), le camionnette continuait de gagner dans le monde réel. La voiture de Formule 1 était excellente sur la piste d'essai, mais le camionnette gère mieux le terrain réel.

5. La Conclusion : Arrêtez de Tricher, Commencez à Tester

Les auteurs concluent que le domaine de la recherche est actuellement « brisé » car il récompense les modèles qui sont bons pour résoudre une énigme théorique (le Jeu du Labo) plutôt que les modèles qui fonctionnent réellement dans le monde réel (le Jeu du Champ).

L'Enseignement : Nous ne pouvons pas simplement regarder le « Score Parfait » (PEHE) sur un ensemble de données simulé et dire : « C'est le meilleur modèle ». Nous devons également tester ces modèles sur des données réelles en utilisant des objectifs du monde réel (comme le classement ou le profit total).
L'Appel à l'Action : Les chercheurs doivent cesser de traiter le « Jeu du Labo » comme la seule vérité. Ils doivent inclure des « Tests sur le Terrain » (données réelles et métriques observables) pour s'assurer que leurs modèles fonctionnent réellement lorsqu'ils sont déployés.

En bref : Le fait qu'un modèle semble parfait dans une simulation où nous connaissons la réponse ne signifie pas qu'il sera le meilleur choix lorsque nous ne connaissons pas la réponse dans le monde réel. Le papier nous exhorte à cesser de nous fier uniquement à la simulation et à commencer à tester dans le monde réel.

Résumé technique : Réel vs. Semi-simulé : Repenser l'évaluation pour l'estimation de l'effet du traitement

Énoncé du problème

Le domaine de l'apprentissage automatique causal (Causal ML) fait face à un désalignement critique entre les pratiques d'évaluation de la recherche et les exigences du déploiement réel. Alors que la recherche académique repose principalement sur des benchmarks semi-simulés et des métriques contrefactuelles (par exemple, $\sqrt{PEHE}$ ) nécessitant des résultats potentiels de vérité terrain, les applications industrielles opèrent dans des conditions où seuls des résultats observables sont disponibles. Dans des contextes réels, le résultat contrefactuel (ce qui se serait produit sous un traitement différent) est par définition non observé. Par conséquent, les praticiens doivent s'appuyer sur des métriques observables telles que la performance de classement (par exemple, les courbes d'uplift) ou les résultats de test factuels.

Le problème central abordé est de savoir si les régimes d'évaluation utilisés dans les articles méthodologiques prédisent de manière fiable la performance des modèles dans des scénarios de déploiement. Plus précisément, les auteurs examinent si les modèles sélectionnés comme « meilleurs » par des métriques contrefactuelles sur des données semi-simulées se transfèrent efficacement vers des jeux de données réels lorsqu'ils sont évalués à l'aide de métriques observables.

Méthodologie

Les auteurs mènent une étude empirique à grande échelle impliquant 117 instances de benchmark, comprenant 112 jeux de données semi-simulés et 5 jeux de données réels. Les tailles d'échantillon varient de quelques centaines à près de 14 millions (Criteo-ITE).

Estimateurs évalués

L'étude évalue un pool complet d'estimateurs, incluant :

Meta-learners : Learners S, T, X, R et Doubly Robust (DR) [Künzel et al., 2019 ; Nie et Wager, 2021].
Base Learners : Régression linéaire/logistique (LR), XGBoost (XGB) et Perceptrons multicouches à deux couches (NN).
Architectures spécialisées : TARNet, CFR, DragonNet et Forêts causales.

Métriques d'évaluation

Les auteurs comparent trois familles de métriques :

Basées sur le contrefactuel (Oracle) : $\sqrt{PEHE}$ , Valeur de la politique et $\Delta$ ATE(Sim). Elles nécessitent l'accès aux deux résultats potentiels et sont limitées aux contextes semi-simulés.
Basées sur le résultat observable : Perte factuelle et $\Delta$ ATE (mesurant l'écart entre les effets de traitement moyens prédits et empiriques).
Basées sur le classement observable : Up@20, score Qini et RATE AUTOC. Elles évaluent la capacité du modèle à prioriser les unités pour le traitement sur la base de données observées.

Conception expérimentale

L'étude aborde deux questions principales :

Q1 (Transfert de métrique) : Les métriques contrefactuelles sur des données semi-simulées induisent-elles les mêmes classements de modèles que les métriques observables ?
Q2 (Transfert de jeu de données) : Les classements obtenus sur des benchmarks semi-simulés se transfèrent-ils aux jeux de données réels ?

Les auteurs utilisent le $\tau$ de Kendall et les tests de rangs signés de Wilcoxon pour quantifier l'accord entre les classements induits par les métriques. Ils effectuent également une étude de cas appariée utilisant le jeu de données Criteo (réel) et Criteo-ITE (variante semi-simulée dérivée de la même source) pour isoler l'effet du régime d'évaluation des différences de covariables.

Résultats clés

1. Déconnexion des métriques (Q1)

L'étude révèle que les métriques contrefactuelles ne récupèrent pas de manière fiable les estimateurs préférés par les métriques observables, même sur les mêmes benchmarks semi-simulés.

Divergence de classement : Les modèles sélectionnés comme « meilleurs » par $\sqrt{PEHE}$ encourrent souvent un regret substantiel lorsqu'ils sont évalués sur des métriques de classement comme Up@20 ou Qini. Par exemple, l'estimateur sélectionné par $\sqrt{PEHE}$ se classait en moyenne 13e sous Up@20.
Significativité statistique : L'accord entre les métriques de classement est significativement plus élevé (moyenne $\tau = 0,355$ ) que l'accord entre les métriques de classement et les métriques contrefactuelles (moyenne $\tau = 0,256$ ).
Implication : Traiter les métriques contrefactuelles comme l'étalon-or pour la sélection de modèles peut conduire à choisir des estimateurs sous-optimaux pour des objectifs orientés vers le déploiement.

2. Non-transférabilité des jeux de données (Q2)

Les classements obtenus sur des benchmarks semi-simulés ne se transfèrent pas aux jeux de données réels, même lors de l'utilisation de métriques observables identiques.

Gagnants incohérents : Les méthodes qui dominent les benchmarks semi-simulés (par exemple, DragonNet, DR-LR sur IHDP) échouent souvent à apparaître dans les premiers rangs des jeux de données réels.
Changements de rang : Il existe une dispersion significative dans les changements de rang ( $\Delta$ Rank) entre les données semi-simulées et réelles. Par exemple, les estimateurs basés sur R et DR s'améliorent souvent dans les classements sur données réelles, tandis que les learners T et X peuvent se détériorer.
Étude de cas appariée : Même dans l'étude appariée Criteo (mêmes covariables et affectations de traitement, génération de résultats différente), l'ordre global des estimateurs a changé entre les contextes contrefactuel (Criteo-ITE) et observable (Criteo).

3. Observations pratiques

Dominance des Base Learners : Les meta-learners simples couplés à des fondations prédictives puissantes (spécifiquement XGBoost) sont constamment compétitifs à travers les régimes. T(XGB), X(XGB) et S(XGB) dominent les classements globaux.
Modèles spécialisés : Les architectures neuronales spécialisées (par exemple, DragonNet, CFR) sous-performent généralement par rapport aux meta-learners simples avec des fondations tabulaires, sauf lorsqu'ils sont évalués spécifiquement sous des métriques contrefactuelles semi-simulées.

Signification et affirmations

L'article soutient que le domaine de l'estimation de l'effet du traitement fait face à la fois à un problème de métrique et à un problème de jeu de données.

Réévaluation des protocoles d'évaluation : Les auteurs affirment que les progrès en Causal ML ne devraient pas être évalués uniquement par des métriques contrefactuelles de type oracle et des benchmarks semi-simulés. Ces régimes peuvent récompenser des méthodes dont les biais inductifs s'alignent sur les mécanismes de simulation plutôt que sur l'affectation du traitement ou le bruit des résultats dans le monde réel.
Besoin de validation sur données réelles : L'étude plaide pour l'intégration de métriques observables et de validations sur données réelles afin de combler le fossé entre la recherche et le déploiement.
Normes de benchmarking : Les auteurs suggèrent que les articles méthodologiques devraient inclure des meta-learners simples avec des fondations prédictives puissantes (comme XGBoost) comme lignes de base, car les modèles causaux spécialisés échouent souvent à les surpasser dans des contextes observables orientés vers le déploiement.

L'article conclut que si les benchmarks semi-simulés sont utiles pour le stress-test et l'analyse contrôlée, ils sont insuffisants en tant que guides autonomes pour les applications pratiques. Les travaux futurs devraient se concentrer sur le développement de protocoles d'évaluation qui connectent mieux l'évaluation contrefactuelle de type oracle aux critères observables orientés vers le déploiement.