Résumé Technique : IV-ICL

Énoncé du Problème

L'estimation des effets causaux à partir de données observationnelles est souvent entravée par des facteurs de confusion non observés, rendant impossible l'identification ponctuelle de l'effet du traitement. Dans de tels scénarios, l'approche standard est l'identification partielle, qui vise à caractériser l'ensemble des effets causaux compatibles avec les données observées sous des hypothèses structurelles plus faibles, généralement en utilisant le modèle de Variable Instrumentale (VI).

Les méthodes existantes pour l'identification partielle se heurtent à cinq limitations critiques (étiquetées L1–L5 dans l'article) :

1. Dépendance aux formes closes (L1) : Les approches traditionnelles (par exemple, les bornes de Balke-Pearl) nécessitent de dériver des estimands de bornes sous forme close en résolvant des programmes linéaires. Ce processus doit être résolu à nouveau pour chaque nouveau contexte (discrétisé vs continu, différentes structures de graphes).
2. Complexité de la conception de l'estimateur (L2) : Même lorsque des bornes sous forme close existent, la construction d'estimateurs précis à faible variance pour des covariables de haute dimension nécessite une conception manuelle et spécifique au problème.
3. Sous-dispersion dans l'inférence bayésienne (L3) : L'inférence bayésienne standard (MCMC ou Inférence Variationnelle) appliquée directement aux effets causaux échoue souvent dans des contextes partiellement identifiables. Comme la vraisemblance est plate le long des directions non identifiables, l'Inférence Variationnelle (IV) minimise la divergence de Kullback-Leibler (KL) « exclusive », ce qui provoque l'effondrement de la distribution a posteriori sur un seul mode et empêche de couvrir l'ensemble identifié réel.
4. Sensibilité à l'a priori (L4) : Dans les directions non identifiables, la distribution a posteriori est entièrement dictée par l'a priori. Si le support de l'a priori est trop étroit, les bornes résultantes sont invalides ou excessivement optimistes.
5. Infaisabilité computationnelle (L5) : L'inférence bayésienne classique nécessite de relancer le processus d'inférence depuis zéro pour chaque nouvel ensemble de données, rendant l'analyse à grande échelle prohibitivement coûteuse.

Méthodologie : IV-ICL

Les auteurs proposent IV-ICL (Variables Instrumentales via l'Apprentissage en Contexte), une méthode d'inférence bayésienne amortisée qui apprend directement la distribution marginale a posteriori de l'effet causal, en dérivant les bornes comme des quantiles de cette distribution.

Mécanisme Central

Au lieu de résoudre des problèmes d'optimisation ou d'exécuter des MCMC par jeu de données, IV-ICL entraîne un modèle Transformer pour mapper directement un jeu de données d'entrée vers la distribution marginale a posteriori de l'Effet Moyen du Traitement sur l'Échantillon (SATE).

• Inférence Amortisée : Un seul Transformer est pré-entraîné sur une vaste bibliothèque de jeux de données synthétiques. Au moment de l'inférence, un nouveau jeu de données est fourni comme « contexte », et le modèle produit la distribution a posteriori en une seule passe avant.
• Objectif KL Inclusif : La fonction de perte d'entraînement est la négative du logarithme de la vraisemblance du SATE réel étant donné le jeu de données. Théoriquement, minimiser cette perte équivaut à minimiser la divergence de Kullback-Leibler (KL) inclusive attendue entre la vraie distribution marginale a posteriori et la distribution prédite par le modèle.
  • Contrairement au KL « exclusif » minimisé par l'IV standard (qui cherche un seul mode), le KL inclusif est un objectif de « couverture de masse ». Il force le modèle à attribuer une densité positive à toute région où la vraie distribution a posteriori possède une masse. Cela empêche l'effondrement de la distribution a posteriori et garantit que l'intervalle estimé couvre l'ensemble identifié entier.

Génération de Données A Priori

Pour satisfaire l'exigence de couverture de masse et répondre à la sensibilité à l'a priori (L4), les auteurs conçoivent un a priori spécifique sur les Processus de Génération de Données (PGD) synthétiques :

1. Diversité : Ils génèrent un ensemble riche de jeux de données tabulaires à l'aide de réseaux de neurones pour assurer une couverture de distributions de caractéristiques diverses.
2. Contraintes VI : Le processus de génération impose strictement les hypothèses VI (Cohérence, Positivité, Restriction d'Exclusion et Non-confusion de l'Instrument).
3. Support Étendu : Une étape de post-traitement décale les logits des résultats potentiels pour s'assurer que la distribution induite des SATEs s'étend sur une large plage (par exemple, $[-1, 1]$), empêchant le modèle d'hériter d'un biais vers zéro ou des intervalles étroits.

Conversion des Benchmarks RCT vers VI

Pour évaluer les méthodes sur des données réalistes où les effets causaux réels sont connus, les auteurs proposent une procédure pour convertir des données d'Essai Contrôlé Randomisé (RCT) en benchmarks VI :

1. Division des Covariables : Les covariables observées ($O$) et les facteurs de confusion cachés ($U$) sont séparés des données RCT.
2. Instrument Synthétique : Un instrument $Z$ est généré uniquement à partir de $O$.
3. Traitement Synthétique : Un traitement $T$ est généré à partir de $O$, $U$ et $Z$, introduisant une confusion via $U$ et une pertinence via $Z$.
4. Acceptation-Rejet : Les échantillons ne sont conservés que si le traitement synthétique correspond à l'attribution du traitement RCT originale.
   Cette procédure préserve la distribution des résultats RCT originale et l'effet causal réel tout en créant un problème d'estimation VI valide.

Contributions Clés

1. Innovation Méthodologique : Une méthode qui élimine le besoin d'estimands de bornes sous forme close (L1) et amortit l'inférence en une seule passe avant, peu coûteuse en calcul (L2, L5).
2. Objectif d'Entraînement : L'utilisation d'un objectif KL inclusif (via l'apprentissage amortisé) pour résoudre le problème de sous-dispersion (L3) inhérent à l'inférence variationnelle standard pour l'identification partielle.
3. Conception de l'A Priori : Un a priori polyvalent sur des PGD synthétiques compatibles avec les VI et à support étendu, permettant un meilleur transfert et une meilleure généralisation (L4).
4. Cadre d'Évaluation : Une procédure théoriquement justifiée pour convertir les RCT en benchmarks VI avec des effets causaux réels préservés, permettant une évaluation réaliste des méthodes d'identification partielle.
5. Validation Empirique : Démonstration que IV-ICL produit des intervalles plus fiables et informatifs que les bases de comparaison semi-paramétriques, bayésiennes et par insertion, avec un temps d'inférence 20 à 500 fois inférieur.

Résultats Expérimentaux

Les auteurs ont évalué IV-ICL sur des benchmarks entièrement synthétiques à résultats binaires et des benchmarks semi-synthétiques dérivés des RCT National Supported Work (Jobs) et Project STAR (taille de classe).

• Validité : IV-ICL a atteint une validité de 100 % (l'intervalle estimé contenait les bornes réelles ou l'effet causal réel) sur tous les benchmarks. En revanche, l'inférence bayésienne standard (utilisant un KL exclusif) est tombée à 0 % de validité sur les données synthétiques et à 25 % sur le benchmark Jobs en raison de la sous-dispersion.
• Informativité : Parmi les méthodes valides, IV-ICL a produit les intervalles les plus étroits. Par exemple, sur le benchmark Jobs, il était nettement plus étroit que les estimateurs par insertion et les estimateurs efficaces non paramétriques.
• Efficacité : IV-ICL était 20 à 500 fois plus rapide que les bases de comparaison. Alors que les bases de comparaison nécessitaient de quelques secondes à quelques minutes par jeu de données (en raison de l'optimisation ou des MCMC), IV-ICL nécessitait moins de 2 secondes par jeu de données (souvent <0,2 s) après le pré-entraînement.
• Force de l'Instrument : À mesure que la force de l'instrument augmentait, la largeur de l'intervalle de IV-ICL rétrécissait de manière monotone tout en maintenant une validité parfaite, démontrant la capacité du modèle à s'adapter au contenu informationnel des données.

Signification et Revendications

L'article revendique que IV-ICL résout les compromis fondamentaux de l'identification partielle : il fournit des bornes valides (couvrant l'ensemble identifié) sans le coût computationnel de l'optimisation par jeu de données ni l'instabilité de l'inférence bayésienne standard.

En tirant parti de l'apprentissage amorti en contexte avec un objectif de couverture de masse, la méthode évite les pièges de l'inférence variationnelle cherchant un mode. Les auteurs soulignent que bien que la méthode repose sur un a priori, l'objectif KL inclusif garantit que si l'a priori couvre le vrai processus de génération de données, les bornes résultantes sont robustes. La conversion RCT-to-VI proposée est mise en avant comme une contribution majeure permettant une évaluation rigoureuse et réaliste des méthodes d'identification partielle sur des structures de données du monde réel.

Les auteurs restent modestes concernant les limites, notant que des garanties fréquentistes formelles en cas de mismatch arbitraire entre l'a priori et les données ne sont pas encore établies et que l'implémentation actuelle gère les résultats continus via une discrétisation, laissant les contextes entièrement continus pour un travail futur.