Résumé technique : Amortissement de l'analyse de sensibilité causale via des réseaux ajustés aux données a priori

1. Énoncé du problème

L'inférence causale à partir de données observationnelles repose sur l'hypothèse intestable de l'absence de confusion non observée. L'analyse de sensibilité causale répond à ce problème en fournissant des bornes sur les estimations de l'effet causal (par exemple, le résultat potentiel moyen conditionnel, CAPO) sous diverses hypothèses concernant l'intensité de la confusion non observée, paramétrée par un niveau de sensibilité $\Gamma$.

Les méthodes existantes pour calculer ces bornes sont intrinsèquement des procédures par instance. Pour toute modification de l'ensemble de données, de la requête causale, du bras de traitement ou du niveau de sensibilité $\Gamma$, une nouvelle optimisation, coûteuse en calcul, doit être instanciée. Cela limite l'application pratique de l'analyse de sensibilité, la reléguant souvent à une vérification finale plutôt qu'à un outil systématique pour explorer comment les conclusions varient selon les hypothèses. Le défi central consiste à remplacer ces optimisations répétées et coûteuses par un mécanisme d'inférence amorti et rapide capable de gérer divers ensembles de données et requêtes sans réentraînement.

2. Méthodologie

Les auteurs proposent une approche amortie utilisant des réseaux ajustés aux données a priori (PFN), une classe de modèles de fondation qui réalisent un apprentissage en contexte. La méthodologie se compose de trois composants principaux :

2.1. Tâche de prédiction amortie

Au lieu de résoudre un problème d'optimisation au moment du test, les auteurs entraînent un PFN pour apprendre une mapping depuis un ensemble de données $D_N$, une requête causale $(x, a)$ et un niveau de sensibilité $\Gamma$ directement vers les distributions prédictives a posteriori (PPD) des bornes de sensibilité inférieure et supérieure ($\theta^-$ et $\theta^+$).
$$D_N, x, a, \Gamma \longrightarrow \text{PPD}(\theta^-), \text{PPD}(\theta^+)$$
Cela permet au modèle de prédire des bornes pour de nouvelles entrées via un seul passage avant, évitant ainsi le besoin d'une optimisation par instance.

2.2. Construction générale de données a priori (Génération d'étiquettes)

Un obstacle critique dans l'entraînement des PFN pour l'analyse de sensibilité est que, contrairement à l'inférence causale à identification ponctuelle, les bornes de sensibilité ne sont pas directement disponibles à partir du processus générateur de données (DGP) ; elles doivent être calculées via une optimisation non triviale. Les auteurs introduisent une construction générale de données a priori applicable à la classe des modèles de sensibilité au traitement généralisés (GTSM), qui inclut le modèle de sensibilité marginale (MSM), les modèles de sensibilité $f$ et le modèle de sensibilité de Rosenbaum.

La construction implique :

1. Échantillonnage de MCD : Des modèles causaux structurels synthétiques (MCD) sont échantillonnés à partir d'une loi a priori $\Pi_S$ pour générer des ensembles de données observationnels.
2. Scalarisation lagrangienne : Pour générer les étiquettes d'entraînement ($\theta^-, \theta^+$) pour ces DGP synthétiques, les auteurs formulent le calcul des bornes comme un problème d'optimisation multicritère. Ils cherchent à arbitrer entre la minimisation/maximisation de l'effet causal et la minimisation de la violation de la contrainte du modèle de sensibilité.
   • L'objectif est scalarisé à l'aide d'un multiplicateur de Lagrange $\lambda$ :
     $$\mathcal{L}^\uparrow_\lambda(P) = Q(P(Y(a)|x)) - \lambda \Delta_{x,a}(P)$$
     $$\mathcal{L}^\downarrow_\lambda(P) = -Q(P(Y(a)|x)) - \lambda \Delta_{x,a}(P)$$
   • En balayant $\lambda$ de haut en bas, la méthode trace la frontière de Pareto des solutions dans le plan $(\Gamma, \theta)$.
3. Optimisation avec démarrage à chaud : Pour calculer efficacement la frontière de Pareto, les auteurs emploient une stratégie de démarrage à chaud où la solution pour un $\lambda$ donné initialise l'optimisation pour le $\lambda$ suivant. L'analyse théorique (Théorème 1) montre que, sous des hypothèses standard de convexité et de linéarité, ce balayage récupère l'intégralité de la frontière de Pareto.
4. Réduction de dimensionnalité : L'optimisation sur les distributions complètes est réduite à une optimisation traitable sur une seule distribution latente conditionnelle $P(U | x, A \neq a)$ en utilisant une construction de reparamétrisation, évitant ainsi le besoin d'une estimation de densité neuronale en deux étapes requise par les méthodes GTSM précédentes.

2.3. Entraînement du modèle de fondation

Le PFN est entraîné sur les paires de données a priori synthétiques (ensembles de données, requêtes, $\Gamma$) et les étiquettes de bornes de sensibilité calculées. L'architecture du modèle utilise un transformateur avec deux têtes de sortie (pour les bornes inférieure et supérieure), modélisant chacune une distribution de mélange gaussien pour fournir des prédictions conscientes de l'incertitude. Un régularisateur de monotonie douce est appliqué pour garantir que les bornes prédites se comportent correctement par rapport à $\Gamma$ (c'est-à-dire que les bornes s'élargissent lorsque $\Gamma$ augmente).

3. Contributions clés

1. Construction d'étiquettes de données a priori : Un schéma général pour générer des étiquettes d'entraînement pour les bornes de sensibilité en utilisant la scalarisation lagrangienne. Cette approche évite les dérivations analytiques spécifiques au modèle et récupère théoriquement l'intégralité de la frontière de Pareto sous des conditions de convexité.
2. Premier modèle de fondation pour l'analyse de sensibilité causale : L'entraînement d'un PFN qui agit comme un modèle de fondation pour l'apprentissage en contexte des bornes de sensibilité. Il prédit directement les PPD pour les bornes étant donné un ensemble de données, une requête et un niveau de sensibilité.
3. Validation empirique : Démonstration que l'approche amortie approxime avec précision les bornes de sensibilité dans divers contextes (y compris le modèle de sensibilité marginale) avec un temps de calcul au test des ordres de grandeur plus rapide que les méthodes par instance.

4. Résultats

• Précision : Sur des ensembles de données synthétiques retenus, le PFN correspond étroitement aux bornes analytiques pour le modèle de sensibilité marginale (MSM). Les intervalles prédictifs a posteriori sont bien calibrés, avec des taux de couverture empiriques (par exemple, 90,3 % pour la borne supérieure) proches des niveaux nominaux.
• Efficacité : L'approche amortie remplace les optimisations coûteuses par instance par un seul passage avant. Le temps d'inférence médian pour un passage avant par lots est d'environ 2,9 secondes, contre l'optimisation répétée requise par les méthodes existantes.
• Efficacité du démarrage à chaud : Les expériences montrent que la stratégie d'optimisation avec démarrage à chaud pour la génération d'étiquettes réduit le regret d'un facteur de 1,90 par rapport aux méthodes à démarrage froid tout en étant significativement plus rapide.
• Quantification de l'incertitude : Le modèle produit des distributions prédictives a posteriori complètes, fournissant des estimations conscientes de l'incertitude plutôt que de simples prédictions ponctuelles.

5. Importance et affirmations

L'article affirme présenter le premier modèle de fondation pour l'analyse de sensibilité causale. Son importance principale réside dans le changement de paradigme passant d'une analyse de sensibilité par instance, intensive en calcul, à un cadre amorti d'apprentissage en contexte.

• Impact pratique : En permettant une évaluation rapide de nombreuses requêtes causales et hypothèses de sensibilité, l'approche rend l'analyse de sensibilité viable comme outil pour la prise de décision systématique plutôt que comme une vérification finale et isolée.
• Généralité : La construction de données a priori n'est pas liée à un modèle de sensibilité spécifique, rendant l'approche largement applicable à la classe des GTSM.
• Limites : Les auteurs notent modestement que les performances dépendent de la couverture de la loi a priori synthétique par rapport aux données du moment du test. La construction théorique repose sur la convexité de la divergence de sensibilité et la linéarité de la requête causale. Actuellement, l'implémentation se concentre sur les traitements binaires et les résultats scalaires, et la génération d'étiquettes pour les modèles sans bornes sous forme fermée reste une approximation basée sur l'optimisation sujette au bruit de Monte Carlo.

En résumé, ce travail fournit une méthode fondée sur des principes pour « amortir » le coût computationnel de l'analyse de sensibilité causale, permettant une évaluation évolutive et systématique de la confusion non observée dans les études observationnelles.