Résumé technique : Étiquettes contrefactuelles synthétiques pour une inférence contrefactuelle conforme efficace (SP-CCI)

1. Définition du problème et motivation

L'article aborde le défi de la construction d'intervalles de prédiction fiables pour des résultats contrefactuels individuels dans des contextes présentant un déséquilibre de traitement. En inférence causale, pour une unité dotée de covariables $X$ et d'un traitement observé $T$, seul un résultat potentiel $Y(T)$ est observé, tandis que le résultat contrefactuel $Y(1-T)$ reste inobservé.

Les méthodes existantes, notamment l'Inférence Contrefactuelle Conforme (CCI) (Lei et Candès, 2021), fournissent des garanties de couverture marginale pour ces prédictions contrefactuelles. Cependant, la CCI repose sur des données d'étalonnage provenant du bras de traitement spécifique d'intérêt. Dans de nombreux scénarios réels (par exemple, des essais cliniques où les traitements coûteux sont rares, ou de la publicité en ligne avec une exposition sparse), l'ensemble de données pour le bras de traitement cible ($D_1$) est significativement plus petit que celui du bras témoin ($D_0$). Cette rareté conduit à des intervalles de prédiction excessivement conservateurs et larges, limitant l'utilité de l'inférence conforme dans la prise de décision à haut risque.

Bien que des données synthétiques générées par des modèles pré-entraînés puissent augmenter l'ensemble d'étalonnage rare, l'intégration directe de ces étiquettes synthétiques dans les procédures conformes standard compromet la validité statistique, car les résultats synthétiques sont des approximations biaisées de la vérité.

2. Méthodologie : Cadre SP-CCI

Les auteurs proposent l'Inférence Contrefactuelle Conforme Alimentée par des Données Synthétiques (SP-CCI), un cadre qui enrichit l'ensemble d'étalonnage avec des étiquettes contrefactuelles synthétiques tout en préservant les garanties de couverture marginale grâce à une procédure d'estimation débiaisée.

Composantes principales

1. Génération de données synthétiques :

   • La méthode utilise un modèle génératif contrefactuel pré-entraîné $\hat{P}_{Y(1)|X}$ (qui peut être un réseau de neurones ou un Grand Modèle de Langage) pour générer des étiquettes contrefactuelles synthétiques $\hat{Y}(1)$ pour les unités de l'ensemble de données témoin plus large $D_0$.
   • Cela crée un ensemble de données synthétique augmenté $\tilde{D}_1 = \{(X_i, \hat{Y}_i(1))\}_{i=1}^{n_0}$.

2. Estimation débiaisée de la non-coverage (Intégration PPI) :

   • Pour corriger le biais introduit par les étiquettes synthétiques, la SP-CCI adapte l'Inférence Alimentée par la Prédiction (PPI) (Angelopoulos et al., 2023a).
   • L'ensemble d'étalonnage $D_1$ (données traitées réelles) est utilisé pour « corriger » les estimations synthétiques. Plus précisément, les $n_0$ échantillons synthétiques sont partitionnés en $n_1$ groupes, chacun assigné à un échantillon traité réel $(X_i, Y_i) \in D_1$.
   • Un estimateur sans biais de la probabilité de non-coverage $\hat{L}_\eta$ est construit en utilisant une différence pondérée entre la perte sur les données synthétiques et la perte sur les données réelles :
     $$\hat{\ell}_{i,\eta} = \frac{1}{r} \sum_{j} \tilde{w}_j \ell_\eta(\tilde{X}_j, \tilde{Y}_j) - w_i [\ell_\eta(X_i, \hat{Y}_i) - \ell_\eta(X_i, Y_i)]$$
     où $w_i$ et $\tilde{w}_i$ sont des poids d'importance tenant compte des scores de propension et des probabilités de traitement.

3. Ensembles de prédiction contrôlés par le risque (RCPS) :

   • La méthode emploie des Ensembles de Prédiction Contrôlés par le Risque (RCPS) (Bates et al., 2021) pour sélectionner le paramètre d'élargissement de l'intervalle $\eta$.
   • Au lieu de garantir une couverture inconditionnelle, la SP-CCI assure que le risque de non-coverage est contrôlé avec une haute probabilité ($1-\delta$) sur le tirage des données d'étalonnage.
   • Le paramètre d'élargissement $\hat{\eta}$ est choisi de telle sorte que la borne supérieure de confiance de la probabilité de non-coverage estimée ne dépasse pas le niveau cible $\alpha$.

4. Gestion de la mauvaise spécification des poids :

   • Le cadre inclut des garanties théoriques pour les cas où les poids d'importance sont estimés plutôt que connus exactement. Il démontre que les garanties de couverture peuvent être maintenues en ajustant le paramètre d'élargissement pour tenir compte des bornes d'erreur des poids estimés.

3. Contributions clés

• Méthodologie : Introduction de la SP-CCI, qui intègre des données d'étalonnage réelles et synthétiques via un estimateur de non-coverage débiaisé, permettant d'utiliser des données de contrôle abondantes pour améliorer l'inférence pour les bras de traitement rares.
• Garanties théoriques : Preuve formelle que la SP-CCI atteint une couverture marginale à haute probabilité (contrôlée par le paramètre $\delta$) sous un pondérage d'importance exact et approximatif. L'article distingue cela de la couverture marginale inconditionnelle de la CCI standard, offrant un mécanisme de contrôle de « panne » réglable.
• Efficacité : Démonstration théorique et empirique que la SP-CCI produit des intervalles de prédiction significativement plus étroits que la CCI standard et le cadre GESPI (Bashari et al., 2025), en particulier lorsque des générateurs synthétiques de haute qualité sont disponibles.

4. Résultats expérimentaux

Les auteurs ont évalué la SP-CCI sur des données synthétiques (suivant Lei et Candès, 2021) et l'ensemble de données semi-synthétique IHDP (Hill, 2011), en la comparant à la CCI standard et à GESPI.

• Données synthétiques : La SP-CCI a produit de manière cohérente des intervalles de prédiction plus étroits que la CCI et GESPI tout en maintenant les garanties de couverture requises. La largeur de l'intervalle a diminué à mesure que la qualité du modèle génératif contrefactuel s'améliorait (Qualité Faible/Moyenne/Élevée).
• Ensemble de données IHDP :
  • La SP-CCI a atteint une Largeur Moyenne d'Intervalle de Prédiction (APIW) de 3,52 (étiquettes synthétiques de haute qualité) contre 20,24 pour la CCI standard.
  • Bien que GESPI avec une garde-fou relâchée puisse produire des intervalles plus étroits, il a souffert d'un taux élevé de violation de couverture (CVR) de 42 % lorsqu'il était resserré, le rendant inadapté aux scénarios à haut risque. La SP-CCI a maintenu un CVR faible (2–6 %) sur toutes les variantes.
  • La méthode a exploité avec succès un modèle pré-entraîné LLaMA-2-13B comme source générative, atteignant des performances compétitives malgré le fait que le modèle ait été entraîné en dehors de l'ensemble de données spécifique, démontrant une robustesse face aux décalages de distribution.
• Expériences supplémentaires :
  • Évaluation des politiques : Dans un scénario de transfert de main (handover) sans fil, la SP-CCI a fourni une quantification des performances plus précise (intervalles plus étroits) pour des politiques fixes par rapport à la CCI.
  • Déséquilibre extrême : Sur l'ensemble de données Twins avec un déséquilibre de traitement extrême (63 unités traitées contre 11 921 unités témoins), la CCI a produit des intervalles presque 20 fois plus larges que la SP-CCI pour maintenir la couverture. La SP-CCI a maintenu une couverture proche de la cible avec des intervalles nettement plus serrés.

5. Importance et affirmations

L'article affirme que la SP-CCI représente une avancée significative pour rendre l'inférence contrefactuelle conforme pratique pour les ensembles de données déséquilibrés. En exploitant efficacement les données synthétiques sans compromettre la validité statistique, la méthode adresse la « malédiction de la dimensionnalité » et la rareté des données inhérentes à l'inférence causale pour les traitements rares.

Les auteurs soulignent que la SP-CCI offre un compromis réglable entre la largeur de l'intervalle et la fiabilité de la couverture via le paramètre $\delta$, une fonctionnalité absente de la CCI inconditionnelle standard. Le travail démontre que des données synthétiques de haute qualité, lorsqu'elles sont correctement débiaisées, peuvent considérablement améliorer l'efficacité de l'inférence causale, la rendant plus applicable à des domaines réels tels que la médecine personnalisée et l'évaluation des politiques où les données de traitement sont souvent rares.

L'article conclut avec modestie, notant que les extensions aux traitements multi-bras, aux traitements continus et aux scénarios où aucun résultat potentiel n'est observé restent des problèmes ouverts pour les travaux futurs.