Résumé Technique : Apprentissage de Répétition Non Paramétrique via les Embeddings de Moyenne Conditionnelle

1. Définition du Problème : Éviter un Futur Indésirable (AUF)

L'article aborde le problème d'Éviter un Futur Indésirable (AUF), un défi de prise de décision où un modèle prédit un résultat indésirable et doit identifier des actions efficaces pour l'empêcher. Contrairement aux tâches de prédiction standard, l'AUF nécessite d'optimiser une altération de décision $a$ sur des variables actionnables $A$ afin de maximiser la probabilité que le résultat cible $Y$ tombe dans une région désirée $S$ (par exemple, $P(Y \in S | X=x, \text{do}(A=a))$).

La difficulté centrale réside dans le biais de confusion inhérent aux données observationnelles. Les registres historiques contiennent souvent des facteurs non actionnables (confondants $U$) qui influencent à la fois les variables actionnables $A$ et les résultats $Y$. Par conséquent, la distribution sous une intervention active ($P(Y | X, \text{do}(A=a))$) diffère considérablement de la distribution conditionnelle observationnelle ($P(Y | X, A=a)$). Les solutions existantes, telles que le cadre d'apprentissage de répétition, ont largement reposé sur des hypothèses paramétriques restrictives (par exemple, des systèmes linéaires avec un bruit gaussien additif). Ces hypothèses limitent l'applicabilité dans des systèmes complexes et réels où les mécanismes de génération de données sont non linéaires et non additifs. De plus, les substituts heuristiques utilisés dans certaines extensions non linéaires s'écartent souvent de l'objectif AUF réel, conduisant à des décisions sous-optimales.

2. Méthodologie

Les auteurs proposent le premier cadre d'apprentissage de répétition non paramétrique pour l'AUF, qui évite de supposer des formes fonctionnelles spécifiques pour la génération de données. La méthodologie se compose de trois composants principaux :

A. Substitut Lisse pour la Désirabilité Discontinue

L'objectif AUF original implique la maximisation de la probabilité $P(Y \in S)$, qui repose sur une fonction indicatrice discontinue $I(Y \in S)$. Cette fonction est non différentiable et ne réside pas dans les Espaces de Hilbert à Noyau Reproducteur (RKHS) standards, rendant l'optimisation directe et l'estimation basée sur les noyaux intraitables.

• Solution : Les auteurs introduisent un substitut Probit lisse $w_\eta(y)$. Défini comme le produit des fonctions de distribution cumulative (CDF) de distributions normales standards pour chaque contrainte linéaire définissant le polytope convexe $S$, ce substitut approxime l'indicateur rigide.
• Avantage : $w_\eta(y)$ est $C^\infty$-continu, fournissant des gradients non nuls même en dehors de la région réalisable $S$, ce qui aide à l'optimisation lorsque les échantillons positifs sont rares. L'analyse théorique établit une borne d'erreur d'approximation de $O(\frac{\sqrt{\ln \eta}}{\eta})$.

B. Identifiabilité via les Embeddings de Moyenne Conditionnelle (CME)

Pour estimer la probabilité interventionnelle à partir de données observationnelles sans hypothèses paramétriques, la méthode exploite les Embeddings de Moyenne Conditionnelle (CME).

• Décomposition Structurelle : Les variables intermédiaires $Z$ sont décomposées en variables actionnables $A$, confondants non actionnables pré-altération $U$, et variables post-altération $U_{post}$.
• Identifiabilité : Les auteurs prouvent que l'objectif AUF lissé est identifiable à partir de la distribution observationnelle comme une espérance imbriquée :
  $$E_{Y \sim P(\cdot|x, \text{do}(a))}[w_\eta(Y)] = E_{U \sim P(\cdot|x)} [ E_{Y \sim P(\cdot|x, u, a)}[w_\eta(Y)] ]$$
  Cette formulation permet de calculer l'espérance interventionnelle en utilisant uniquement des données observationnelles en conditionnant sur les confondants $U$.

C. Estimateur de Régression Ridge à Noyau Imbriqué (KRR)

Les auteurs développent un estimateur imbriqué en deux étapes basé sur la Régression Ridge à Noyau pour calculer l'objectif :

1. Étape 1 (Espérance Intérieure) : Estimer l'espérance conditionnelle du substitut $w_\eta(Y)$ étant donné le contexte conjoint $(x, u, a)$. Cela est réalisé en estimant le CME de $Y$ étant donné $h=(x,u,a)$ dans le RKHS $\mathcal{H}_{k_y}$.
2. Étape 2 (Espérance Extérieure) : Estimer l'espérance du résultat de l'Étape 1 sur la distribution des confondants $U$ étant donné $x$. Cela implique d'estimer le CME de $U$ étant donné $x$ dans $\mathcal{H}_{k_x}$.

• Solution sous Forme Fermée : Sous l'hypothèse de noyaux décomposables, l'estimateur imbriqué se simplifie en une fonction linéaire de la carte de caractéristiques de l'action : $\hat{J}_\eta(a; x) = \omega(x)^T k_a(a)$. Le vecteur de poids $\omega(x)$ intègre la désirabilité historique et la pertinence du contexte tout en ajustant explicitement pour les confondants via la matrice de Gram du noyau de $U$.
• Optimisation : Un algorithme de descente de gradient projetée multi-démarrages est utilisé pour trouver l'altération optimale $a^*$, initialisée à des actions historiques ayant une utilité estimée élevée.

3. Contributions Clés

1. Cadre Non Paramétrique : La proposition de la première approche d'apprentissage de répétition non paramétrique pour l'AUF, capable de gérer des systèmes non linéaires et un bruit non additif sans dépendre de formes paramétriques spécifiques.
2. Garanties Théoriques :
   • Établissement de l'identifiabilité de l'objectif AUF lissé à partir de données observationnelles.
   • Déduction de bornes d'erreur à échantillon fini et de garanties de consistance pour l'estimateur KRR imbriqué.
   • Preuve que l'erreur d'approximation du substitut Probit s'annule lorsque le paramètre de lissage $\eta \to \infty$.
3. Validation Empirique : Évaluation sur des benchmarks synthétiques (linéaires et non linéaires) et un benchmark semi-synthétique dérivé de données réelles construit à partir des données NHANES 2011–2018 pour la gestion du diabète.

4. Résultats Expérimentaux

La méthode a été évaluée par rapport à plusieurs lignes de base, incluant des méthodes d'apprentissage de répétition paramétriques (QWZ23, MICNS, CARE) et une approche non paramétrique heuristique (Grad-Rh).

• Contextes Linéaires : Dans des contextes gaussiens additifs linéaires, la méthode proposée se comporte de manière comparable à CARE (qui est théoriquement optimale sous ces conditions spécifiques) et surpasse les autres lignes de base, malgré le fait qu'elle ne connaisse pas la forme paramétrique réelle.
• Contextes Non Linéaires : Dans des contextes synthétiques non linéaires et l'exemple de prêt bancaire, la méthode proposée surpasse significativement toutes les lignes de base, démontrant une adaptabilité supérieure aux mécanismes complexes.
• Benchmark NHANES : Sur le jeu de données semi-synthétique diabète, la méthode a amélioré la probabilité AUF d'une ligne de base de 0,402 (aucune action) à 0,596, surpassant toutes les autres méthodes d'action adaptées.
• Analyse de Confusion : Une étude de cas sur le scénario de prêt bancaire a démontré que les méthodes ne tenant pas compte de la confusion (utilisant des espérances conditionnelles pures) suggéraient des actions sous-optimales qui réduisaient en réalité la probabilité de succès par rapport à la ligne de base. L'estimateur imbriqué proposé a correctement identifié l'intervention optimale en modélisant explicitement la structure de confusion.

5. Signification et Revendications

L'article revendique que sa signification principale réside dans l'extension de l'apprentissage de répétition à des environnements complexes, non linéaires et non additifs où les hypothèses paramétriques traditionnelles échouent. En utilisant les Embeddings de Moyenne Conditionnelle et un objectif de substitut lisse, l'approche fournit une solution non paramétrique théoriquement fondée qui peut être apprise directement à partir de données observationnelles.

Les auteurs soulignent que leur méthode évite les pièges des substituts heuristiques (qui peuvent ne pas s'aligner avec l'objectif AUF réel) et les limites des modèles paramétriques (qui souffrent de mauvaise spécification du modèle). L'application réussie au benchmark diabète NHANES met en évidence le potentiel de ce cadre pour la prise de décision réelle à haut risque, telle que les interventions médicales et les prêts financiers, où l'exploration par essais et erreurs est prohibitive et où les données sont purement observationnelles. Ce travail établit une nouvelle référence pour la prise de décision dans l'incertitude sans nécessiter d'hypothèses structurelles fortes sur le processus de génération de données sous-jacent.