🤖 machine learning

Robust Counterfactual Policy Optimisation via Nondeterministic Causal Models

Cet article propose un nouveau cadre pour l'optimisation robuste de politiques contrefactuelles dans la prise de décision séquentielle en formalisant des modèles causaux probabilistes non déterministes qui distinguent le biais de confusion latent de la stochasticité inhérente, validé par une simulation de traitement du sepsis avec des facteurs de confusion cachés.

Auteurs originaux : Jessica Lally, Milad Kazemi, Nicola Paoletti, David Watson, Sander Beckers

Publié 2026-08-05

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jessica Lally, Milad Kazemi, Nicola Paoletti, David Watson, Sander Beckers

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à conduire une voiture, mais que vous n'avez qu'une vidéo de quelqu'un d'autre en train de conduire. Vous voulez demander : « Et si le robot avait pris un autre virage ? » C'est le cœur du raisonnement contrefactuel : regarder le passé et imaginer un résultat différent basé sur un choix différent. Dans le monde de l'intelligence artificielle, cela est crucial pour la sécurité, particulièrement dans des domaines comme la santé où nous ne pouvons pas simplement mener des expériences dangereuses sur de vrais patients pour voir ce qui se passerait.

Pour faire cela, les scientifiques utilisent des Processus de Décision Markoviens (MDP), qui sont comme des livres de règles pour comment un système change d'état (comme l'état de santé d'un patient) en fonction d'actions (comme administrer un médicament). Traditionnellement, les chercheurs supposaient que ces livres de règles étaient parfaitement prévisibles si l'on connaissait tous les secrets cachés (appelés variables latentes). Ils pensaient : « Si nous connaissions le code génétique caché du patient, nous pourrions prédire l'avenir exactement. » Cependant, la vie réelle est désordonnée. Parfois, les choses arrivent simplement de manière aléatoire — comme un lancer de pièce ou un bug dans une machine — que rien, pas même une connaissance cachée, ne peut prédire. Ce document traite de ce terrain intermédiaire délicat où les secrets cachés et le pur hasard façonnent l'avenir, en posant la question : « Comment prendre les meilleures décisions quand nous ne connaissons pas les secrets cachés, et que nous savons que le monde est un peu chaotique ? »

Le dilemme du détective : Résoudre le mystère de la variable manquante

Imaginez que vous êtes un détective essayant de résoudre un mystère à l'aide d'une machine du type « Et si ». Vous avez une vidéo d'un patient tombant malade, et vous voulez savoir : « Si nous lui avions administré un traitement différent, aurait-il survécu ? »

Par le passé, les détectives supposaient que la machine « Et si » fonctionnait comme un jouet mécanique parfait. Ils croyaient que s'ils connaissaient chaque rouage caché (comme un diabète non diagnostiqué chez un patient), ils pourraient remonter le temps et voir exactement ce qui se serait passé. Mais les auteurs de ce papier, Jessica Lally et son équipe, ont réalisé que la vie réelle n'est pas un jouet mécanique. Parfois, les rouages se bloquent simplement de manière aléatoire, ou une rafale de vent fait tomber un domino. C'est l'aléa inhérent.

Le papier soutient que nous ne pouvons pas prétendre que le monde est parfaitement prévisible simplement parce qu'il nous manque certaines informations. Au lieu de cela, nous avons besoin d'un nouveau type de travail de détective qui admet : « Nous ne connaissons pas les rouages cachés, et même si nous les connaissions, l'avenir pourrait toujours être un peu une surprise. »

Le nouvel outil : Un filet de sécurité « pire cas »

L'équipe introduit une nouvelle méthode appelée Optimisation de Politique Contrefactuelle Robuste. Considérez cela comme un filet de sécurité pour la prise de décision.

Habituellement, quand nous essayons de deviner ce qui se serait passé, nous pourrions nous tromper parce que nous ne connaissons pas le « facteur de confusion caché » (comme le statut diabétique du patient). Les auteurs proposent un cadre qui ne se contente pas de deviner un résultat ; il se prépare pour le pire résultat possible cohérent avec les données.

Ils utilisent un concept appelé analyse de sensibilité. Imaginez que vous devinez la météo. Si vous êtes sûr à 100 %, vous dites : « Il va pleuvoir. » Si vous n'êtes pas sûr, vous dites : « Il se peut qu'il pleuve, ou il se peut qu'il ne pleuve pas. » Les auteurs ajoutent un « cadran » (appelé $\Delta$ ) qui contrôle à quel point les secrets cachés pourraient perturber nos prédictions.

Si vous tournez le cadran sur 1, vous supposez qu'il n'y a pas de secrets cachés qui perturbent les choses.
Si vous tournez le cadran très haut, vous supposez que les secrets cachés pourraient causer n'importe quoi.

L'objectif est de trouver une politique (un ensemble de règles sur quoi faire) qui fonctionne bien même si les secrets cachés sont aussi complexes que possible. Ils appellent la recherche de cette politique une politique robuste. C'est comme préparer un sac à dos pour une randonnée : vous ne préparez pas seulement votre sac pour un temps ensoleillé ; vous préparez pour la pluie, la boue et une tempête soudaine, juste au cas où.

L'expérience : Le simulateur de septicémie

Pour tester leur idée, l'équipe a utilisé une simulation informatique de traitement de la septicémie. Dans ce jeu, un patient possède quatre signes vitaux (fréquence cardiaque, pression artieelle, oxygène et glucose) qui peuvent être bas, normaux ou élevés. Un médecin (ou une IA) doit décider s'il faut activer ou désactiver trois traitements différents.

Voici le piège : la simulation possède une variable cachée. Certains patients sont diabétiques, et d'autres ne le sont pas. Ce statut de diabète est le « facteur de confusion caché ». Il affecte la façon dont le patient réagit au traitement, mais l'IA ne voit que les signes vitaux, pas le statut de diabète. Dans cette simulation, 20 % des patients sont diabétiques.

Les chercheurs ont testé leur nouvelle méthode de « filet de sécurité » sur cette simulation. Ils ont demandé : « Pouvons-nous trouver un plan de traitement qui est meilleur que celui que nous avons vu dans les données, même si nous ne savons pas qui est diabétique ? »

Ce qu'ils ont trouvé

Les résultats étaient prometteurs, mais avec quelques nuances.

Cela fonctionne mieux que de simples suppositions : Lorsqu'ils ont testé leurs nouvelles politiques sur la version complète et parfaite de la simulation (où ils connaissaient qui était diabétique), les politiques qu'ils ont trouvées étaient souvent bien meilleures que les originales, qui étaient sous-optimales. Pour les patients diabétiques, la nouvelle politique a amélioré le résultat de 7,4 points en moyenne (sur une échelle où la mort est à -10 et la sortie de l'hôpital à 10).
Le « Proxy » est un peu prudent : L'équipe a dû deviner le niveau de trouble caché (le cadran $\Delta$ ) en utilisant uniquement les signes vitaux visibles. Pour les patients diabétiques, cette estimation était pile dans le mille. Mais pour les patients non diabétiques, la méthode était un peu trop prudente. Elle supposait que le trouble caché était plus fort qu'il ne l'était réellement. C'est comme un prévisionneur météo qui dirait « Il pourrait pleuvoir » alors qu'il fait en fait beau. Bien que cela conduise à un score légèrement inférieur dans la simulation, cela garantit que la décision est sûre.
Le test de l'« Oracle » : Les auteurs ont comparé leur méthode à un « Oracle » — une version parfaite de leur méthode qui connaissait le véritable niveau de trouble caché. Ils ont constaté que même sans connaître la vérité, leur méthode trouvait des politiques très proches des meilleurs choix de l'Oracle.

L'essentiel

Ce papier ne prétend pas avoir résolu le mystère des variables cachées pour toujours. Au lieu de cela, il offre une nouvelle façon plus sûre de demander « Et si ? » dans un monde qui est à la fois mystérieux et aléatoire.

En séparant les « secrets cachés » (comme le diabète) de l'« aléa pur » (comme un bug aléatoire), et en se préparant au pire scénario, les auteurs démontrent que nous pouvons toujours prendre des décisions intelligentes et robustes. Leur méthode suggère que même lorsque nous volons à l'aveugle concernant les facteurs cachés, nous pouvons toujours trouver des plans de traitement qui sont nettement meilleurs que le simple suivi des anciennes données imparfaites. C'est une étape vers une IA capable d'être assez humble pour admettre ce qu'elle ne sait pas, et assez intelligente pour planifier l'imprévu.

Résumé Technique : Optimisation de Politiques Contrefactuelles Robuste via des Modèles Causaux Nondéterministes

1. Énoncé du Problème

L'inférence contrefactuelle dans la prise de décision séquentielle cherche à déterminer quels résultats auraient eu lieu si une politique différente avait été exécutée, étant donné une trajectoire observée d'états, d'actions et de résultats. Cela est crucial dans des domaines critiques pour la sécurité comme la santé, où réitérer des expériences est souvent contraire à l'éthique ou irréalisable.

Les approches existantes de l'inférence contrefactuelle dans les processus de décision markoviens (MDP) modélisent généralement l'environnement comme un Modèle Structurel Causal Déterministe (SCM). Dans ce cadre, toute la randomité est attribuée à des variables latentes non observées ( $U$ ). Cependant, les MDP du monde réel sont intrinsèquement stochastiques ; la randomité provient souvent de deux sources distinctes :

Confusion Latente : Facteurs non observés (ex: génétique ou démographie du patient) qui influencent les transitions.
Stochasticité Irréductible : Randomité fondamentale du système (ex: générateurs de nombres aléatoires ou bruit agrégé) qui ne peut être réduite à des variables latentes.

Le papier traite le fossé où ces deux sources coexistent. Les SCM standards échouent à distinguer ces éléments, risquant d'attribuer par erreur la confusion latente à la confusion irréductible ou vice versa. Les auteurs proposent de formaliser l'optimisation de politiques contrefactuelles sous des Modèles Causaux Probabilistes Nondéterministes (PNSCM), qui permettent une stochasticité inhérente tout en bornant explicitement l'influence des confondeurs latents via une analyse de sensibilité.

2. Méthodologie

2.1 Modèles Causaux Probabilistes Nondéterministes (PNSCM)

Les auteurs modélisent l'environnement comme un PNSCM, remplaçant les équations structurelles déterministes par des distributions de probabilité conditionnelles. Une caractéristique clé des PNSCM est le raffinement actualisé (actualised refinement) : étant donné un réglage observé $(u, v)$ , la distribution conditionnelle $P_X$ est raffinée pour retourner déterministement le résultat observé $x$ lorsqu'elle reçoit les parents observés, tout en conservant sa nature probabiliste pour d'autres entrées. Cela capture la sémantique selon laquelle nous n'apprenons le mécanisme causal que de la configuration réelle, et non des possibilités contrefactuelles.

2.2 Cadre d'Analyse de Sensibilité

Pour gérer les confondeurs globaux non observés ( $U$ ) qui restent fixes tout au long d'une trajectoire, les auteurs emploient une approche d'analyse de sensibilité similaire à celle de Kausik et al. [2024].

Paramètre de Sensibilité ( $\Delta$ ) : L'influence de la variable latente $U$ $U$ est bornée par un paramètre $\Delta \ge 1$ $Δ \geq 1$ . Cela contraint le rapport des cotes (odds ratio) entre la probabilité de transition conditionnelle $P(s' | s, a, u)$ $P (s^{'} ∣ s, a, u)$ et la probabilité de transition marginale $P(s' | s, a)$ $P (s^{'} ∣ s, a)$ :
$\frac{1}{\Delta} \le \frac{\text{odds}(P(S' = s' | S = s, A = a, U = u))}{\text{odds}(P(S' = s' | S = s, A = a))} \le \Delta$
- $\Delta = 1$ : Pas de confusion (PNSCM entièrement spécifié).
- $\Delta \to \infty$ : Confusion maximale.

2.3 Calibration de la Sensibilité ( $\Delta$ )

Un défi majeur est de sélectionner $\Delta$ sans connaissance du domaine. Le papier propose une méthode fondée sur des principes pour dériver une borne supérieure pour $\Delta(s, a)$ à partir des variables d'état observées :

Variables Cachées : Pour chaque variable d'état observée $i$ , les auteurs calculent la distribution de transition $P(s' | s_{-i}, a)$ en marginalisant sur $i$ .
Calcul du Rapport des Cotes : Ils calculent le rapport des cotes maximal entre la transition complète et la transition marginalisée pour chaque variable.
Sélection de Proxy : La sensibilité $\Delta(s, a)$ est fixée comme le maximum de ces rapports à travers toutes les variables. Un facteur d'échelle $\Gamma$ peut être appliqué pour ajuster la rigueur de la borne.

2.4 Procédure d'Optimisation

L'objectif est de trouver une politique $\pi$ qui maximise la valeur contrefactuelle la plus défavorable $V^{CF}$ sous l'incertitude de $U$ .

Raffinement Actualisé dans les Contrefactuels : Pour une transition observée $(s_t, a_t, s_{t+1})$ , la probabilité de transition contrefactuelle $P^{CF}_t$ est un mélange : avec une probabilité $P(U=u|\tau)$ , la transition est déterministe (restant à $s_{t+1}$ ) ; sinon, elle suit la probabilité de transition optimisée $\tilde{P}$ .
Optimisation Découplée : Pour rendre le problème traitable, les auteurs découplent l'optimisation à travers les pas de temps et les paires état-action, traitant chaque triple $(t, s, a)$ indépendamment. Cela produit une borne inférieure conservatrice sur la véritable valeur pessimiste.
Formulation Adversaire : L'optimisation implique un adversaire qui sélectionne conjointement la distribution a posteriori $P(U|\tau)$ et les probabilités de transition $\tilde{P}$ pour minimiser la valeur, sous réserve des contraintes de sensibilité. Ce problème non convexe est résolu à l'aide de Gurobi.
Homogénéité Temporelle : Le papier note que l'incorporation de l'homogénéité temporelle (exigeant des transitions cohérentes à travers le temps) crée un couplage trilinéaire soluble par descente de gradient, bien que cela ne garantisse que des minima locaux.

3. Évaluation Expérimentale

L'approche a été validée sur un Simulateur de Traitement du Sepsis (Oberst et Sontag, 2019).

Configuration : L'espace d'état inclut des signes vitaux (fréquence cardiaque, pression artérielle, etc.). L'espace d'action consiste à activer/désactiver des traitements.
Confondeur : Le statut de diabète ( $U \in \{0, 1\}$ ) agit comme un confondeur latent global, affectant 20 % de la population. La matrice de transition réelle $P(S' | S, A, U)$ est connue pour l'évaluation mais cachée lors de la dérivation de la politique.
Données : La méthode utilise des trajectoires générées par une politique sous-optimale (optimale avec une probabilité de 0,5, sinon aléatoire) sur la matrice de transition marginalisée (où le diabète est caché).

Résultats Clés

Amélioration Robuste : Les politiques contrefactuelles dérivées ( $\pi^*_\Delta$ ) ont systématiquement surpassé la politique observée sous-optimale lors de l'évaluation sur le MDP pleinement observé (où le diabète est connu).
Précision du Proxy :
- Pour les trajectoires diabétiques, le proxy non mis à l'échelle ( $\Gamma=1$ ) correspondait étroitement à la performance "oracle" (le meilleur résultat possible si la véritable sensibilité $\Delta^*$ était connue).
- Pour les trajectoires non diabétiques, le proxy était conservateur (surestimant la confusion), conduisant à des estimations de valeur inférieures à l'oracle. Cependant, les politiques résultantes restaient proches de la performance de l'oracle, démontant que la méthode récupère des politiques robustes même lorsque les estimations de valeur sont conservatrices.
Sensibilité à $\Gamma$ : L'ajustement du facteur d'échelle $\Gamma$ a permis aux auteurs de régler le compromis entre l'exactitude de l'estimation de la valeur et la robustesse de la politique.

4. Contributions Clés

Formalisation : Le papier formalise l'optimisation de politiques contrefactuelles pour les MDP sous les PNSCM, séparant explicitement la confusion latente de la stochasticité irréductible.
Cadre de Sensibilité : Il propose un problème d'optimisation pratique pour identifier des politiques contrefactuelles robustes en utilisant un cadre d'analyse de sensibilité qui borne l'influence de la variable latente.
Méthode de Calibration : Il introduit une méthode basée sur les données pour calibrer le paramètre de sensibilité $\Delta$ en utilisant les variables d'état observées, réduisant ainsi la dépendance aux connaissances expertes du domaine.
Validation Empirique : Il démontre que des politiques contrefactuelles robustes peuvent être dérivées et validées sur un simulateur de santé réaliste avec des confondeurs globaux cachés.

5. Signification et Revendications

Les auteurs affirment que ce travail fournit le premier problème d'optimisation pratique pour identifier des politiques contrefactuelles robustes sous un cadre d'analyse de sensibilité au sein des PNSCM. La signification réside dans le fait de traiter la limitation des approches SCM déterministes existantes, qui ne peuvent pas modéliser correctement des environnements dotés d'une stochasticité inhérente.

Le papier conclut que les politiques dérivées sont robustes lorsqu'elles sont évaluées sur l'environnement réel et pleinement spécifié, même lorsque le paramètre de sensibilité est estimé à partir de données observées. Les auteurs notent modestement que, bien que l'optimisation découplée fournisse une borne inférieure valide, des travaux futurs sont nécessaires pour explorer les contraintes d'homogénéité temporelle et différents types de variables latentes (ex: confondeurs sans mémoire) afin d'obtenir des estimations de valeur plus précises.