📊 statistics

Learning from the Unseen: Offline Reinforcement Learning with Hidden Actions

Cet article introduit LURE, la première méthode d'apprentissage par renforcement hors ligne avec des actions cachées, qui exploite les variables d'état suivant comme des substituts pour permettre une estimation de la valeur de politique multiplement robuste et statistiquement valide dans les processus de décision markoviens à horizon infini.

Auteurs originaux : Zeyu Bian, Ying Zhou, Yifan Cui

Publié 2026-07-29

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zeyu Bian, Ying Zhou, Yifan Cui

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot comment jouer à un jeu complexe, comme naviguer dans une ville ou gérer la santé d'un patient. Vous ne faites pas parcourir le jeu en temps réel au robot ; au lieu de cela, vous lui donnez un immense registre de tentatives passées effectuées par un joueur humain. C'est le monde de l'apprentissage par renforcement (Reinforcement Learning ou RL), une branche de l'intelligence artificielle où les ordinateurs apprennent par essais et erreurs pour prendre les meilleures décisions au fil du temps. L'objectif est généralement de déterminer : « Si nous suivions un ensemble spécifique de règles (une politique) à l'avenir, comment nous en sortirions-nous, sur la base de ce vieux registre ? »

Cependant, il y a un hic. Dans le monde réel, les registres sont rarement parfaits. Parfois, la personne qui a pris les notes a fait une erreur, ou le système qui a enregistré les données était défaillant. Dans le langage de cet article, l'« action » réellement entreprise par l'humain (comme administrer un médicament spécifique) peut être cachée, et tout ce que nous voyons est un « proxy » ou une estimation bruitée de ce qui s'est passé (comme une note de médecin qui dit « a donné le médicament » alors qu'en réalité il ne l'a pas fait, ou vice versa). Si vous essayez d'enseigner à votre robot en utilisant un registre rempli de ces erreurs, il apprendra les mauvaises leçons, ce qui mènera à de mauvaises décisions plus tard. Cet article s'attaque au problème délicat de la manière d'apprendre efficacement lorsque la partie la plus importante de l'histoire — la véritable action — est manquante ou déguisée.

Le mystère du mouvement manquant

Dans l'article intitulé « Learning from the Unseen » (Apprendre de l'invisible), les auteurs, Zeyu Bian, Ying Zhou et Yifan Cui, font face à une histoire de détective où l'indice principal est manquant. Imaginez que vous soyez un détective essayant de résoudre un crime en regardant une vidéo de surveillance. Mais voici le rebondissement : la vidéo montre l'ombre du suspect, et non le suspect lui-même. Vous voyez l'ombre bouger, mais vous ne savez pas exactement ce que les mains du suspect faisaient. Dans le monde de la science des données, cela s'appelle avoir des « actions cachées ».

Habituellement, lorsque les scientifiques essaient d'évaluer une stratégie à l'aide de données passées (un processus appelé Évaluation Hors-Politique ou Off-Policy Evaluation), ils supposent que le registre est parfait. Ils supposent que si le registre indique « L'action A a été entreprise », alors l'action A a effectivement été entreprise. Mais dans les scénarios réels désordonnés — comme les dossiers hospitaliers où un médecin peut noter un traitement des heures plus tard, ou un système qui étiquette accidentellement de travers l'appui sur un bouton — cette hypothèse est un piège. Si vous ignorez les erreurs, votre évaluation de la stratégie sera biaisée, comme juger les compétences culinaires d'un chef sur la base d'un menu qui liste les mauvais ingrédients.

La magie de l'étape suivante

La grande percée des auteurs est de réaliser que même si vous ne pouvez pas voir l'« action » directement, vous pouvez souvent voir son ombre dans l'instant suivant.

Pensez-y de cette façon : si un magicien agite une baguette (l'action cachée), vous pourriez ne pas voir la baguette clairement à cause d'une tache sur la caméra. Mais vous pouvez voir le lapin apparaître dans le chapeau (l'état suivant). Le lapin n'est pas apparu de nulle part ; il est apparu parce que la baguette a été agitée. En étudiant la relation entre l'« état suivant » (le lapin) et la « note bruitée » (la vidéo tachée), les auteurs ont trouvé comment reconstruire mathématiquement ce que le magicien a réellement fait.

Ils appellent leur nouvelle méthode LURE (Learning from the Unseen: Robust Estimator). C'est comme un détective super intelligent qui ne se contente pas de regarder la photo floue du suspect, mais qui regarde aussi les empreintes laissées derrière et le rapport météorologique pour déduire exactement ce qui s'est passé.

Comment fonctionne LURE : Le système de « double vérification » et la boîte à outils du détective

L'article présente une manière ingénieuse d'estimer la valeur d'une stratégie sans se faire piéger par les erreurs. Ils utilisent un concept appelé Robustesse Multiple.

Imaginez que vous essayiez de deviner la température extérieure, mais que votre thermomètre est cassé. Vous avez trois autres indices : un chien mouillé, un arbre qui oscille et une formation nuageuse.

Si votre thermomètre est cassé, vous pouvez toujours deviner correctement si votre indice du « chien mouillé » est précis.
Si le chien est sec mais que l'arbre oscille, vous pouvez toujours deviner correctement.
Le système est « robuste » car il n'a pas besoin que chaque indice soit parfait ; il a juste besoin que certaines combinaisons d'entre eux soient correctes.

LURE fonctionne de la même manière. Il construit un modèle mathématique qui vérifie plusieurs parties différentes des données. Même si le modèle pour l'« action bruitée » est légèrement erroné, ou si le modèle pour l'« état suivant » est légèrement imprécis, l'estimateur peut toujours trouver la valeur réelle de la stratégie tant qu'au moins une des autres parties est correcte. Cela rend la réponse finale beaucoup plus fiable que les méthodes précédentes, qui s'effondreraient si une seule partie des données était désordonnée.

Mais il existe une complexité cachée dans la façon dont LURE résout ce puzzle. Puisque les véritables actions ne sont jamais vues, l'ordinateur doit deviner les probabilités de ce qui s'est réellement passé. Pour ce faire, les auteurs ont développé un algorithme itératif spécial (basé sur une méthode appelée l'algorithme Expectation-Maximization, ou EM). Considérez cela comme un détective qui affine continuellement sa théorie :

La supposition (Étape E) : L'ordinateur commence par une supposition sur ce que les actions cachées étaient.
La mise à jour (Étape M) : En utilisant cette supposition, il met à jour ses modèles sur la façon dont les actions mènent aux récompenses et aux états suivants.
Le raffinement : Il utilise ensuite ces modèles mis à jour pour faire une meilleure supposition sur les actions cachées, et répète le cycle jusqu'à ce que l'histoire fasse parfaitement sens.

Cependant, il y a un dernier rebondissement. Parce que l'ordinateur fait des suppositions, il pourrait accidentellement inverser les étiquettes. Il pourrait décider que l'« Action 0 » est en fait le « Médicament » et l'« Action 1 » est le « Pas de Médicament », alors qu'en réalité, c'est l'exact opposé. Le calcul fonctionne dans les deux sens, mais le sens est inversé. Pour corriger cela, les auteurs incluent une étape cruciale d'alignement des étiquettes. Avant de donner la réponse finale, le système vérifie quelle « supposition » fait le plus de sens avec les données bruitées (par exemple, quelle action cachée est la plus susceptible de résulter de la note observée « Médicament »). Il inverse ensuite les étiquettes si nécessaire pour s'assurer que le rapport final correspond à la réalité.

Tester la théorie

Les auteurs n'ont pas seulement écrit une théorie ; ils l'ont mise à l'épreuve de trois manières différentes :

Simulations simples : Ils ont créé un petit monde imaginaire (un « MDP Tabulaire ») avec seulement trois états et deux actions. Ils ont intentionnellement faussé les données en étiquetant mal les actions de 5 % à 30 % du temps. Tandis que les autres méthodes étaient confuses et donnaient de mauvaises réponses, LURE est resté sur la bonne voie, devinant correctement la valeur de la stratégie.
Simulations complexes : Ils sont passés à un monde continu plus complexe (comme un robot se déplaçant dans un espace fluide) et ont obtenu le même résultat : LURE a géré les erreurs avec élégance, tandis que les autres ont échoué.
Données du monde réel : Ils ont testé LURE sur une base de données massive de dossiers réels de patients provenant d'un hôpital (MIMIC-III), en se concentrant spécifiquement sur le traitement du sepsis (une réaction potentiellement mortelle à une infection). Dans ce scénario réel, ils ont comparé LURE aux méthodes standards. Les résultats ont été frappants : les méthodes standards suggéraient qu'un traitement était meilleur qu'un autre, mais LURE, en tenant compte des erreurs cachées dans les dossiers médicaux, a suggéré un classement différent et plus fiable. En fait, les intervalles de confiance (la plage de réponses probables) des méthodes standards se chevauchaient tellement qu'elles ne pouvaient pas faire la différence, tandis que LURE fournissait une réponse claire et distincte.

Ce qu'il faut retenir

L'article conclut qu'ignorer les actions cachées est un pari dangereux. En utilisant l'« état suivant » comme un indice naturel pour découvrir la vérité, et en construisant un système robuste aux erreurs dans différentes parties du modèle, nous pouvons enfin évaluer les stratégies avec précision, même lorsque nos données sont imparfaites.

Ce n'est pas seulement une victoire théorique ; c'est un outil pratique pour l'avenir. Qu'il s'agisse de décider des traitements médicaux, de gérer les feux de signalisation ou d'entraîner des agents IA, LURE offre un moyen d'apprendre du passé sans être induit en erreur par le bruit. Les auteurs démontrent qu'avec le bon travail de détective mathématique, nous pouvons voir l'invisible et prendre de meilleures décisions pour demain.

Résumé Technique : Apprendre de l'Invisible : Apprentissage par Renforcement Hors-Ligne avec Actions Cachées

1. Formulation du Problème

Les algorithmes standards d'apprentissage par renforcement (RL) hors-ligne et d'évaluation hors-politique (OPE) supposent généralement que les actions enregistrées dans le jeu de données sont observées sans erreur. Cependant, dans de nombreuses applications réelles — particulièrement en santé utilisant les dossiers de santé électroniques (EHR) — les actions réelles ( $A_t$ ) sont non observées (latentes). Au lieu de cela, seuls des proxys ou des substituts bruités ( $\tilde{A}_t$ ) sont disponibles en raison d'erreurs d'annotation, de retards de saisie, de systèmes de gestion imparfaits ou de l'appauvrissement des données pour la préservation de la vie privée.

Le présent article traite du problème de l'évaluation d'une politique cible $\pi$ dans un processus de décision markovien (MDP) à horizon infini et à actualisation $\gamma$ où l'espace des actions est partiellement ou totalement latent. L'objectif est d'estimer la valeur de la politique $V(\pi)$ en utilisant des données historiques générées par une politique de comportement $b$ , où les données observées consistent en des trajectoires $\{(S_t, \tilde{A}_t, R_t, S_{t+1})\}$ plutôt que $\{(S_t, A_t, R_t, S_{t+1})\}$ . Substituer naïvement le substitut observé $\tilde{A}_t$ à l'action réelle $A_t$ dans les méthodes d'OPE existantes conduit à des estimations biaisées car la fonction Q et les rapports de densité sont définis par rapport à l'action réelle latente.

2. Méthodologie

2.1 Stratégie d'Identification

Les auteurs établissent que la valeur de la politique $V(\pi)$ est identifiable à partir de la distribution des données observées sous des hypothèses spécifiques. L'idée centrale est d'exploiter l'état suivant ( $S'$ ) comme un proxy naturel pour l'action non observée. Puisque la dynamique de transition dépend de l'action réelle, $S'$ contient des informations sur l'action cachée qui peuvent être exploitées pour l'identification.

L'identification repose sur quatre hypothèses clés (Hypothèse 3.1) :

Couverture (Coverage) : Le support de la politique cible est contenu dans le support de la politique de comportement.
Pertinence (Relevance) : La récompense $R$ , le substitut $\tilde{A}$ et l'état suivant $S'$ ne sont pas indépendants de l'action réelle $A$ sachant l'état $S$ .
Indépendance Conditionnelle : Étant donné l'action réelle $A$ et l'état $S$ , le substitut $\tilde{A}$ , la récompense $R$ et l'état suivant $S'$ sont mutuellement indépendants.
Qualité du Substitut : Le substitut fournit plus d'informations qu'un choix aléatoire (par exemple, pour des actions binaires, la probabilité d'observer $\tilde{A}=0$ est plus faible lorsque $A=1$ que lorsque $A=0$ ).

Sous ces conditions, les auteurs prouvent (Théorème 1) que $V(\pi)$ est identifié de manière unique.

2.2 L'Estimateur LURE

Pour estimer la valeur, l'article propose LURE (Learning from the Unseen: Robust Estimator). L'estimateur est construit sur la base d'une fonction d'influence sur les données observées dérivée de la fonction d'influence efficace sur les données complètes.

La fonction d'influence $\phi_\pi(O)$ est définie comme :
$\phi_\pi(O) = E_{p_e}(V^\pi(S)) + (1-\gamma)^{-1} \sum_{a} g'_a(S', \tilde{A}, S)\omega(S, a)[R - \theta_R(S, a)] + \frac{\gamma}{1-\gamma} \sum_{a} g_a(R, \tilde{A}, S)\omega(S, a)[V^\pi(S') - M V^\pi(S, a)] - V(\pi)$
où :

$\omega(S, a)$ est le rapport de densité marginal entre les politiques cible et de comportement.
$\theta_R(S, a)$ est la fonction de récompense.
$M V^\pi(S, a)$ est l'espérance de la valeur future.
$g_a$ et $g'_a$ sont des fonctions de construction agissant comme des estimateurs "ponts" qui remplacent la fonction indicatrice $\mathbb{I}(A=a)$ en utilisant le substitut observé $\tilde{A}$ et le proxy de l'état suivant $S'$ . Plus précisément, ce sont des rapports impliquant les espérances conditionnelles de $\tilde{A}$ et $S'$ donnés $S$ et $A$ .

2.3 Procédure d'Estimation (Algorithme EM)

Puisque l'action réelle $A$ est latente, l'apprentissage supervisé standard ne peut pas être appliqué directement pour estimer les fonctions de nuisance ( $\omega, \theta_R, \theta_{\tilde{A}}, \theta_{S'}, Q^\pi$ ). Les auteurs proposent un nouvel algorithme itératif de type Expectation-Maximization (EM) (Algorithme 2) :

Initialisation : Initialiser la probabilité a posteriori $\eta(O; a) = P(A=a | O)$ .
Étape M (Apprentissage Supervisé Pondéré) : Traiter la probabilité a posteriori $\eta$ comme des poids connus. Mettre à jour les fonctions de nuisance (politique de comportement, modèle de mesure, modèles de récompense/transition, et rapport de densité) en utilisant la régression pondérée ou l'optimisation minimax pondérée (pour le rapport de densité $\omega$ ).
Étape E (Mise à jour de l'A Posteriori) : Mettre à jour la probabilité a posteriori $\eta(O; a)$ en utilisant la règle de Bayes et les estimations de nuisance mises à jour.
Itération : Répéter jusqu'à convergence.

De plus, l'article traite de l'alignement des étiquettes, car l'algorithme EM peut échanger arbitrairement les étiquettes des classes latentes (par exemple, mapper l'action réelle $A=0$ vers la composante 1). Une étape d'alignement des étiquettes est effectuée après l'estimation basée sur la probabilité conditionnelle du substitut pour assurer une interprétation cohérente.

2.4 Cross-Fitting

Pour atténuer le biais de surapprentissage (overfitting) et contrôler les résidus de processus empiriques, les auteurs utilisent une procédure de cross-fitting à $K$ plis. Les fonctions de nuisance sont estimées sur les plis d'entraînement et évaluées sur les plis de test.

3. Contributions Théoriques Clés

Robustesse Multiple : L'estimateur LURE est multi-robuste. Comme le montre le Corollaire 1, l'estimateur reste consistant ( $\hat{V}(\pi) - V(\pi) = o_p(1)$ ) si au moins une des combinaisons spécifiques de composantes de nuisance est correctement spécifiée. Par exemple, la consistance est maintenue si le pont de récompense $\theta_R$ est consistant ainsi que soit la régression de l'action latente $\theta_{\tilde{A}}$ , soit la régression de l'état suivant $\theta_{S'}$ , à condition que l'erreur de la valeur de continuation soit négligeable.
Normalité Asymptotique : Sous des conditions de régularité et des taux de convergence des estimateurs de nuisance (nécessitant spécifiquement que le produit des erreurs décroisse plus vite que $n^{-1/2}$ ), l'estimateur est asymptotiquement normal (Théorème 4). Cela permet la construction d'intervalles de confiance de type Wald valides.
Bornes d'Erreur : L'article fournit des bornes d'erreur en échantillon fini (Théorème 3) qui décomposent l'erreur d'estimation en une moyenne de la fonction d'influence, un résidu de sélection d'étiquette et un second résidu impliquant les produits des erreurs d'estimation des nuisances.

4. Résultats Expérimentaux

Les auteurs évaluent LURE via des simulations et une application réelle :

MDP Tabulaires et Généraux : Dans des environnements synthétiques avec des taux de mauvaise classification variables ( $\tau \in \{0.05, 0.1, 0.2, 0.3\}$ ), les méthodes d'OPE standards (SIS, FQE, LSTD, MIS, DRL) qui ignorent la structure latente présentent un biais significatif qui s'aggrave avec des taux de mauvaise classification plus élevés. LURE reste centré autour de la vraie valeur de la politique.
OpenAI Gym (CartPole) : Dans un environnement à état continu, LURE surpasse les bases, maintenant des taux de couverture précis pour les intervalles de confiance (proches du niveau nominal de 95 %), tandis que les méthodes de base présentent un biais substantiel ou une couverture instable.
Analyse de la Sepsis sur MIMIC-III : La méthode est appliquée à un ensemble de données de gestion de la septicémie. L'étude évalue trois politiques : "Toujours IV", "Pas d'IV" et une règle "adaptée au SOFA".
- LURE estime que la politique "Toujours IV" possède le score SOFA attendu le plus bas (62.10), suggérant qu'il s'agit de la politique optimale.
- L'intervalle de confiance à 95 % pour "Toujours IV" [60.16, 64.04] ne chevauche pas les intervalles des autres politiques.
- En revanche, l'estimateur DRL standard produit des intervalles de confiance chevauchants pour toutes les politiques, échouant à les distinguer. Cela souligne que ignorer les actions cachées peut conduire à des conclusions empiriques trompeuses dans les contextes cliniques.

5. Signification et Revendications

L'article affirme être le premier travail étudiant l'apprentissage par renforcement hors-ligne dans le cadre des actions cachées. Sa signification réside dans :

Combler une lacune critique : Il fournit un cadre rigoureux pour l'OPE lorsque les données d'action sont bruitées ou latentes, un problème courant dans les études basées sur les EHR que les méthodes de RL standard ne peuvent pas gérer de manière fiable.
Rigueur Théorique : Il établit des conditions d'identification et dérive une fonction d'influence qui tient compte de la nature séquentielle du RL, se distinguant ainsi des cadres de traitement caché statiques.
Utilité Pratique : En démontrant la robustesse multiple et la normalité asymptotique, LURE permet une inférence statistique valide (intervalles de confiance et tests d'hypothèse) dans des contextes où les méthodes précédentes produiraient des estimations ponctuelles biaisées.
Impact Réel : L'application à la base de données MIMIC-III illustre que la prise en compte des actions cachées peut fondamentalement altérer le classement des politiques et les recommandations cliniques, suggérant que les évaluations de RL standards en santé pourraient être peu fiables sans de telles corrections.

Les auteurs conservent un ton modeste, notant que bien que le cadre soit généralisable aux actions catégorielles, le présent travail se concentre sur les actions binaires pour plus de clarté, et que la méthode repose sur l'hypothèse spécifique que l'état suivant sert de proxy valide pour l'action cachée.