📊 statistics

Generalized Linear Markov Decision Process

Cet article introduit GRASP-MDP, un nouveau cadre pour l'apprentissage par renforcement hors ligne dans les études longitudinales qui aborde les défis des récompenses binaires/bornées et des observations de récompenses partielles en séparant la modélisation de la récompense et de la transition afin d'exploiter toutes les données de transition disponibles sans imputation, fournissant ainsi des garanties en échantillon fini et une performance empirique améliorée.

Auteurs originaux : Sinian Zhang, Kaicheng Zhang, Ziping Xu, Zongqi Xia, Jue Hou, Tianxi Cai, Doudou Zhou

Publié 2026-08-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sinian Zhang, Kaicheng Zhang, Ziping Xu, Zongqi Xia, Jue Hou, Tianxi Cai, Doudou Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot comment naviguer dans un labyrinthe. Dans un monde idéal, le robot recevrait une fiche de score parfaite après chaque mouvement : « Vous avez tourné à gauche, vous avez trouvé une pièce, +10 points ! » Mais dans le monde réel — comme dans les hôpitaux ou sur les applications de réseaux sociaux — les choses sont plus désordonnées. Le robot peut voir exactement ce qui s'est passé ensuite (il a tourné à gauche et a rencontré un mur), mais la fiche de score pour ce mouvement spécifique est manquante, retardée ou n'est disponible que pour quelques tours chanceux. C'est le défi de l'« apprentissage par renforcement hors ligne » (offline reinforcement learning), où nous essayons d'enseigner à l'IA en utilisant d'anciennes données enregistrées plutôt qu'en la laissant apprendre par essais et erreurs en temps réel.

Pour rendre cet apprentissage possible, les scientifiques utilisent souvent un raccourci mathématique appelé « Processus de décision de Markov linéaire » (Linear Markov Decision Process). Considérez cela comme si le labyrinthe était construit avec des lignes droites et simples : si vous connaissez le point de départ et la direction, vous pouvez facilement prédire l'endroit suivant et les points que vous obtiendrez. Cela fonctionne très bien si les « récompenses » (rewards) sont des nombres simples. Mais qu'en est-il si la récompense est quelque chose de complexe, comme un score de santé d'un patient qui peut seulement aller de 0 à 10, ou un résultat binaire « oui/non » ? Ces récompenses ne suivent pas des lignes droites simples ; elles sont courbes et sinueuses. De plus, si nous jetons toutes les données où la fiche de score est manquante, nous perdons des informations précieuses sur la façon dont le labyrinthe est réellement structuré. Ce document s'attaque au problème d'enseigner aux robots lorsque les règles sont courbes et que les fiches de score sont incomplètes.

Les chercheurs derrière cette étude, dirigés par Sinian Zhang et ses collègues, introduisent une nouvelle méthode appelée GRASP-MDP. Vous pouvez considérer cela comme une stratégie de détective astucieuse en deux parties pour résoudre le labyrinthe. Au lieu d'essayer de deviner les fiches de score manquantes (ce qui peut conduire à de mauches suppositions), GRASP-MDP sépare le mystère en deux indices distincts : comment le monde bouge et quelle est la récompense.

Premièrement, la méthode examine la partie « mouvement ». Même si nous ne connaissons pas le score pour un tour spécifique, nous pouvons toujours voir le robot passer d'un endroit à un autre. GRASP-MDP utilise tous ces enregistrements de mouvement — qu'un score soit attaché ou non — pour construire une carte parfaite du labyrinthe. Il traite les règles de mouvement comme étant simples et linéaires, ce qui rend les mathématiques faciles et fiables.

Deuxièmement, elle s'attaque à la partie « récompense ». Puisque les récompenses comme les scores de santé ou les résultats binaires sont courbes et complexes, la méthode utilise un outil spécial appelé « Modèle Linéaire Généralisé » (Generalized Linear Model) pour épouser la courbe. Crucialement, elle n'utilise que les données où le score a réellement été enregistré pour déterminer cette courbe. Elle ne cherche pas à inventer un score pour les données manquantes ; elle admet simplement : « Nous ne connaissons pas le score ici, mais nous savons exactement comment le labyrinthe fonctionne. »

En gardant ces deux indices séparés, GRASP-MDP évite le piège de deviner de mauvais scores. Elle dit : « Nous savons que le chemin est dégagé parce que nous avons vu le mouvement, même si nous avons manqué les points. » Le papier prouve mathématiquement que cette approche fonctionne mieux que les anciennes méthodes qui ignoraient les données manquantes ou tentaient de combler les vides avec des suppositions.

Pour tester leur idée, l'équipe a lancé des simulations informatiques avec des récompenses aussi bien simples que complexes. Ils ont constaté que GRASP-MDP apprenait systématiquement de meilleures stratégies que les méthodes précédentes, surtout lorsque les données de récompense étaient incomplètes. Ils l'ont également appliqué à un ensemble de données médicales réelles impliquant 4 295 patients atteints de sclérose en plaques (SEP). Dans ce scénario, le « labyrinthe » était le parcours de traitement du patient, et la « récompense » était son score de handicap (EDSS), qui n'était vérifié qu'à certaines visites. La méthode a utilisé avec succès la vaste quantité d'historiques de traitement (les données de mouvement) même lorsque les scores de handicap étaient manquants, pour recommander de meilleurs plans de traitement. Les résultats ont montré qu'en conservant les données de « score manquant » pour apprendre les règles de mouvement, l'IA pouvait prendre des décisions plus intelligentes que si elle avait jeté ces données.

En résumé, GRASP-MDP est une façon plus intelligente d'apprendre à partir de données réelles et désordonnées. Elle respecte le fait que nous savons souvent ce qui s'est passé (la transition) même quand nous ne savons pas combien cela valait (la récompense), et elle utilise cette connaissance pour construire des systèmes de prise de décision plus performants et plus fiables sans inventer de faux chiffres.

Résumé Technique : Processus de Décision de Markov à Récompense Généralisée (GRASP-MDP)

1. Énoncé du Problème

L'apprentissage par renforcement (RL) hors ligne pour les études longitudinales, particulièrement dans les domaines de la santé et des interventions numériques, fait face à deux défis interconnectés :

Structures de Récompense Non Linéaires : Les résultats sont souvent binaires (ex: rechute) ou continus bornés (ex: scores de handicap sur une échelle de 0 à 10), ce qui est naturellement modélisé par des Modèles Linéaires Généralisés (GLM) plutôt que par les hypothèses de récompense linéaires standards des processus de décision de Markov linéaires (Linear MDPs).
Rareté des Données Semi-Supervisées : Bien que les trajectoires état-action-état suivant soient souvent entièrement enregistrées, les observations de récompenses correspondantes ne sont disponibles que pour un sous-ensemble de trajectoires ou de points temporels spécifiques. Les méthodes existantes soit rejettent les données de transition uniquement (perdant ainsi l'information sur les valeurs de continuation), soit s'appuient sur l'imputation de récompenses (introduisant des hypothèses non vérifiées).

Les méthodes standards de Linear MDP échouent ici car une moyenne de récompense non linéaire brise la récursion de Bellman linéaire, et les approches semi-supervisées existantes ne séparent pas explicitement l'estimation de la dynamique de transition de la modélisation de la récompense.

2. Méthodologie : GRASP-MDP

Les auteurs proposent GRASP-MDP (Generalized Reward And Semi-supervised Pessimism for Markov Decision Processes), un cadre qui découple l'estimation de la récompense et de la transition tout en maintenant une structure de Bellman traitable.

2.1 Hypothèses du Modèle

GRASP-MDP suppose une structure hybride :

Dynamique de Transition : Le noyau de transition reste linéaire par rapport à une application de caractéristiques $\phi_p$ :
$P_h(x_{h+1} | x_h, a_h) = \langle \phi_p(x_h, a_h), \mu_h(x_{h+1}) \rangle$
Dynamique de Récompense : La moyenne conditionnelle de la récompense suit un Modèle Linéaire Généralisé (GLM) avec une fonction de lien $g$ connue :
$E[r_h(x_h, a_h) | x_h, a_h] = g(\langle \phi_r(x_h, a_h), \theta^*_h \rangle)$
Ici, $\phi_r$ et $\phi_p$ sont des applications de caractéristiques distinctes, permettant aux informations pertinentes pour la récompense et la transition de jouer des rôles statistiques différents.

2.2 Complétude de Bellman "Non Linéaire Plus Linéaire"

L'intuition théorique centrale est que, bien que la non-linéarité de la récompense brise la classe standard de Bellman linéaire, le modèle induit une classe de fonctions "non linéaire plus linéaire" $\mathcal{F}$ :
$f_{\theta, \beta}(x, a) = g(\langle \phi_r(x, a), \theta \rangle) + \langle \phi_p(x, a), \beta \rangle$
Les auteurs prouvent (Proposition 1) que le retour de Bellman (Bellman backup) de toute fonction de valeur bornée $V$ appartient à cette classe $\mathcal{F}$ . Spécifiquement, le retour se décompose en un terme de récompense non linéaire et un terme de continuation linéaire. Cette structure permet une complétude de Bellman explicite sans exiger que la récompense soit linéaire.

2.3 Algorithme : Itération de Valeur Pessimiste par Composante

La procédure d'apprentissage utilise une itération de valeur pessimiste décomposée (Algorithme 1) :

Estimation de la Récompense : Le paramètre de récompense $\theta_h$ est estimé en utilisant uniquement le sous-ensemble de données où les récompenses sont observées ( $I^r_h$ ) via un GLM (ex: régression binomiale ou bêta).
Estimation de la Transition : Le paramètre de continuation $\beta_h$ est estimé en utilisant toutes les transitions état-action-état suivantes disponibles ( $n + N$ trajectoires), indépendamment de l'observation de la récompense. Cela est réalisé via une régression de Ridge.
Pessimisme : L'algorithme construit une fonction Q pessimiste en soustrayant des rayons d'incertitude distincts pour les composantes de récompense et de transition :
$\hat{Q}_h(x, a) = \min \left\{ (\hat{B}_h \hat{V}_{h+1})(x, a) - \hat{\Gamma}_{r,h}(x, a) - \hat{\Gamma}_{p,h}(x, a), H-h+1 \right\}_+$
- $\hat{\Gamma}_{r,h}$ est dérivé de la courbure du GLM et de la taille de l'ensemble des récompenses observées.
- $\hat{\Gamma}_{p,h}$ est dérivé de la covariance des caractéristiques de transition et du nombre total de trajectoires.

Cette approche garantit que les observations de transition seules réduisent l'erreur d'estimation de la transition sans nécessiter d'imputation de récompense.

3. Contributions Clés

Cadre Théorique : Établissement de la complétude de Bellman pour une classe de fonctions "non linéaire plus linéaire" induite par la séparation récompense-transition.
Développement d'Algorithme : Un algorithme d'itération de valeur pessimiste par composante qui contrôle séparément les incertitudes de la récompense et de la transition.
Garanties en Échantplage Fini : Des bornes théoriques montrant que la sous-optimalité de la politique apprise est régie par deux termes distincts :
- Un terme de récompense évoluant en $O(\sqrt{d_r/n})$ , où $n$ est le nombre de trajectoires avec récompense observée.
- Un terme de transition évoluant en $O(\sqrt{d_p/(n+N)})$ , où $n+N$ est le nombre total de trajectoires.
  Cela prouve que les données de transition seules ( $N$ ) améliorent l'apprentissage de la politique en réduisant l'incertitude de la transition, même lorsque les récompenses sont manquantes.
Extensions : Le cadre montre qu'il s'étend à l'observation de récompense au niveau du pas (où les récompenses sont manquantes de manière aléatoire au sein des trajectoires) et aux récompenses sous-gaussiennes avec des moyennes finies.

4. Résultats Empiriques

4.1 Simulations

Paramètres : Les expériences ont couvert l'observation complète et partielle de la récompense avec des récompenses binaires et continues bornées (distribution Bêta).
Résultats : GRASP-MDP a systématiquement surpassé les bases de Linear MDP (PEVI, Q-learning local/global) lorsque les récompenses étaient non linéaires. Sous observation partielle de la récompense, la conservation des trajectoires de transition seules a considérablement amélioré la performance de la politique par rapport aux méthodes qui les rejetaient ou n'utilisaient que les données étiquetées.

4.2 Application au Monde Réel : Sclérose en Plaques (SEP)

Contexte : Apprentissage de stratégies de traitement modificateur de la maladie (DMT) utilisant des dossiers de santé électroniques (EHR).
Données : Une cohorte de 4 295 patients issus du Mass General Brigham EHR et du registre CLIMB. Les récompenses étaient basées sur l'échelle EDSS (Expanded Disability Status Scale), qui est bornée (0–10) et observée par intermittence (manquante dans environ 40 % des périodes de patients).
Résultat : La politique GRASP-MDP utilisant les données de récompense manquantes (en conservant les trajectoires de transition seules) a obtenu des estimations numériquement favorables pour l'EDSS moyen et les mois avec un EDSS $\le$ 4 par rapport aux méthodes utilisant uniquement les données étiquetées ou les bases linéaires standards. Cela a démontré le bénéfice pratique de l'exploitation de l'information de transition seule dans les contextes cliniques avec un signal de rapport d'issue parcimonieux.

5. Signification et Revendications

L'article affirme que GRASP-MDP fournit une solution fondée sur des principes pour l'apprentissage par renforcement hors ligne dans des contextes où les issues sont structurées et observées par intermittence. Sa signification réside dans :

Préservation de la Traitabilité : Il maintient la traitabilité computationnelle et statistique des Linear MDPs tout en accommodant les structures de récompense non linéaires communes dans les données réelles.
Utilisation Efficace des Données : Il justifie formellement l'utilisation des observations de transition seules pour l'apprentissage de politiques sans imputer les récompenses manquantes, évitant ainsi le biais introduit par les hypothèses d'imputation.
Séparation de l'Incertitude : En contrôlant séparément les erreurs de récompense et de transition, la méthode fournit des garanties en échantplage fini qui délimitent clairement la valeur des données de transition supplémentaires par rapport aux données de récompense supplémentaires.

Les auteurs notent que la méthode repose sur des hypothèses standards telles que l'absence de données manquantes non aléatoires (missing-at-random) pour les récompenses et une couverture suffisante (positivité) des régions état-action. Ils reconnaissent que l'absence de données non aléatoire (non-ignorable missingness) et les changements de distribution entre les trajectoires étiquetées pour la récompense et les trajectoires de transition seules restent des défis ouverts. Le cadre est également noté comme pouvant supporter des extensions en ligne (GLSVI-UCB) avec des garanties de regret sous-linéaire.