Résumé Technique : Estimation Adaptative et Contrôle Optimal dans les MDP Contextuels Hors Ligne sans Stationnarité

1. Formulation du Problème

L'article aborde le défi de l'estimation des mécanismes de transition et de l'optimisation des coûts dans les Processus de Décision Markoviens (MDP) Contextuels en utilisant des jeux de données hors ligne. Les MDP contextuels généralisent les MDP standards en incorporant des informations exogènes (« contexte ») qui modulent à la fois les transitions d'état et les coûts. Bien que ces modèles soient essentiels pour des applications en santé, en économie et en recherche opérationnelle, la théorie statistique existante pour l'apprentissage hors ligne dans ce domaine repose fortement sur des hypothèses restrictives :

• Stationnarité/Érgodicité : La plupart des méthodes supposent que le processus générateur de données est stationnaire ou ergodique, ce qui est fréquemment violé dans les logs réels (par exemple, l'évolution de l'état de santé des patients).
• Modélisation Paramétrique : De nombreuses approches supposent une forme paramétrique spécifique pour la densité de transition, conduisant à des erreurs de spécification.
• Lissité : Les méthodes non paramétriques standards exigent souvent de fortes hypothèses de lissité (par exemple, continuité de Hölder) et une sélection fixe de la fenêtre de lissage, ce qui est peu pratique lorsque les espaces d'état, de contrôle et de contexte sont de haute dimension ou infiniment dénombrables.

Les auteurs visent à développer un cadre non paramétrique qui fonctionne sans hypothèses de stationnarité ou d'ergodicité, fournit des bornes de risque oracle dans une métrique d'Hellinger empirique, et transfère ces garanties vers la sélection de contrôle optimal via un schéma de type plug-in.

2. Méthodologie

Le cœur de la méthodologie proposée est l'application de la T-estimation, une technique statistique robuste enracinée dans la théorie de la sélection de modèles (Baraud & Birgé, 2009 ; Baraud, 2011).

2.1 Construction de l'Estimateur T

Soit $s(x, a, g, y)$ la densité de transition vraie. Les auteurs construisent un estimateur $\hat{s}$ en minimisant une fonctionnelle de comparaison paire pénalisée sur une classe de modèles riche et dénombrable $\mathcal{S}$ :
$$\hat{s} \in \arg\min_{f \in \mathcal{S}} \left( \sup_{f' \in \mathcal{S}} \left[ \alpha H^2(f, f') + T(f, f') \right] + \frac{L \Delta_{\mathcal{S}}(f)}{n} \right)$$
Où :

• $H^2$ est la perte d'Hellinger empirique.
• $T(f, f')$ est une fonctionnelle de comparaison qui évalue les candidats par rapport aux trajectoires observées. Elle inclut un terme de correction de densité et compare la qualité d'ajustement de $f$ et $f'$ au processus $(X_i, a_i, G_i, X_{i+1})$.
• $\Delta_{\mathcal{S}}(f)$ est une pénalité de complexité indépendante des données (par exemple, liée à la dimension du modèle ou au nombre de classes).
• $\alpha$ et $L$ sont des constantes universelles.

2.2 Innovations Techniques

Pour obtenir des garanties sans stationnarité, l'analyse repose sur deux outils techniques clés :

1. Inégalité de Bernstein pour les Martingales : Utilisée pour contrôler les déviations empiriques sans supposer de mélange ou de stationnarité.
2. Identité de Polarisation : Utilisée pour relier le risque dans l'espace des densités à la racine carrée à la perte d'Hellinger, permettant des comparaisons à haute probabilité qui se convertissent en inégalités d'oracle en espérance.

2.3 De l'Estimation au Contrôle

Une fois la densité de transition $\hat{s}$ estimée, l'article aborde le contrôle optimal. Étant donné une fonction de coût $L(x, a, g, y)$, le coût empirique est défini comme :
$$\hat{C}_n(a, g) = \int L(x, a, g, y) \hat{s}(x, a, g, y) \lambda_n^{(1)}(dx, dy)$$
Le contrôle optimal $\hat{a}^*(g)$ est sélectionné en minimisant ce coût estimé. Le cadre est agnostique vis-à-vis de la politique, ce qui signifie que toute procédure optimisant ce coût plug-in hérite des taux statistiques de l'estimateur.

3. Contributions et Résultats Clés

3.1 Estimation Non Paramétrique avec Inégalités Oracle

L'article établit une borne de risque oracle pour l'estimateur $\hat{s}$ dans la métrique d'Hellinger empirique. Sous des hypothèses légères (bornitude d'une densité dominante et absence de stationnarité), le risque en espérance satisfait :
$$\mathbb{E}[H^2(s, \hat{s})] \lesssim \inf_{f \in \mathcal{S}} \left\{ H^2(s, f) + \frac{\Delta_{\mathcal{S}}(f) + \text{dim}(f)\log n}{n} \right\}$$
Ce résultat implique que l'estimateur performe aussi bien que le meilleur candidat dans la classe de modèles $\mathcal{S}$, à une terme de pénalité près, sans exiger que les données soient stationnaires.

3.2 Adaptativité au Taux Minimax

Pour des classes de lissité standards (par exemple, espaces de Hölder ou de Besov), la procédure atteint le taux non paramétrique optimal (à des facteurs poly-logarithmiques près) :
$$\mathbb{E}[H^2(s, \hat{s})] \lesssim \left( \frac{\log n}{n} \right)^{\frac{\bar{\sigma}}{4+\bar{\sigma}}}$$
Cela démontre une adaptativité : l'estimateur s'ajuste automatiquement à la lissité inconnue de la densité vraie sans connaissance préalable de la fenêtre de lissage ou du paramètre de lissité.

3.3 Garanties à Échantillon Fini pour le Contrôle Optimal

L'article fournit des bornes non asymptotiques pour l'écart de coût entre le contrôle sélectionné par le substitut estimé et le contrôle optimal vrai. La borne évolue comme :
$$O\left( \sqrt{\frac{\max(\Delta_{\mathcal{S}}(f), \log n)}{n}} \right)$$
De plus, les auteurs prouvent une borne inférieure minimax de $\Omega(1/\sqrt{n})$ pour le coût optimal, montrant que leur schéma plug-in est optimal en taux. Cela relie la difficulté d'estimer le noyau de transition directement à la difficulté de sélectionner le contrôle optimal.

3.4 Robustesse au Décalage de Distribution

Le cadre est étendu aux situations avec décalage de distribution (décalage de covariable entre l'entraînement et le déploiement). Les auteurs dérivent des bornes montrant que l'erreur d'estimation sous décalage dépend de la distance d'Hellinger entre les distributions vraie et décalée, ainsi que de la distance de variation totale entre leurs mesures invariantes.

4. Importance et Revendications

L'article prétend combler un écart significatif entre les réalités des MDP contextuels hors ligne (dynamiques irrégulières, non stationnaires) et la théorie existante. Son importance principale réside dans :

• Le Suppression des Hypothèses Restrictives : Il fournit le premier cadre théorique pour les MDP contextuels hors ligne qui ne repose pas sur la stationnarité, l'ergodicité ou la modélisation paramétrique.
• Robustesse : L'estimateur T est intrinsèquement robuste à l'irrégularité du modèle et à la non-stationnarité, le rendant adapté aux logs réels où les dynamiques évoluent dans le temps.
• Cadre Unifié : Il unifie l'estimation de densité et le contrôle optimal, montrant qu'un estimateur robuste se traduit directement par une sélection de contrôle optimal avec des garanties rigoureuses à échantillon fini.
• Applicabilité Pratique : Les auteurs notent que bien que les estimateurs T aient des coûts computationnels (exponentiels en dimension pour certaines classes), ils offrent une « voie pratique, peu exigeante en hypothèses » pour la prise de décision dans des domaines complexes comme la santé et l'économie, où les données sont souvent désordonnées et non stationnaires.

Les auteurs concluent que cette méthode sert d'outil efficace à des fins inférentielles dans les MDP et pour la détermination de politiques optimales dans des contextes hors ligne, adressant spécifiquement les limitations de la non-stationnarité et de l'irrégularité qui affectent les approches actuelles.