Résumé Technique : Apprentissage de Décisions Séquentielles à partir de Multiples Sources via des Processus de Décision Markoviens Robustes aux Groupes

Formulation du Problème

Cet article traite du défi de l'apprentissage de politiques de prise de décision séquentielle robustes à partir de jeux de données hors ligne (offline) collectés sur plusieurs sites (par exemple, des hôpitaux) qui partagent un contexte d'application commun mais présentent une hétérogénéité. Dans l'apprentissage par renforcement (RL) hors ligne standard, les politiques sont apprises à partir de données pré-collectées sans interaction supplémentaire avec l'environnement. Cependant, les données multi-sites du monde réel souffrent souvent de deux problèmes critiques :

1. Décalage de Distribution (Distributional Shift) : Les trajectoires hors ligne sont générées par des politiques de comportement qui peuvent ne pas couvrir la distribution état-action de la politique optimale.
2. Hétérogénéité par Site : Les variations dans les protocoles d'acquisition de données, la composition de la population et les conditions environnementales signifient que les trajectoires ne sont pas générées à partir d'un unique processus de décision markovien (MDP) fixe. Au lieu de cela, chaque site $k$ possède son propre noyau de transition $P_k$ et sa propre fonction de récompense $r_k$.

Les auteurs modélisent ce cadre comme un MDP de Distribution Robuste Linéaire par Groupe (Group-Linear DRMDP). L'hypothèse sous-jacente est que tous les sites partagent une carte de caractéristiques (feature map) commune et connue $\phi: \mathcal{S} \times \mathcal{A} \to \mathbb{R}^d$, mais que les noyaux de transition et les fonctions de récompense sont linéaires par rapport à ces caractéristiques avec des paramètres spécifiques au site $(\theta^k_h, \mu^k_h)$. L'objectif est d'apprendre une politique qui performe de manière optimale face au pire scénario de changement environnemental au sein d'un ensemble d'incertitude plausible, défini par l'enveloppe convexe des distributions spécifiques aux sites.

Méthodologie

1. Ensembles d'Incertitude par Caractéristique (d-rectangulaires)

Pour gérer l'incertitude découlant de multiples sites tout en maintenant la tractabilité computationnelle, les auteurs proposent un ensemble d'incertitude par caractéristique (d-rectangulaire).

• Structure : Contra à un ensemble convexe standard inter-sites qui couple l'incertitude à travers toutes les caractéristiques (entraînant des ensembles non rectangulaires et une planification de complexité NP-difficile), cette approche permet à l'adversaire de choisir des vecteurs de mélange indépendamment pour chaque dimension de caractéristique $i \in [d]$.
• Définition : Pour chaque étape $h$ et chaque caractéristique $i$, l'adversaire choisit un vecteur de mélange $\alpha_{h,i} \in \Delta^{K-1}$ pour former un mélange du pire cas des paramètres spécifiques au site. L'ensemble d'incertitude $\mathcal{U}_h$ est défini de telle sorte que la récompense et la transition pour tout $(s, a)$ sont des combinaisons linéaires des paramètres des sites pondérées par ces mélanges spécifiques aux caractéristiques.
• Avantage : Cette relaxation préserve l'hétérogénéité inter-sites clé tout en restaurant les récurrences de Bellman robustes, rendant le problème tractable.

2. Algorithme d'Itération de Valeur Pessimiste

Les auteurs développent un algorithme hors ligne (Algorithme 1) basé sur l'itération de valeur pessimiste, qui comprend trois composantes clés :

1. Régression de Ridge par Site : Pour chaque site $k$, l'algorithme estime les coefficients de la cible de Bellman $\hat{\nu}^k_h$ en utilisant une régression de ridge sur le jeu de données local $D_k$. Cela produit des estimations des paramètres linéaires spécifiques au site.
2. Agrégation du Pire Cas par Caractéristique : Au lieu de faire une moyenne, l'algorithme effectue un minimum par ligne sur les coefficients estimés de tous les sites. Plus précisément, pour chaque dimension de caractéristique $i$, le coefficient robuste est défini par $\min_{k \in [K]} (\hat{\nu}^k_h)_i$. Cela capture le pire scénario à travers les sites pour chaque caractéristique.
3. Pénalité de Pessimisme Dépendante des Données : Pour tenir compte de l'incertitude d'estimation et du décalage de distribution, un terme de pénalité est soustérait de la valeur Q. Cette pénalité est calculée en utilisant les diagonales des matrices de conception inverses (matrices de covariance) issues de la régression de ridge. La pénalité est proportionnelle au vecteur de caractéristiques $\phi(s, a)$ et à l'incertitude maximale observée à travers les sites pour chaque dimension de caractéristique.

3. Extension au Niveau des Clusters

Pour améliorer l'efficacité de l'échantillonnage lorsque les sites présentent des similitudes, les auteurs proposent une extension au niveau des clusters. Les sites sont partitionnés en clusters basés sur une connaissance préalable de leur similitude. Au sein de chaque cluster, les jeux de données sont regroupés pour former un "super-site", et l'opérateur de Bellman robuste est appliqué aux représentants du niveau du cluster. Cette approche tire parti de tailles d'échantillons regroupés plus importantes tout en bornant l'erreur introduite par l'hétérogénéité intra-cluster.

Résultats Théoriques

L'article fournit des bornes de sous-optimalité en échantillon fini pour l'algorithme proposé sous une hypothèse de couverture partielle robuste.

• Décomposition de la Sous-optimalité : La sous-optimalité est décomposée en corrélation spécieuse, incertitude intrinsèque et erreur d'optimisation.
• Taux de Convergence : Sous l'hypothologie que les matrices de covariance empiriques spécifiques aux sites dominent les seconds moments de la distribution de visite de la politique optimale robuste, la sous-optimalité de la politique apprise $\hat{\pi}$ est bornée par :
  $$\text{SubOpt}(\hat{\pi}; s) \leq O\left( d^2 H^2 \sqrt{\frac{\log(d K H N_{\max}/\xi)}{N_{\min}}} \right)$$
  où $N_{\min}$ est la taille d'échantillon minimale parmi les sites, $d$ est la dimension des caractéristiques, $H$ est l'horizon, et $K$ est le nombre de sites.
• Borne de Niveau Cluster : Pour l'algorithme de niveau cluster, la borne inclut un terme de biais supplémentaire proportionnel à la divergence des paramètres intra-cluster ($\Delta_h$), démontrant que le regroupement est bénéfique tant que l'hétérogénéité au sein des clusters est contrôlée.

Résultats Expérimentaux

Les auteurs valident leur approche via des simulations sur des MDP linéaires épisodiques avec $K=3$ à $4$ sites.

• Comparaison : L'algorithme proposé "Sitewise" est comparé à :
  • Regroupement Naïf (Naive Pooling) : Agrégation de toutes les données et application d'une itération de valeur pessimiste (PEVI) standard.
  • PEVI par Site (Average-Q) : Moyenne des fonctions Q issues de runs PEVI indépendants par site.
  • PEVI par Site (Min-Q) : Prise du minimum ponctuel des fonctions Q spécifiques aux sites.
• Performance : L'algorithme proposé obtient systématiquement une sous-optimalité robuste nettement inférieure à celle de tous les benchmarks.
  • Le Regroupement Naïf échoue à être robuste face aux décalages de distribution spécifiques aux sites, optimisant pour la performance moyenne plutôt que pour le pire cas.
  • Les méthodes par site souffrent d'une variance élevée due aux tailles d'échantillons locales limitées et au manque de partage d'informations.
• Convergence : Les lois d'échelle empiriques confirment le taux de convergence théorique en $O(N_{\min}^{-1/2})$.
• Nécessité du Pessimisme : Les expériences montrent que supprimer la pénalité de pessimisme (en fixant la constante d'échelle $c=0$) entraîne un échec de la convergence efficace, car l'estimateur gourmand fait du surapprentissage (overfitting) sur le bruit d'échantillon fini, particulièrement dans les scénarios de couverture de données déséquilibrée.

Signification et Revendications

L'article affirme fournir une approche fondée sur des principes pour la planification robuste dans les contextes de RL hors ligne multi-sites sans dépendre de fortes hypothèses de rectangularité état-action.

• Tractabilité vs Robustesse : En introduisant l'ensemble d'incertitude $d$-rectangulaire, les auteurs comblent le fossé entre l'intraitabilité des enveloppes convexes inter-sites générales et le conservatisme excessif des MDP robustes $(s, a)$-rectangulaires standards.
• Confidentialité et Efficacité : L'algorithme ne communique que des statistiques de résumé agrégées au niveau du site (coefficients de régression de ridge et diagonales de covariance) plutôt que des trajectoires brutes, ce qui réduit les coûts de communication de données et améliore la confidentialité.
• Gestion de l'Hétérogénéité : Le cadre modélise et exploite explicitement l'hétérogénéité entre les sites pour garantir que la politique apprise est robuste à la configuration de site la plus défavorable, répondant ainsi à une limitation fondamentale du RL hors ligne standard lorsqu'il est appliqué à des données multi-sources.

Les auteurs reconnaissent que leur méthode repose sur une structure linéaire au sein des sites et que l'approximation $d$-rectangulaire peut conduire à des estimations conservatrices. Ils suggèrent que les travaux futurs pourraient explorer des approximations plus serrées et l'intégration de l'apprentissage de représentations pour gérer des mappages de caractéristiques non linéaires.