📊 statistics

Offline Constrained Reinforcement Learning under Partial Data Coverage

Cet article propose PDOCRL, un algorithme primal-dual efficace en oracle pour l'apprentissage par renforcement contraint hors ligne avec approximation fonctionnelle générale, qui atteint des performances quasi-optimales et quasi-réalisables sous une couverture partielle des données sans nécessiter la connaissance de la distribution génératrice des données, tout en résolvant le problème des points de selle spuriaux grâce à une condition de réalisabilité plus forte.

Auteurs originaux : Seokmin Ko, Ambuj Tewari, Kihyuk Hong

Publié 2026-05-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Seokmin Ko, Ambuj Tewari, Kihyuk Hong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot de conduire une voiture, mais que vous ne pouvez pas laisser le robot conduire sur de vraies routes pour apprendre. C'est trop dangereux et trop coûteux. Au lieu de cela, vous n'avez qu'une gigantesque bibliothèque vidéo des trajets passés d'un conducteur humain. Votre objectif est d'enseigner au robot de conduire aussi vite que possible (maximiser la récompense) tout en ne dépassant jamais la vitesse ou en heurtant un trottoir (satisfaire les contraintes de sécurité).

C'est le problème de l'Apprentissage par Renforcement Contraint Hors Ligne (Offline Constrained Reinforcement Learning). L'article que vous avez fourni, intitulé « Offline Constrained Reinforcement Learning under Partial Data Coverage », introduit une nouvelle méthode appelée PDOCRL pour résoudre ce problème.

Voici la décomposition du problème et de leur solution, en utilisant des analogies simples.

Le Problème : Le « Point Aveugle » et la « Politique Fantôme »

1. Le Problème de la Couverture Partielle (Le Point Aveugle)
Imaginez que votre bibliothèque vidéo ne contient que des séquences d'un conducteur humain empruntant l'autoroute. Elle ne contient aucune séquence de lui conduisant dans une ruelle étroite de la ville.

Si vous essayez d'enseigner au robot de conduire dans cette ruelle, le robot devine. Il ne sait pas ce qui se passe s'il tourne à gauche là-bas car il ne l'a jamais vu.
Les méthodes précédentes tentaient d'être « pessimistes » (en supposant le pire) concernant ces points aveugles. Cependant, dans un cadre contraint (où la sécurité est primordiale), ces méthodes sont souvent bloquées. Elles tentent d'évaluer des scénarios « et si » pour des stratégies intermédiaires que le robot teste. Si ces stratégies mènent à un point aveugle, l'évaluation échoue et le robot ne peut pas apprendre en toute sécurité.

2. Le Problème de la « Politique Fantôme » (La Recette Manquante)
De nombreuses méthodes existantes fonctionnent ainsi :

Elles calculent un « rapport de densité » (une manière élégante de dire : « À quelle fréquence le robot visite-t-il cet endroit par rapport à l'humain ? »).
Elles tentent ensuite de transformer ce rapport en une politique de conduite.
Le Problème : Pour effectuer l'étape 2, elles doivent connaître la probabilité exacte que le conducteur humain se trouve dans chaque endroit unique de la bibliothèque vidéo. Mais dans le monde réel, vous n'avez pas cette « liste maîtresse » des habitudes de l'humain. C'est comme essayer de faire un gâteau en utilisant une recette qui nécessite un ingrédient dont vous n'avez pas l'étiquette.

La Solution : PDOCRL

Les auteurs proposent PDOCRL (Primal-Dual Offline Constrained Reinforcement Learning). Ils résolvent les problèmes ci-dessus avec deux astuces ingénieuses.

Astuce 1 : La Cuisine « Décomposée » (Éviter le Fantôme)

Au lieu d'essayer de faire le gâteau (la politique) après avoir déterminé les rapports d'ingrédients (la densité), PDOCRL change entièrement la recette.

Ancienne Méthode : Calculer les rapports $\rightarrow$ Essayer de deviner la liste manquante d'ingrédients $\rightarrow$ Faire le gâteau. (Échoue si vous ne connaissez pas la liste d'ingrédients).
Méthode PDOCRL : Ils divisent le problème en deux tâches distinctes qui communiquent entre elles.
- Tâche A : Déterminer les rapports (dans quelle mesure faire confiance aux données).
- Tâche B : Ajuster directement la stratégie de conduite du robot (la politique).
- La Magie : Ils ont réécrit les mathématiques de sorte que la stratégie de conduite du robot devienne une variable directe dans l'équation. Cela signifie que le robot apprend le style de conduite directement, sans jamais avoir besoin de connaître la « liste maîtresse » des habitudes du conducteur humain. Cela contourne entièrement le besoin de l'étiquette d'ingrédient manquante.

Astuce 2 : Le « Piège Spuriaire » (Éviter les Faux Solutions)

Lorsque vous avez un problème mathématique complexe avec de nombreuses variables, vous trouvez parfois une « solution » qui semble parfaite sur le papier mais qui est en réalité un piège. En termes mathématiques, on les appelle des points de selle spuriaires.

L'Analogie : Imaginez que vous cherchez le sommet le plus élevé d'une chaîne de montagnes. Vous trouvez un endroit qui ressemble à un sommet sous un angle, mais si vous vous promenez autour, vous réalisez que c'est en fait une petite colline entourée d'une vallée profonde. Vous pensiez avoir trouvé le sommet, mais ce n'était pas le cas.
La Correction : L'article prouve que si vous supposez uniquement que la « meilleure » solution existe dans vos données, vous risquez de tomber dans ces pièges. Pour corriger cela, ils ajoutent une règle plus stricte : Le « cerveau » du robot (l'approximateur de fonction) doit être assez intelligent pour comprendre n'importe quel style de conduite possible, pas seulement le meilleur.
En forçant le cerveau du robot à être capable d'évaluer n'importe quelle stratégie, ils garantissent que le « sommet » qu'ils trouvent est le vrai sommet le plus élevé, et non un faux.

Le Résultat : Un Apprenant Sûr et Efficace

L'article affirme que PDOCRL réalise trois choses que les méthodes précédentes ne pouvaient pas faire toutes en même temps :

Couverture Partielle : Il fonctionne même si la bibliothèque de données présente de grands points aveugles (tant que le meilleur chemin est couvert).
Efficacité Oracle : Il est computationnellement rapide. Il n'a pas besoin de résoudre des énigmes mathématiques impossibles ; il utilise simplement des outils d'optimisation standards (comme un chef utilisant des couteaux standards plutôt que d'en inventer de nouveaux).
Pas de « Liste Maîtresse » Nécessaire : Il n'a pas besoin de connaître la distribution sous-jacente des données (les habitudes de l'humain). Il apprend directement à partir des vidéos.

Le « Test de Goût » (Expériences)

Les auteurs ont testé leur méthode sur des simulations de conduite standard (BulletGym).

La Référence : Ils l'ont comparée à d'autres algorithmes de conduite « sûre » de premier plan.
Le Résultat : PDOCRL était le seul algorithme à rester constamment sous la limite de vitesse (satisfaire la contrainte de sécurité) sur toutes les tâches tout en conduisant assez vite pour être compétitif.
L'Étude d'Ablation : Ils ont également testé ce qui se passait s'ils utilisaient l'ancienne méthode de « Politique Fantôme » (extraire la politique à partir des rapports). Le résultat ? Le robot a accidenté ou conduit terriblement. Cela a prouvé que leur nouvelle astuce de « politique directe » était essentielle.

Résumé

PDOCRL est un nouvel algorithme qui enseigne aux robots à être sûrs et efficaces en utilisant uniquement des données passées, même lorsque ces données sont incomplètes. Il y parvient en :

Sautant l'étape consistant à essayer de deviner les modèles cachés des données.
Optimisant directement le comportement du robot.
Utilisant une règle mathématique plus stricte pour garantir que le robot ne se laisse pas piéger par de fausses « solutions ».

C'est comme enseigner à un élève à conduire en lui montrant des vidéos, mais au lieu de lui demander de mémoriser chaque mouvement du professeur, vous lui enseignez directement les règles de la route, garantissant ainsi qu'il peut conduire en toute sécurité même dans des parties de la ville que le professeur n'a jamais visitées.

Résumé Technique : Apprentissage par Renforcement Contraint Hors Ligne sous Couverture Partielle des Données

Énoncé du Problème

L'article traite de l'Apprentissage par Renforcement Contraint Hors Ligne (Offline Constrained RL) dans le cadre des Processus de Décision Markoviens Contraints (CMDP) à récompense actualisée. L'objectif est d'apprendre une politique à partir d'un ensemble de données fixe et hors ligne qui maximise un signal de récompense principal tout en satisfaisant plusieurs contraintes auxiliaires de sécurité ou de ressources.

Un défi central dans ce contexte est la couverture partielle des données. Une optimisation fiable nécessite généralement que l'ensemble de données couvre l'occupation état-action des politiques évaluées. Dans l'apprentissage par renforcement hors ligne non contraint, les méthodes acteur-critique pessimistes ont fait preuve de succès sous une couverture insuffisante. Cependant, dans le contexte contraint, les méthodes primales-duales font face à un obstacle spécifique : la mise à jour des multiplicateurs duaux nécessite d'estimer les violations de contraintes pour des politiques intermédiaires. Sous une couverture partielle, ces politiques intermédiaires peuvent ne pas être supportées par l'ensemble de données, rendant les mises à jour duales peu fiables et réintroduisant efficacement de fortes exigences de couverture.

De plus, les méthodes existantes reposent souvent sur des étapes d'extraction de politique qui nécessitent la connaissance de la distribution de génération de données inconnue ( $\mu_D$ ) ou d'une politique de référence, ce qui est peu pratique dans des scénarios réels.

Méthodologie : PDOCRL

Les auteurs proposent PDOCRL (Primal-Dual Oracle-Efficient Constrained Reinforcement Learning), un algorithme conçu pour être efficace en termes d'oracle, efficace en échantillons sous couverture partielle, et indépendant de la distribution de génération de données.

1. Formulation en Programmation Linéaire Décomposée

Les formulations LP standard pour les CMDP optimisent sur les mesures d'occupation ( $\mu$ ). La récupération d'une politique à partir de $\mu$ nécessite généralement une normalisation par la distribution de données $\mu_D$ , qui est inconnue. Pour contourner cela, les auteurs emploient une décomposition Lagrangienne :

Ils introduisent une variable de copie $\nu$ pour la mesure d'occupation $\mu$ .
Ils séparent les rôles : $\mu$ est utilisé pour l'estimation Lagrangienne (via un changement de mesure vers la distribution de données), tandis que $\nu$ est utilisé pour l'extraction de politique.
Crucialement, ils reparamètrent $\nu$ en termes de la mesure d'occupation $\mu$ et de la politique $\pi$ directement : $\nu_{\mu, \pi}(s, a) = \pi(a|s)((1-\gamma)d_0(s) + \gamma[P^\top \mu](s))$ .
Cela rend la politique $\pi$ une variable d'optimisation explicite, éliminant le besoin d'une étape d'extraction de politique séparée dépendante de $\mu_D$ .

2. Gestion des Points de Selle Spuriaux

Les auteurs identifient que les formulations de points de selle restreintes utilisant une approximation fonctionnelle générale peuvent admettre des points de selle spuriaux. Même si les classes de fonctions contiennent la politique optimale, sa mesure d'occupation et les fonctions de valeur d'action optimales, un point de selle du Lagrangien restreint peut ne pas correspondre à une politique optimale.

Pour résoudre cela, ils imposent deux conditions clés :

Condition de Slater (Hypothèse B) : Assure l'existence d'une politique réalisable qui satisfait les contraintes avec une marge positive $\phi$ . Cela borne les variables duales optimales.
Réalisation de la Fonction de Valeur pour Toutes les Politiques (Hypothèse C) : Une condition de réalisation forte exigeant que pour chaque politique $\pi$ dans la classe, les fonctions de valeur $Q^\pi_0$ et $Q^\pi_0 + (1 + 1/\phi)Q^\pi_i$ soient contenues dans la classe de fonctions $\mathcal{Q}$ . Cela est plus fort que la réalisation pour une seule politique mais nécessaire pour écarter les points de selle spuriaux dans la formulation décomposée.

3. Algorithme Primal-Dual Efficace en Oracle

PDOCRL résout le problème de point de selle empirique en utilisant des oracles standards, évitant ainsi une optimisation min-max intraitable :

Joueurs Primaux :
- Ratio de Densité ( $w$ ) : Utilise un oracle d'optimisation linéaire en ligne sans regret ( $\mathcal{O}_{LOW}$ ) sur la classe de fonctions $\mathcal{W}$ .
- Politique ( $\pi$ ) : Utilise un oracle d'optimisation de politique sans regret ( $\mathcal{P}_{O\Pi,\mathcal{Q}}$ ) sur la classe de politiques $\Pi$ .
Joueurs Duaux :
- Fonction Q ( $Q$ ) : Utilise un oracle de minimisation linéaire ( $\mathcal{LMO}_{\mathcal{Q}}$ ) sur $\mathcal{Q}$ .
- Multiplicateurs de Lagrange ( $\lambda$ ) : Utilise un oracle de minimisation linéaire ( $\mathcal{LMO}_{B\Delta_I}$ ) sur la borne duale.

L'algorithme itère $T$ fois, mettant à jour ces variables et retournant une politique échantillonnée uniformément à partir de la séquence $\pi_1, \dots, \pi_T$ .

Contributions Clés

Conception d'Algorithme : PDOCRL est la première méthode à atteindre simultanément des garanties de couverture partielle, une efficacité d'oracle, et une indépendance vis-à-vis de la distribution de génération de données ( $\mu_D$ ) dans l'apprentissage par renforcement contraint hors ligne avec approximation fonctionnelle générale.
Insight Théorique sur les Points de Selle : L'article démontre que les formulations de points de selle restreintes naïves peuvent échouer en raison de points de selle spuriaux et identifie une condition de réalisation pour toutes les politiques plus forte sous laquelle chaque point de selle restreint est optimal.
Technique de Décomposition : En reparamétrant la mesure d'occupation pour rendre la politique une variable explicite, la méthode évite la fragilité statistique de l'extraction de politiques à partir de ratios de densité lorsque $\mu_D$ est inconnu.
Complexité en Échantillons : Sous les hypothèses énoncées, PDOCRL retourne une politique quasi-optimale et quasi-réalisable avec une complexité en échantillons de $\tilde{O}(\epsilon^{-2})$ .

Résultats Expérimentaux

Les auteurs ont évalué PDOCRL sur le benchmark BulletGym en utilisant des ensembles de données du package DSRL.

Bases de comparaison : Comparé à BC-All, BC-Safe, CDT, BCQ-Lag, BEAR-Lag, CPQ, et COptiDICE.
Performance : PDOCRL était le seul algorithme à satisfaire constamment les contraintes de sécurité (coût normalisé $\le 1$ ) sur toutes les tâches tout en maintenant une performance de récompense compétitive.
Étude d'Ablation : Une variante de PDOCRL qui revient à l'étape standard d'extraction de politique (nécessitant la connaissance de $\mu_D$ ) a performé significativement moins bien, confirmant que la reparamétrisation proposée est critique pour la performance dans le contexte hors ligne.

Signification et Revendications

L'article revendique que PDOCRL comble un écart fondamental dans l'apprentissage par renforcement contraint hors ligne : le compromis entre les exigences de couverture, l'efficacité computationnelle et le besoin de connaissance de la distribution de données.

Contrairement aux méthodes acteur-critique précédentes (par exemple PDCA, WSAC) qui nécessitent une couverture complète ou une optimisation intraitable, PDOCRL opère sous couverture partielle avec une efficacité d'oracle.
Contrairement aux méthodes basées sur le ratio de densité (par exemple COptiDICE, POCC) qui reposent sur $\mu_D$ pour l'extraction de politique, PDOCRL optimise la politique directement.
Le travail souligne que bien que des hypothèses de réalisation fortes (pour toutes les politiques) soient requises pour garantir l'optimalité en présence de points de selle spuriaux, ceci est un prix théorique nécessaire pour atteindre l'efficacité d'oracle et éviter les hypothèses distributionnelles dans le contexte de l'approximation fonctionnelle générale.

Les auteurs concluent que PDOCRL fournit un cadre prouvé efficace pour l'apprentissage hors ligne sécurisé, bien qu'ils notent que l'assouplissement de la condition de réalisation pour toutes les politiques vers la réalisation pour une seule politique reste une direction pour les travaux futurs.