Résumé technique : Génération proactive de coûts basée sur un modèle pour apprendre des politiques sûres hors ligne avec des données de violation limitées

1. Énoncé du problème

L'apprentissage par renforcement (RL) sûr vise à dériver des politiques satisfaisant des contraintes de sécurité prédéfinies, ce qui est crucial pour des applications telles que la conduite autonome et la robotique. Bien que le RL sûr hors ligne offre un paradigme permettant d'apprendre à partir de jeux de données précollectés sans exploration en ligne risquée, les méthodes existantes font face à une limitation fondamentale dans les scénarios à haut risque : la rareté ou l'absence totale d'échantillons dangereux.

Dans de nombreux processus pratiques de collecte de données (par exemple, la manipulation robotique), des interventions externes empêchent souvent les agents d'atteindre des états dangereux, ce qui aboutit à des jeux de données composés presque entièrement de trajectoires sûres. Les méthodes conventionnelles de RL sûr hors ligne, qui reposent sur l'apprentissage de fonctions de valeur de coût à partir d'échantillons dangereux abondants pour définir les limites de sécurité, échouent dans ce contexte. Elles ont tendance à traiter toutes les données observées comme uniformément sûres, négligeant les états « sûrs mais non réalisables » — des états qui satisfont actuellement les contraintes mais les violent inévitablement en quelques étapes en raison de la dynamique (par exemple, l'inertie). Cette omission conduit à des échecs de déploiement de politiques où les agents dérivent vers des régions dangereuses.

Le défi central est le suivant : Comment apprendre une politique sûre hors ligne lorsque les échantillons dangereux sont rares ou totalement absents ?

2. Méthodologie : PROCO

Les auteurs proposent PROCO (Génération proactive de coûts basée sur un modèle), un cadre de RL sûr hors ligne basé sur un modèle conçu pour identifier les états non réalisables et apprendre des politiques sûres à partir de jeux de données comportant peu ou pas d'échantillons dangereux. La méthodologie intègre trois composants clés :

A. Génération de fonction de coût conservatrice assistée par LLM

Pour combler le fossé causé par le manque de données dangereuses, PROCO exploite les grands modèles de langage (LLM) pour intégrer des connaissances en langage naturel dans le processus d'apprentissage.

• Entrée : Le LLM reçoit des informations sur la tâche ($L_{task}$), une description en langage naturel des contraintes de sécurité ($L_{cost}$) et des instructions explicites ($L_{inst}$) pour générer une fonction de coût qui soit plus conservatrice que la définition stricte de la contrainte.
• Sortie : Une fonction Python $\bar{c}$ qui étiquette les états comme dangereux (1) ou sûrs (0).
• Validation et boucle de rétroaction : Puisque les sorties des LLM peuvent être peu fiables, PROCO emploie un mécanisme de validation :
  1. Vérification de sécurité : La fonction de coût générée est validée contre un petit ensemble d'échantillons dangereux connus ($D_{unsafe}$, $\le 100$ échantillons). Elle doit atteindre 100 % de précision sur ceux-ci pour garantir qu'aucun état dangereux connu n'est manqué.
  2. Vérification de la conservatisme : La fonction est évaluée sur le jeu de données sûr ($D$). La proportion d'échantillons sûrs étiquetés comme dangereux est mesurée. Si cette proportion se situe dans une plage contrôlée par un hyperparamètre $[p_{min}, p_{max}]$, la fonction est acceptée.
  3. Raffinement : Si la fonction est trop conservatrice ou pas assez conservatrice, une description de rétroaction ($L_{feed}$) est générée et renvoyée au LLM pour affiner la fonction de coût.

B. Identification de la faisabilité basée sur un modèle de dynamique

PROCO apprend un modèle de dynamique ensembliste $\hat{T}$ à partir des données hors ligne. Pour identifier les états non réalisables sans violations observées, il effectue des déroulements de modèle ramifiés :

• En partant d'échantillons de données hors ligne, le modèle simule des trajectoires futures.
• Un opérateur de Bellman de faisabilité conservateur ($\bar{B}^*$) est introduit. Contrairement aux opérateurs standards, $\bar{B}^*$ considère la transition au pire cas au sein de l'ensemble des modèles de dynamique pour garantir la robustesse face à l'incertitude du modèle.
• Ce processus génère de manière proactive divers échantillons dangereux contrefactuels. En étiquetant les états proches des états dangereux réels comme dangereux (via la fonction de coût conservatrice), la méthode réduit efficacement le nombre d'étapes de transition des états non réalisables aux états dangereux, diminuant ainsi l'impact des erreurs de modèle sur l'identification de la faisabilité.

C. Pipeline d'apprentissage de la politique

1. Augmentation des données : Le modèle de dynamique appris $\hat{T}$ et la fonction de coût conservatrice $\bar{c}$ sont utilisés pour effectuer des déroulements de modèle. Les trajectoires contenant des violations de sécurité (selon $\bar{c}$) sont ajoutées à un jeu de données synthétique $D_{\hat{T}}$.
2. Re-étiquetage : Le jeu de données hors ligne $D$ est re-étiqueté avec des coûts de violation de contrainte en utilisant $\bar{c}$.
3. Mise à jour de la fonction de valeur : L'algorithme met à jour la fonction de valeur de violation de contrainte ($V_h$) et la fonction de valeur d'action ($Q_h$) en utilisant le jeu de données combiné ($D \cup D_{\hat{T}}$). Il emploie une régression d'expectile inverse pour approximer l'opérateur de minimisation dans la mise à jour de Bellman réalisable.
4. Optimisation de la politique : La politique est mise à jour en utilisant le jeu de données hors ligne original $D$, guidée par les critiques de coût appris à partir des données augmentées.

3. Contributions clés

1. Formulation du problème : L'article identifie et formalise le défi d'apprendre des politiques sûres à partir de jeux de données « uniquement sûrs » où les états non réalisables sont indistinguables des états sûrs sans échantillons dangereux.
2. Intégration connaissances-données : Il introduit un cadre novateur (PROCO) qui intègre des spécifications de sécurité en langage naturel (via des LLM) avec des données empiriques hors ligne pour générer des fonctions de coût conservatrices, permettant une estimation des risques sans violations observées.
3. Identification proactive de la faisabilité : En combinant un modèle de dynamique appris avec une fonction de coût conservatrice, PROCO synthétise des échantillons dangereux contrefactuels pour identifier les états non réalisables, comblant ainsi le « angle mort » des états « sûrs mais non réalisables » des méthodes existantes.
4. Garanties théoriques : Les auteurs fournissent une analyse théorique (Théorème 4.8) démontrant que l'intégration de PROCO avec n'importe quel algorithme de base de RL sûr hors ligne ne dégrade pas les performances de sécurité en raison de la sous-estimation des valeurs de sécurité, même sans hypothèses sur l'ampleur de l'erreur de modèle.

4. Résultats expérimentaux

Les auteurs ont évalué PROCO sur 17 tâches du benchmark Safety-Gymnasium (tâches de navigation et de vitesse) en utilisant le jeu de données OSRL, en construisant spécifiquement des jeux de données « uniquement sûrs » en supprimant toutes les données dangereuses.

• Performance : PROCO a nettement surpassé les algorithmes originaux de RL sûr hors ligne (FISOR, LSPC, CAPS) et les bases de référence de clonage comportemental (BC, CDT) sur les jeux de données uniquement sûrs.
  • Il a réalisé une amélioration de plus de 400 % des performances de sécurité à travers divers algorithmes, certaines tâches montrant des améliorations dépassant 1000 %.
  • Dans l'étude de cas « Ant Circle », PROCO a réussi à identifier les états non réalisables proches de la limite de sécurité et a obtenu zéro violation de sécurité, tandis que les bases de référence n'ont pas réussi à distinguer les états réalisables des non réalisables et ont subi des violations significatives.
• Robustesse : La méthode est restée efficace même lorsque la quantité de données dangereuses disponibles était extrêmement limitée (par exemple, 10 % du jeu de données dangereux original).
• Études d'ablation :
  • Le retrait du modèle de dynamique ou de la génération de fonction de coût conservatrice a entraîné des baisses significatives des performances de sécurité.
  • Le mécanisme de rétroaction pour la fonction de coût générée par le LLM était crucial pour atteindre le niveau de conservatisme souhaité.
  • La méthode a montré une stabilité à travers différents LLM (GPT-o4-mini, Gemini 2.5 Pro), bien que les performances aient légèrement varié.

5. Importance et revendications

L'article revendique que PROCO répond à un goulot d'étranglement critique dans le déploiement du RL sûr dans des environnements réels à haut risque où la collecte de données dangereuses est irréalisable ou dangereuse. En exploitant les LLM pour traduire les contraintes de sécurité en langage naturel en fonctions de coût conservatrices et en utilisant des déroulements de modèle pour explorer de manière proactive les défaillances potentielles, PROCO permet l'apprentissage de politiques sûres à partir de jeux de données qui seraient autrement insuffisants pour la prise de décision critique en matière de sécurité.

Les auteurs soulignent que leur approche ne nécessite pas d'échantillons dangereux pour apprendre une politique sûre, la rendant adaptée aux scénarios où les données sont collectées via une téléopération humaine ou une intervention externe empêchant les collisions. Ils concluent que, bien que la méthode repose actuellement sur des observations basées sur l'état et des LLM, elle représente une étape significative vers un RL sûr hors ligne piloté par les connaissances. Des travaux futurs sont suggérés pour étendre cela à des tâches visuelles en utilisant des modèles vision-langage (VLM).