🤖 machine learning

Decoupled Guidance Diffusion for Adaptive Offline Safe Reinforcement Learning

Ce papier présente la Guidance Diffusive Découplée et Sécurisée (SDGD), un nouveau cadre d'apprentissage par renforcement hors ligne sécurisé qui combine la guidance sans classeur conditionnée par le coût avec le Reciblage des Trajectoires Faisables pour découpler efficacement les contraintes de sécurité de l'optimisation de la récompense, permettant ainsi une conformité sécuritaire supérieure et des rendements élevés dans des scénarios de budget adaptatif.

Auteurs originaux : Rufeng Chen, Zhaofan Zhang, Zhejiang Yang, Hechang Chen, Sihong Xie

Publié 2026-05-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rufeng Chen, Zhaofan Zhang, Zhejiang Yang, Hechang Chen, Sihong Xie

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à conduire une voiture, mais que vous ne disposiez que d'un enregistrement vidéo de la façon dont d'autres voitures ont conduit par le passé. Vous ne pouvez pas laisser le robot rouler et se crasher pour apprendre ; il doit apprendre strictement à partir de ces anciennes images. C'est l'Apprentissage par Renforcement Hors Ligne.

Ajoutez maintenant une nuance : parfois, vous voulez que le robot soit très prudent (comme conduire dans une zone scolaire), et d'autres fois, vous voulez qu'il soit un peu plus agressif (comme conduire sur une autoroute ouverte). Le « budget de sécurité » change selon la situation. C'est l'Apprentissage par Renforcement Adaptatif et Sécurisé.

Le problème est que la plupart des méthodes existantes ressemblent à un élève essayant de mémoriser un itinéraire spécifique pour une limite de vitesse spécifique. Si la limite de vitesse change, l'élève se perd ou se crash.

Voici comment la nouvelle méthode de l'article, SDGD, résout ce problème, expliquée par de simples analogies :

1. L'Ancienne Méthode : Le « Pas à Pas » vs La « Photo Floue »

L'Ancienne Méthode (Modèles Autoregressifs) : Imaginez essayer de dessiner une longue route sinueuse en traçant un tout petit segment, puis le suivant, puis le suivant. Si vous faites une toute petite erreur dans le premier segment, le segment suivant doit compenser, et à la fin, votre route est complètement hors de la carte. C'est ainsi que fonctionnaient les anciens planificateurs d'IA ; ils commettaient de petites erreurs qui s'accumulaient, provoquant la violation des règles de sécurité par le robot.
La Nouvelle Méthode (Modèles de Diffusion) : Imaginez prendre une photo floue et bruitée de la route entière d'un coup, puis l'affiner lentement jusqu'à ce que tout le chemin soit clair. C'est ce que fait la Diffusion. Elle génère tout le trajet ensemble, de sorte que les petites erreurs ne s'accumulent pas.

2. Le Problème Central : Mélanger « Sécurité » et « Vitesse »

Par le passé, l'IA tentait d'équilibrer sécurité et vitesse en les traitant comme deux forces opposées tirant le robot dans des directions différentes.

L'Analogie : Imaginez un conducteur à qui l'on dit : « Roulez aussi vite que possible, mais ne heurtez pas le mur. » L'IA tenterait de calculer l'angle parfait pour aller vite et rester en sécurité. Mais si le « mur » (la limite de sécurité) bouge, l'IA se perd. Elle tente souvent d'aller vite et heurte accidentellement le mur parce qu'elle pensait que le mur était ailleurs.

3. La Solution SDGD : Le Système à « Deux Coachs »

Les auteurs ont réalisé que la Sécurité et la Vitesse ne devraient pas se battre l'une contre l'autre ; elles devraient avoir des rôles différents. Ils ont créé un système avec deux « coachs » distincts :

Coach 1 : L'Exécuteur de Sécurité (Guidance sans Classificateur)
- Rôle : Ce coach observe le « Budget de Sécurité » (par exemple : « Vous ne pouvez dépenser que 10 points de risque aujourd'hui »).
- Action : Il ne tente pas de calculer l'angle parfait. Au lieu de cela, il dit simplement : « Si le chemin que vous dessinez pénètre dans la « zone de danger » (au-delà du budget), effacez-le et redessinez-le. » Il agit comme un filtre qui n'autorise l'existence que des chemins sûrs. Il ne se soucie pas de votre vitesse, seulement du fait que vous restiez dans les lignes.
Coach 2 : Le Coach de Vitesse (Guidance par Gradient de Récompense)
- Rôle : Ce coach examine les chemins sûrs et dit : « Parmi tous les chemins sûrs que nous avons, lequel vous amène à la ligne d'arrivée le plus vite ? »
- Action : Il pousse le robot vers la route sûre la plus rapide.

La Magie : En séparant ces deux rôles, le robot peut passer instantanément du « Mode Zone Scolaire » (budget de sécurité strict) au « Mode Autoroute » (budget lâche) simplement en demandant au Coach 1 de changer les règles. Il n'a pas besoin de réapprendre à conduire.

4. Le Piège Sournois : Le « Reétiquetage des Trajectoires Faisables » (FTR)

Il y avait un seul hic. Même avec deux coachs, le « Coach de Vitesse » pourrait devenir avide.

Le Problème : Parfois, le moyen le plus rapide d'obtenir un score élevé implique de prendre un risque énorme dès le début du trajet. Si le robot prend ce risque, il pourrait se crasher immédiatement, mais le « Coach de Vitesse » voit le score potentiel élevé et dit : « Fonce ! »
La Solution (FTR) : Les auteurs ont introduit une règle appelée Reétiquetage des Trajectoires Faisables.
- L'Analogie : Imaginez un élève qui obtient un « A » à un examen mais a triché sur la première question. Le professeur (FTR) dit : « Même si vous avez eu un « A », parce que vous avez triché sur la première partie, nous allons noter tout votre examen « Échec ». »
- Fonctionnement : Le système examine les premières étapes du plan du robot. Si ces premières étapes sont dangereuses (même si le reste du plan semble excellent), le système dit au « Coach de Vitesse » : « Ne donnez pas de crédit à ce chemin. » Cela empêche le robot de prendre des raccourcis dangereux juste pour obtenir un score élevé.

5. Les Résultats : L'Équilibre Parfait

Les chercheurs ont testé cela sur 38 tâches de conduite et de robotique différentes (comme une voiture essayant d'appuyer sur un bouton ou un drone volant à travers un parcours).

Le Score : Leur méthode (SDGD) était suffisamment sûre pour respecter les règles dans 36 cas sur 38.
La Performance : Parmi toutes les méthodes qui étaient sûres, SDGD était la plus rapide (récompense la plus élevée) dans 21 de ces tâches.
La Flexibilité : Ils pouvaient changer les règles de sécurité pendant que le robot fonctionnait, et le robot s'adaptait instantanément sans avoir besoin d'être reentraîné.

Résumé

Pensez à SDGD comme à un système de navigation intelligent qui ne calcule pas seulement l'itinéraire le plus rapide.

Il dessine d'abord une carte qui n'inclut que les routes légales pour votre limite de vitesse actuelle (Coach Sécurité).
Ensuite, il choisit l'itinéraire le plus rapide sur cette carte légale (Coach Vitesse).
Il possède une règle spéciale qui dit : « Si le premier virage est illégal, tout l'itinéraire est illégal », empêchant le système de tenter de tricher pour obtenir un temps plus rapide.

Cela permet aux robots d'être sûrs et efficaces, même lorsque les règles de la route changent à la volée.

Résumé Technique : Guidance Diffusion Découplée et Sécurisée (SDGD)

Définition du Problème
L'apprentissage par renforcement (RL) sûr hors ligne vise à apprendre des politiques à partir de jeux de données pré-collectés afin d'optimiser les performances de la tâche tout en satisfaisant des contraintes de sécurité. Un défi critique survient lors du déploiement où les budgets de sécurité (limites de coût) ne sont pas fixes ; ils peuvent varier selon les tâches, les utilisateurs ou les conditions d'exploitation, et peuvent même changer dynamiquement au sein d'un seul épisode. Les méthodes existantes peinent à s'adapter à cette flexibilité. Les modèles de trajectoires autoregressifs souffrent d'erreurs d'accumulation lors du déroulement, entraînant des écarts significatifs dans le coût cumulé sur des horizons longs. À l'inverse, les planificateurs basés sur la diffusion, bien que capables de générer des trajectoires conjointes, reposent souvent sur une guidance par classifieur ou un commutage de gradients pour imposer la sécurité. Ces approches nécessitent que des classifieurs de coût fournissent des signaux fiables sur des trajectoires intermédiaires bruyantes, une condition que les preuves empiriques suggèrent être fragile ; les classifieurs de coût présentent souvent une corrélation faible et instable avec les coûts cumulés réels, conduisant à une satisfaction des contraintes peu fiable.

Méthodologie
L'article propose la Guidance Diffusion Découplée et Sécurisée (SDGD), un planificateur basé sur la diffusion qui réinterprète la génération adaptative de trajectoires sûres comme un échantillonnage à partir d'une distribution de trajectoires contrainte. L'idée centrale est une asymétrie entre la sécurité et la récompense : la sécurité agit comme une restriction stricte sur le support de la trajectoire (définissant où échantillonner), tandis que la récompense agit comme une préférence façonnant la distribution au sein de ce support (définissant quels échantillons privilégier). SDGD découple ces rôles en deux mécanismes de guidance distincts :

Conditionnement par Limite de Coût via Guidance Sans Classifieur (CFG) :
Au lieu d'utiliser un classifieur de coût séparé pour guider le processus de diffusion inverse, SDGD entraîne un modèle de diffusion conditionné directement sur la limite de coût $l$ . Lors de l'échantillonnage, la Guidance Sans Classifieur est appliquée pour biaiser la génération vers des trajectoires satisfaisant la limite spécifiée. Cette approche évite l'instabilité de la différenciation de prédictions de coût bruyantes et permet au modèle de s'adapter à des limites de coût variables ou dynamiques sans réentraînement.
Raffinement par Gradient de Récompense :
Une fois l'échantillonnage biaisé vers la région sûre, un prédicteur de récompense appris fournit une guidance par gradient pour affiner les trajectoires en vue d'un retour plus élevé. Cependant, les auteurs notent que la guidance directe par récompense peut involontairement augmenter le coût cumulé, car les trajectoires à haut retour dans les données hors ligne sont souvent corrélées à des coûts élevés.
Reétiquetage des Trajectoires Faisables (FTR) :
Pour atténuer la « dérive de coût induite par la récompense », SDGD introduit le FTR. Cette technique remodèle les cibles de récompense utilisées pour entraîner le prédicteur de récompense. Plus précisément, les trajectoires qui engendrent des coûts dans le préfixe exécutable (les étapes initiales d'une trajectoire qui sont exécutées immédiatement avant le replanification) sont pénalisées. En entraînant le prédicteur de récompense sur ces cibles reétiquetées, la méthode décourage le gradient de récompense de diriger les échantillons vers des régions où des retours élevés sont obtenus au prix de violations immédiates de la sécurité.

Analyse Théorique
L'article fournit une analyse d'échantillonnage du premier ordre démontrant que le FTR supprime la dérive de coût induite par la récompense. Sous une « condition d'alignement restaurateur de préfixe », où le gradient d'infaisabilité du préfixe est positivement aligné avec le gradient du coût cumulé, la correction FTR introduit un terme négatif dans l'équation de dérive de coût. Cela garantit que l'écart de coût induit par un échantillonnage guidé par FTR est inférieur à celui d'un échantillonnage guidé par récompense brute par rapport à la base conditionnée par le coût.

Contributions Clés

Architecture de Guidance Découplée : Un cadre novateur qui sépare l'imposition de la sécurité (via CFG sur les limites de coût) de l'optimisation de la récompense (via des gradients de récompense), les traitant comme des objectifs non interchangeables.
Reétiquetage des Trajectoires Faisables (FTR) : Un mécanisme pour remodeler les cibles de récompense afin d'empêcher les gradients de récompense de conduire la politique vers des régions non sûres, traitant spécifiquement la corrélation entre haute récompense et coût élevé dans les données hors ligne.
Échantillonnage Adaptatif : Une méthode qui s'adapte aux limites de coût au moment du déploiement (y compris les changements dynamiques au sein d'un épisode) sans nécessiter de réentraînement de la politique ni de nouvelle collecte de données.

Résultats Expérimentaux
Des évaluations extensives ont été menées sur la référence DSRL, comprenant 38 tâches issues de Safety-Gymnasium, Bullet-Safety-Gym et MetaDrive.

Conformité à la Sécurité : SDGD a satisfait la contrainte de coût normalisée ( $\le 1$ ) sur 36 tâches sur 38 (94,7 %), surpassant toutes les lignes de base (la suivante en satisfaisait 21).
Performance de Récompense : Parmi les méthodes satisfaisant les contraintes de sécurité, SDGD a obtenu la récompense la plus élevée sur 21 tâches.
Adaptabilité : Dans des expériences avec des limites de coût variables (10, 20, 30) et des limites variant dans le temps au sein d'un épisode, SDGD a maintenu la sécurité tout en ajustant les performances de récompense, tandis que les lignes de base violaient soit les contraintes avec des budgets serrés, soit restaient excessivement conservatrices avec des budgets lâches.
Efficacité : La méthode a atteint une efficacité de décision de 2,1 Hz sur un GPU NVIDIA A6000, plus rapide que les méthodes précédentes basées sur la diffusion.

Signification et Affirmations
L'article affirme que SDGD représente une avancée significative dans le RL sûr hors ligne adaptatif en traitant les limites de l'accumulation d'erreurs séquentielles et de la guidance par classifieur peu fiable. En réinterprétant la sécurité comme une restriction distributionnelle plutôt que comme un objectif de gradient concurrent, SDGD atteint une conformité robuste à la sécurité à travers des budgets de coûts divers et dynamiques. Les auteurs soulignent que leur approche permet une adaptation fiable aux contraintes de sécurité changeantes sans réentraînement, une capacité essentielle pour les domaines critiques pour la sécurité tels que la robotique et la conduite autonome. L'ouvrage conclut que le découplage de la guidance de sécurité et de récompense, combiné au FTR, résout efficacement le compromis entre satisfaction des contraintes et optimisation des performances dans des contextes hors ligne.