🤖 machine learning

Lyapunov-Guided Self-Alignment: Test-Time Adaptation for Offline Safe Reinforcement Learning

Ce papier présente SAS, un cadre basé sur les transformateurs qui permet l'adaptation au moment du test pour l'apprentissage par renforcement hors ligne sûr en générant et en sélectionnant des trajectoires imaginées conformes aux fonctions de Lyapunov comme invites en contexte pour recentrer le comportement de l'agent vers la sécurité sans réentraînement.

Auteurs originaux : Seungyub Han, Hyungjin Kim, Jungwoo Lee

Publié 2026-04-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Seungyub Han, Hyungjin Kim, Jungwoo Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagez un chauffeur robot hautement qualifié qui a appris à conduire en regardant des milliers d'heures de vidéos de conduite experte. Ce robot est excellent pour suivre la route, mais il a un problème : il a été entraîné dans une simulation parfaite et ensoleillée. Lorsque vous le placez enfin sur une vraie route, avec de la pluie inattendue, des nids-de-poule ou un détour soudain, le robot panique. Il tente d'appliquer ses anciennes règles à une nouvelle situation et pourrait foncer droit dans un mur ou un fossé.

C'est le problème central que l'article aborde : l'Apprentissage par Renforcement Hors Ligne (Offline RL). C'est comme entraîner un robot sur un vaste ensemble de données d'expériences passées sans lui permettre de s'entraîner dans le monde réel. Lorsque le monde réel change légèrement, le robot devient dangereux.

Les auteurs proposent une solution appelée SAS (Auto-alignement pour la sécurité). Considérez SAS non pas comme un nouvel enseignant, mais comme un coach de sécurité qui parle au robot juste avant qu'il ne commence à conduire.

Voici comment SAS fonctionne, décomposé en concepts simples :

1. La phase d'« Imagination »

Avant que le robot ne fasse un seul pas réel, SAS lui demande d'imaginer plusieurs façons différentes de conduire dans les quelques secondes à venir.

La Métaphore : Imaginez que vous êtes sur le point de traverser une rue passante. Avant de faire un pas, vous imaginez rapidement trois scénarios : « Si je marche à gauche, je pourrais percuter une voiture », « Si je marche à droite, je pourrais trébucher », et « Si je marche tout droit, je suis en sécurité ».
La Technologie : Le robot utilise son « modèle du monde » interne (une carte mentale du fonctionnement du monde) pour générer ces chemins imaginaires, ou « trajectoires simulées ».

2. La vérification de sécurité « Lyapunov »

Comment le robot sait-il quel chemin imaginaire est sûr ? Il utilise un outil mathématique appelé fonction de Lyapunov.

La Métaphore : Considérez la sécurité du robot comme une bille roulant sur une colline. Une vérification « Lyapunov » est comme un capteur qui s'assure que la bille roule toujours vers le bas en direction d'une vallée sûre (l'objectif) et jamais vers le haut en direction d'une falaise (danger).
La Technologie : L'article définit un « score de sécurité » basé sur la fréquence à laquelle le robot a rencontré des situations similaires dans ses données d'entraînement. Si un chemin imaginaire mène à un endroit que le robot n'a jamais vu auparavant (une zone de « faible densité »), le score de sécurité chute et le chemin est signalé comme dangereux. Le robot vérifie : « Ce chemin maintient-il le score de sécurité en baisse (ou reste-t-il sûr) ? »

3. L'« Auto-alignement » (Le tour de magie)

C'est la partie la plus unique. Habituellement, pour corriger un robot, vous devez le réentraîner à partir de zéro, ce qui prend beaucoup de temps et de données. SAS fait quelque chose de plus intelligent : Il utilise l'imagination du robot pour se corriger lui-même.

La Métaphore : Imaginez que le robot est sur le point de conduire. Au lieu de le réentraîner, SAS dit : « Hé, regarde ces trois chemins imaginaires que tu viens de créer. Deux d'entre eux percutent un mur. L'un d'eux est sûr. Faisons semblant que ce chemin sûr est un indice ou un prompt. »
Le robot prend ensuite ce chemin imaginaire sûr et le réinjecte dans son propre cerveau comme une « démonstration ». C'est comme si le robot disait : « D'accord, je vois maintenant le chemin sûr. Je vais suivre cet exemple spécifique. »
Le Résultat : Le robot aligne son comportement pour être sûr sans modifier son code sous-jacent ni ses poids. C'est une « auto-correction » utilisant un prompt, similaire à la façon dont vous pourriez demander à une IA intelligente : « Voici un exemple sûr, fais maintenant la même chose », sans avoir besoin de réentraîner l'IA.

4. Le cerveau « Hiérarchique »

L'article explique que le cerveau du robot (un modèle Transformer) fonctionne comme un manager à deux niveaux.

La Métaphore : Il y a un Patron (politique de haut niveau) qui décide de la stratégie générale (par exemple, « Va vers l'objectif »), et un Ouvrier (politique de bas niveau) qui déplace réellement les roues.
La Technologie : SAS agit comme le Patron. En injectant le chemin imaginaire « sûr » comme prompt, SAS murmure essentiellement une nouvelle instruction au Patron : « Pour cette situation spécifique, la stratégie doit être 'suivre ce chemin sûr'. » Cela permet au robot de s'adapter instantanément aux nouveaux dangers.

Que ont-ils découvert ?

Les auteurs ont testé cela sur diverses simulations de robots (comme déplacer une voiture, un point ou un drone à travers des obstacles).

Le Résultat : Les robots utilisant SAS ont commis significativement moins d'erreurs et ont moins souvent percuté des obstacles que les robots n'utilisant que leur entraînement d'origine.
Le Bonus : Ils n'ont pas sacrifié la performance. Les robots étaient toujours rapides et atteignaient leurs objectifs, mais ils le faisaient beaucoup plus sûrement.
L'Idée Principale : SAS permet à un robot entraîné sur d'anciennes données de s'adapter instantanément à de nouvelles situations dangereuses en utilisant sa propre « imagination » pour trouver un chemin sûr, puis en suivant ce chemin comme une règle.

Résumé

SAS est comme un filet de sécurité fait des propres pensées du robot. Au lieu de forcer le robot à apprendre de nouvelles règles (ce qui est lent et difficile), SAS demande au robot d'imaginer le futur, de choisir la version la plus sûre de ce futur, puis d'utiliser cette version sûre comme guide pour ce qu'il faut faire maintenant. Cela transforme « et si » en « quoi faire », maintenant le robot en sécurité sans avoir besoin d'une seule seconde de réentraînement.

1. Énoncé du problème

Les agents d'apprentissage par renforcement (RL) hors ligne, entraînés sur des ensembles de données statiques (par exemple, D4RL, DSRL), échouent souvent lors de leur déploiement dans des environnements réels en raison de décalages de distribution. Même si un agent performe bien sur les données d'entraînement, de légères différences dans les dynamiques ou les transitions d'état peuvent entraîner des comportements dangereux (par exemple, des collisions, le dépassement de seuils de coût).

Les solutions existantes présentent des limitations significatives :

Adaptation basée sur la croyance : Nécessite un réentraînement complet pour modéliser l'incertitude.
RL contraint ou conservateur : Sacrifie souvent les performances (retour) ou nécessite un réglage fin avec des signaux de coût supplémentaires.
Adaptation au moment du test : La plupart des méthodes actuelles ne peuvent pas adapter un agent hors ligne préentraîné aux contraintes de sécurité lors du déploiement sans mises à jour des paramètres ou supervision humaine.

La question centrale abordée est la suivante : Un agent de RL hors ligne peut-il s'auto-aligner pour la sécurité au moment du test en utilisant uniquement sa distribution préentraînée, sans réentraînement ?

2. Méthodologie : SAS (Auto-alignement pour la sécurité)

Les auteurs proposent SAS, un cadre basé sur les transformateurs qui permet l'adaptation au moment du test grâce à un auto-alignement guidé par Lyapunov. La méthode fonctionne sans mettre à jour les paramètres du modèle, s'appuyant plutôt sur l'apprentissage en contexte et l'inférence bayésienne.

Composants principaux

Modèle de densité de Lyapunov (LDM) pour le RL hors ligne :
- Les auteurs reformulent la stabilité de Lyapunov en utilisant des mesures d'occupation dérivées des données hors ligne.
- Ils définissent une fonction d'énergie $E(s, a) = -\log \hat{\rho}_\pi(s, a)$ , où $\hat{\rho}_\pi$ est la mesure d'occupation basée sur le modèle estimée à partir de trajectoires imaginées.
- Un substitut de Lyapunov $G_{SAS}(s, a)$ est construit pour garantir que l'agent reste dans un ensemble invariant par contrôle ( $R_{SAS}^G$ ). Cet ensemble garantit que les trajectoires n'entrent pas dans des régions de faible densité (dangereuses/hors distribution).
- $G_{SAS}$ est défini comme l'énergie minimale rencontrée le long de n'importe quelle trajectoire, assurant que la politique évite de s'effondrer dans des régions dangereuses de faible probabilité.
Vue par inférence probabiliste :
- Le papier interprète l'agent de RL basé sur le transformateur comme un système de RL hiérarchique où la politique de haut niveau sélectionne des compétences latentes ( $z_t$ ) et la politique de bas niveau exécute les actions.
- L'apprentissage en contexte est présenté comme une inférence bayésienne sur ces compétences latentes. En fournissant un prompt (une séquence de paires état-action), le modèle infère la politique de haut niveau la plus probable compatible avec ce prompt.
- Les conditions de sécurité sont encodées comme des indicateurs observables ( $U_t$ $U_{t}$ et $V_t$ $V_{t}$ ) :
  - $U_t$ : Indique si la paire état-action actuelle se trouve dans la région de densité sûre ( $G_{SAS} > 0$ ).
  - $V_t$ : Indique si la fonction de Lyapunov est non croissante ( $G_{SAS}(s_t, a_t) \geq G_{SAS}(s_{t+1}, a_{t+1})$ ).
L'algorithme SAS (Algorithme 1) :
Le processus implique deux boucles d'"imagination" et de sélection :
- Étape 1 (Condition $U_t$ ) : À partir d'un état initial fixe, le transformateur imagine $N$ trajectoires. Il sélectionne le segment de trajectoire qui minimise l'énergie maximale (risque au pire cas) pour former un prompt initial.
- Étape 2 (Condition $V_t$ ) : En utilisant le prompt initial, le transformateur imagine $M$ nouvelles trajectoires. Il sélectionne la trajectoire qui maximise la descente cumulative de Lyapunov (somme des indicateurs $V_t$ ).
- Étape 3 (Déploiement) : Le segment sûr sélectionné est utilisé comme prompt en contexte ( $p_{1:K}$ ) pour le transformateur. L'agent conditionne ensuite ses actions sur ce prompt et l'état actuel, "orientant" efficacement la politique préentraînée vers un comportement sûr sans mises à jour par gradient.

3. Contributions clés

Nouvelle formulation : Une définition novatrice de la stabilité de Lyapunov pour le RL hors ligne basée sur les mesures d'occupation, permettant d'imposer des contraintes de sécurité via la densité des données plutôt que par des fonctions de coût explicites.
Cadre théorique : Une interprétation du RL hiérarchique du RL basé sur les transformateurs via l'inférence bayésienne, où le prompting correspond à l'inférence de compétences latentes de haut niveau. Cela fournit une base théorique expliquant pourquoi l'apprentissage en contexte fonctionne pour la sécurité.
Méthode d'adaptation au moment du test (SAS) : Un algorithme pratique générant des prompts guidés par Lyapunov pour réaligner le comportement de l'agent. Il garantit la sécurité en restreignant l'agent à des ensembles invariants par contrôle dérivés des données hors ligne.
Garantie probabiliste de sécurité : Les auteurs fournissent une borne formelle (Théorème 4) montrant que la probabilité que l'agent quitte l'ensemble sûr diminue de manière exponentielle avec le nombre de simulations imaginées ( $N$ ) et d'essais de ré-imagination ( $M$ ).

4. Résultats expérimentaux

La méthode a été évaluée sur les benchmarks Safety Gymnasium, MuJoCo et Bullet-Safety-Gym.

Performance vs Sécurité : SAS a constamment réduit les coûts et les taux d'échec (jusqu'à une amélioration de 2x) tout en maintenant ou en améliorant le retour (récompense) par rapport aux bases de référence telles que Decision Transformer (DT), Constrained Decision Transformer (CDT) et diverses bases de RL sûr (BC-Safe, COptiDICE, etc.).
Généralisation : SAS a amélioré la sécurité même pour des architectures de base (DT) qui n'avaient pas été entraînées avec des signaux de coût explicites, démontrant que la guidance de Lyapunov basée sur la densité agit comme un proxy de sécurité implicite.
Études d'ablation :
- Descente de Lyapunov ( $V_t$ ) : Le retrait de la condition de descente a considérablement augmenté les coûts, prouvant sa nécessité pour la stabilité à long terme.
- Sélection de prompt : Le prompting aléatoire ou le prompting par énergie maximale a donné de moins bons résultats que la sélection guidée par Lyapunov, confirmant l'efficacité des critères de sélection spécifiques.
- Robustesse du modèle : La méthode a montré une robustesse à travers différentes longueurs de prompt, nombres de trajectoires imaginées et tailles de modèles de base (de DT à GPT-2).

5. Signification et impact

Pont entre les LLM et le RL : Le papier adapte avec succès le concept d'auto-alignement (populaire dans les grands modèles de langage) au domaine du RL sûr, permettant aux agents de "raisonner" sur la sécurité en utilisant leurs propres modèles internes du monde.
Faisabilité du déploiement : En éliminant le besoin de réentraînement ou de réglage fin, SAS offre une solution évolutive pour déployer des agents de RL hors ligne dans des environnements dynamiques et incertains où la sécurité est critique.
Rigueur théorique : Il va au-delà des vérifications de sécurité heuristiques en fournissant une garantie probabiliste que l'agent reste dans un ensemble invariant par contrôle, fondée sur la théorie de la stabilité de Lyapunov et l'inférence bayésienne.
Efficacité : Bien qu'il nécessite un calcul au moment de l'inférence pour l'imagination (simulations), il évite le coût computationnel d'un réentraînement complet, le rendant adapté aux scénarios où les données sont statiques mais l'environnement ne l'est pas.

En résumé, SAS représente une avancée significative pour rendre les agents de RL hors ligne robustes aux décalages de distribution en exploitant l'imagination guidée par Lyapunov pour auto-corriger le comportement au moment du test grâce à l'apprentissage en contexte.