Résumé technique : Blindage par barrière Q latente pour l'apprentissage par renforcement en contexte sécurisé

Énoncé du problème

L'apprentissage par renforcement en contexte sécurisé (ICRL) vise à adapter les agents à de nouvelles tâches au moment du test sans mise à jour des paramètres, en conditionnant les politiques sur un historique d'interaction en expansion. Bien que des méthodes récentes comme SCARED [40] formulent l'ICRL sécurisé comme un problème contraint et apprennent des politiques respectant un budget via un préentraînement, elles rencontrent une limitation critique lors du déploiement hors distribution (OOD). Les méthodes existantes d'ICRL sécurisé encodent la sécurité principalement par des objectifs de préentraînement ou un conditionnement par coût, plutôt que par des vérifications explicites au niveau des actions. Par conséquent, une politique ICRL figée peut toujours attribuer une probabilité à des actions où le coût futur prédit dépasse le budget de sécurité restant, en particulier dans des contextes de généralisation où les structures de tâches doivent être inférées à partir du contexte. Cela conduit à des compromis sous-optimaux entre récompense et sécurité lorsque l'agent rencontre des changements dans les tâches ou les contraintes de sécurité.

Méthodologie

Les auteurs proposent Q-Barrier, un mécanisme de blindage au moment du déploiement qui enrichit une politique ICRL sécurisée figée d'une couche de sélection d'actions consciente du budget. La méthode fonctionne sans mise à jour des paramètres au moment du test, reposant plutôt sur des modules appris lors du préentraînement.

1. Espace d'état latent et espaces de projection

Le blindage utilise un encodeur partagé $E_\phi$ pour mapper le contexte $H$ et l'état courant $S$ vers un état latent partagé $Z$. Pour découpler la génération de politique de l'évaluation de la sécurité, deux têtes de projection sont employées :

• Projection politique ($Z_p$) : Utilisée par la politique de base $\pi_\theta$ pour proposer des actions.
• Projection monde ($Z_w$) : Utilisée pour la modélisation de la sécurité, incluant la prédiction de dynamiques latentes et l'estimation de coûts.

Sur l'espace latent projeté monde $Z_w$, le système apprend :

• Un modèle de transition latente probabiliste $p_z$.
• Un ensemble de critiques de coût $\{\hat{Q}_{C,i}\}_{i=1}^M$.
• Une estimation pessimiste agrégée du coût futur $\hat{Q}^+_C(Z, A) = \max_i \hat{Q}_{C,i}(Z, A)$ pour réduire le risque de sous-estimation des coûts futurs.

2. Barrière de fonction Q et politique de blindage

L'innovation centrale est un signal de barrière appris dérivé du critique de coût et du budget restant $B_t$.

• Barrière d'état : $b_{V,t}(Z_w, B_t) = B_t - \min_{A \in \mathcal{A}_{cand}} \hat{Q}^+_C(Z_w, A)$.
• Barrière d'action : $b_{Q,t}(Z_w, B_t, A) = B_t - \hat{Q}^+_C(Z_w, A)$.

Le blindage évalue un ensemble fini d'actions candidates $\mathcal{A}_{cand}$. Les actions avec des barrières négatives (coût futur prédit dépassant le budget restant) sont découragées. Les auteurs implémentent un blindage doux par défaut, qui réaffecte la distribution de la politique de base sur les candidats :
$$w_t(A) = \rho_t(A) \exp\left(-[-b_{Q,t}(Z_w, B_t, A)]_+\right)$$
où $\rho_t(A)$ est la probabilité de la politique de base (ou 1 pour les candidats échantillonnés). Cela préserve le support de la politique tout en pénalisant les candidats risqués, évitant la sensibilité du filtrage dur.

3. Entraînement et routage asymétrique des gradients

Tous les modules sont entraînés conjointement pendant la phase de préentraînement et figés au déploiement. Pour prévenir les interférences entre l'apprentissage de la politique et la modélisation du monde, les auteurs emploient un routage asymétrique des gradients :

• Perte du modèle monde : Met à jour l'encodeur partagé et la projection monde pour assurer la prévisibilité des dynamiques latentes, des récompenses et des coûts.
• Pertes d'alignement structurel : Utilisent des arrêts de gradient pour aligner les projections politique et monde sans mettre à jour directement l'encodeur partagé, assurant que $Z_w$ soutient l'estimation de sécurité tandis que $Z_p$ conserve les caractéristiques pertinentes pour la politique.

Analyse théorique

L'article fournit un résultat de marge de barrière conditionnel et décomposé en erreurs (Théorème 1). Il prouve que si une action satisfait la barrière Q (c'est-à-dire $b_{Q,t} \ge 0$), l'état latent-budget suivant reste approximativement sûr par rapport au budget, jusqu'à deux termes d'erreur :

1. Erreur de borne supérieure de Bellman ($\Delta_{bell}$) : Le degré auquel le critique appris viole la borne supérieure de Bellman en un pas.
2. Erreur de prédiction latente ($\epsilon_{pred}$) : L'erreur dans la prédiction de l'état latent suivant.

Le théorème établit qu'une action satisfaisant la barrière Q admet une continuation approximativement sûre par rapport au budget sous le critique appris, à condition que ces erreurs soient bornées. Une borne de budget au niveau de l'épisode (Proposition 1) décompose en outre les violations de coût cumulées en écarts de sélection, résidus de Bellman et erreurs de prédiction.

Résultats expérimentaux

La méthode a été évaluée sur cinq benchmarks d'ICRL sécurisé (SafeDarkRoom, SafeDarkMujoco-Point/Car, SafeVelocity-HalfCheetah/Ant) couvrant des régimes de généralisation OOD structurels et ID non vus.

• Compromis Récompense-Sécurité : Q-Barrier a constamment amélioré le compromis par rapport à la base SCARED. Dans quatre des cinq environnements, il a atteint des retours cumulés plus élevés tout en égalant ou en réduisant les coûts moyens par épisode.
  • SafeDarkRoom : 46 % de retour supérieur, 47,2 % de coût inférieur.
  • SafetyAnt : 30,9 % de retour supérieur, 74,3 % de coût inférieur.
• Sensibilité au budget : À travers des balayages de budget, Q-Barrier a atteint le retour cumulé le plus élevé dans quatre des cinq environnements tout en satisfaisant les contraintes de budget dans la plupart des configurations. Les violations étaient principalement limitées aux budgets proches de zéro où même de petites erreurs de modèle pouvaient causer un dépassement.
• Cas conservateur : Dans SafetyHalfCheetah, Q-Barrier a adopté une posture plus conservatrice, réduisant le coût de 81 % mais réduisant également le retour de 39 %. Les diagnostics ont révélé que cet environnement présentait la plus grande erreur de prédiction latente, amenant la barrière apprise à être plus conservatrice pour maintenir la sécurité.
• Ablations : Le blindage doux s'est avéré plus stable que la troncature dure, en particulier dans les environnements avec des erreurs de prédiction plus élevées, car il évite les comportements de repli discontinus.

Importance et affirmations

L'article affirme que Q-Barrier comble une lacune spécifique dans l'ICRL sécurisé : l'absence de vérifications explicites au niveau des actions au moment de l'exécution contre les budgets restants dans les politiques figées. En introduisant un blindage par barrière Q latente, les auteurs démontrent que :

1. Conscience explicite du budget : Transformer le budget restant en une contrainte explicite de sélection d'actions améliore considérablement les compromis récompense-sécurité lors de l'adaptation OOD.
2. Fondement théorique : La méthode est soutenue par une analyse de propagation de marge de barrière qui quantifie les garanties de sécurité en termes d'erreurs de modèle apprises (erreurs de Bellman et de prédiction).
3. Efficacité de déploiement : L'approche ne nécessite aucune mise à jour des paramètres au moment du test, la rendant adaptée aux scénarios où l'adaptation en ligne est restreinte ou coûteuse en calcul.

Les auteurs notent modestement que l'efficacité de la méthode dépend de la précision des prédictions latentes et de l'étalonnage des critiques. Ils identifient des axes de travail futurs incluant un meilleur étalonnage de l'incertitude, une force de blindage adaptative et des extensions à plusieurs contraintes, reconnaissant que des estimations trop pessimistes peuvent dévaloriser les actions à fort retour.