Résumé Technique : TraCeS

Énoncé du Problème

Garantir un comportement sûr dans l'apprentissage par renforcement (RL) est difficile lorsque les contraintes de sécurité sont implicites, non mesurées ou indisponibles pendant l'entraînement. Dans de nombreux domaines critiques pour la sécurité (par exemple, la robotique, la conduite autonome), les contraintes codées en dur et les fonctions de coût façonnées à la main sont souvent fragiles et échouent à se généraliser à travers des scénarios dépendant du contexte. De plus, une supervision dense par pas de temps est fréquemment indisponible ; au lieu de cela, la supervision est limitée à des étiquettes binaires grossières et éparses indiquant si une trajectoire entière (ou un préfixe de celle-ci) est restée dans un seuil de sécurité inconnu.

La difficulté centrale réside dans le problème d'attribution de crédit : une étiquette au niveau de la trajectoire (par exemple, « rejetée ») indique qu'une violation s'est produite, mais ne précise pas quand ni quels comportements spécifiques l'ont causée. Les méthodes standard de Processus de Décision de Markov Contraint (CMDP) supposent l'accès à une fonction de coût par pas de temps connue et à un seuil, ce qui n'est pas le cas ici. L'article traite du cas où l'agent doit apprendre une politique sûre à partir d'étiquettes d'acceptation/rejet éparses au niveau de la trajectoire, sans connaître la fonction de coût $C$ sous-jacente ni le seuil de contrainte $b$.

Méthodologie : TraCeS

Les auteurs proposent TraCeS (Trajectory-based Constraint Estimation for Safety), un cadre qui apprend des crédits de violation par pas de temps à partir d'étiquettes éparses au niveau de la trajectoire. La méthode fonctionne via une boucle itérative impliquant trois composantes principales :

1. Estimateur de Violation Séquentiel

TraCeS entraîne un estimateur séquentiel pour décomposer les retours binaires éparses en crédits de violation denses par pas de temps.

• Abstraction de Violation Monotone : La méthode suppose une structure de violation monotone (Hypothèse 3.1) : une fois qu'une trajectoire viole une contrainte, elle reste violée par la suite. Cela implique que la probabilité de « ne pas encore être violé » est non croissante au fil du temps.
• Factorisation : L'estimateur prédit la probabilité qu'un préfixe de trajectoire $\tau_{0:t}$ n'ait pas encore violé la contrainte, notée $\hat{P}(\psi_{0:t}=1 | \tau_{0:t})$. Cette probabilité est factorisée en crédits multiplicatifs par étape :
  $$\hat{P}(\psi_{0:T-1}=1 | \tau_{0:T-1}) = \prod_{t=0}^{T-1} \hat{P}^\Delta_t$$
  Ici, $\hat{P}^\Delta_t$ représente le changement de la probabilité de non-violation lors de l'extension du préfixe d'une étape. Une valeur significativement inférieure à 1 indique une étape qui induit une chute brutale de la probabilité de sécurité, localisant ainsi efficacement le crédit de violation.
• Architecture : L'estimateur utilise un encodeur partagé $f_w$ pour maintenir un vecteur de résumé $h_t$ du préfixe et un décodeur $g_w$ pour produire les paramètres d'une distribution log-normale. Le log-crédit échantillonné est contraint d'être non positif ($\log \hat{P}^\Delta_t \le 0$), garantissant que la probabilité cumulative ne croît pas.
• Entraînement : L'estimateur est entraîné en utilisant une perte d'entropie croisée binaire sur les étiquettes binaires éparses (acceptation/rejet) des trajectoires ou des préfixes, traitant le problème comme une estimation du maximum de vraisemblance de la règle d'étiquetage inconnue $\Psi(\cdot)$.

2. Optimisation de Politique Contrainte

Une fois que l'estimateur a appris les crédits par étape, TraCeS les intègre dans un solveur CMDP standard.

• Coût de Substitution : Le log-crédit estimé est transformé en un coût de substitution : $\tilde{C}_t = -\log \hat{P}^\Delta_t \ge 0$.
• Reformulation de la Contrainte : La contrainte de chance originale (exigeant que la probabilité d'une trajectoire acceptable soit au moins $d$) est approximée. En utilisant l'inégalité de Jensen, les auteurs dérivent une borne inférieure traitable qui convertit la contrainte multiplicative en une forme additive :
  $$\mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t} \tilde{C}_t \right] \le -\log d$$
  Cette reformulation permet l'utilisation d'algorithmes de RL contraints standards (par exemple, PPO-Lagrangien) avec les coûts de substitution appris, même si la véritable fonction de coût est inconnue.
• Garantie Théorique : L'article fournit une borne sur l'écart d'approximation introduit par l'inégalité de Jensen, montrant que l'écart diminue à mesure que l'estimateur devient plus stable et que la variance des probabilités de non-violation prédites diminue.

3. Sélection Active de Trajectoires

Pour réduire la charge d'annotation, TraCeS emploie une stratégie basée sur l'incertitude pour sélectionner les trajectoires à étiqueter.

• Coefficient de Variation (CV) : La méthode calcule le CV du coût de substitution au niveau de la trajectoire sous le bruit d'échantillonnage de l'estimateur. Les trajectoires présentant un CV élevé (indiquant une forte dispersion ou incertitude dans la prédiction de l'estimateur) sont prioritaires pour l'étiquetage. Cela concentre les efforts d'annotation humaine ou automatisée sur les déroulements où l'estimateur est le plus incertain, améliorant ainsi l'efficacité des données.

Contributions Clés

1. Formulation du Problème : L'article formalise le problème de l'apprentissage de politiques sûres à partir d'étiquettes éparses au niveau de la trajectoire sous une abstraction de violation monotone, comblant le fossé où ni la fonction de coût ni le seuil ne sont connus.
2. Méthode (TraCeS) : Un nouvel estimateur séquentiel qui factorise l'acceptabilité de la trajectoire en crédits de violation par pas de temps. Cela permet la transformation de retours binaires grossiers en un signal de coût de substitution dense compatible avec les solveurs CMDP standards.
3. Théorie et Évaluation :
   • Analyse théorique de l'écart d'approximation introduit par la borne inférieure de l'inégalité de Jensen.
   • Validation empirique sur 12 tâches de contrôle continu (Safety Gymnasium, MuJoCo, Bullet Safety Gym).
   • Démonstration de la robustesse dans les régimes de faibles données, sous des étiquettes bruitées et dans des contextes avec rétroaction humaine.

Résultats Expérimentaux

Les auteurs évaluent TraCeS par rapport à plusieurs lignes de base :

• Méthodes Oracle : PPO-Lagrangian et CPPO-PID (supposent un coût et un seuil connus).
• Connaissance Partielle : RLSF (apprend les coûts mais suppose un seuil connu).
• Lignes de Base à Connaissance Nulle : Une ligne de base Coût-Seuil (C-T) qui tente d'apprendre à la fois le coût et le seuil à partir de zéro.

Principales Conclusions :

• Satisfaction des Contraintes : TraCeS apprend de manière fiable des politiques qui satisfont les contraintes de sécurité (coût $\le$ seuil) dans la plupart des tâches, malgré l'absence totale de connaissance du coût ou du seuil.
• Efficacité des Étiquettes : TraCeS est nettement plus efficace en termes d'étiquettes que la ligne de base C-T à connaissance nulle, nécessitant beaucoup moins de trajectoires étiquetées pour converger vers des politiques sûres.
• Performance : TraCeS atteint des compromis récompense-sécurité compétitifs par rapport aux méthodes à connaissance partielle (RLSF) et approche la performance des méthodes oracle sur plusieurs tâches.
• Localisation : L'analyse qualitative montre que les crédits par étape appris localisent avec précision les événements de violation, atteignant un pic près du pas de temps où le coût cumulé de l'oracle franchit le seuil, plutôt que de répartir le coût uniformément.
• Robustesse : La méthode reste efficace sous un bruit d'étiquette modéré (jusqu'à 10-20 %) et dans des régimes de faibles données (par exemple, 1000 trajectoires étiquetées). Elle performe également bien avec le feedback humain dans une étude à petite échelle sur HalfCheetah.

Signification et Revendications

L'article affirme que TraCeS offre une voie pratique vers l'alignement des agents de RL avec des contraintes implicites et dépendantes du contexte lorsque les spécifications formelles sont indisponibles. En transformant la supervision grossière d'acceptation/rejet en crédits de violation par pas de temps, TraCeS permet l'utilisation de mécanismes d'optimisation contrainte standards sans nécessiter de fonctions de coût conçues à la main ou de seuils connus.

Les auteurs soulignent que les crédits appris servent de surrogats de sécurité pertinents pour le contrôle plutôt que de récupération identifiable des coûts réels cachés. La méthode est particulièrement significative pour les contextes où la sécurité est définie par des facteurs complexes et dynamiques (par exemple, éviter un nid-de-poule pourrait nécessiter un écart temporaire de la voie) qui sont difficiles à encoder sous forme de fonctions de coût fixes, mais qui peuvent être jugés comme « acceptables » ou « inacceptables » pour une trajectoire par un humain ou un moniteur.

Le travail suggère que le feedback éparse au niveau de la trajectoire, lorsqu'il est traité par un estimateur séquentiel avec une sélection active, peut efficacement combler le fossé entre les jugements de sécurité de haut niveau et l'optimisation de politique de bas niveau.