🤖 AI

RePolicy: Reinforcement Learning for Safety-Policy Invocation in Agent Safeguards

L'article présente RePolicy, un agent de protection basé sur l'apprentissage par renforcement qui invoque dynamiquement des politiques de sécurité spécifiques au contexte pour générer des jugements de sécurité fondés, démontrant une adaptabilité et une performance de détection supérieures à travers divers benchmarks par rapport aux méthodes existantes de prompting et de fine-tuning.

Auteurs originaux : Houcheng Jiang, Boxuan Zhang, Qiyong Zhong, Junfeng Fang, Xiang Wang, Xiangnan He

Publié 2026-08-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Houcheng Jiang, Boxuan Zhang, Qiyong Zhong, Junfeng Fang, Xiang Wang, Xiangnan He

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde en évolution rapide de l'intelligence artificielle, une nouvelle génération de systèmes a émergé, capables de faire bien plus que de simplement répondre à des questions ou d'écrire du texte. Il s'agit d'agents autonomes, des entités numériques capables de planifier des tâches complexes, d'utiliser des outils logiciels et d'interagir avec le monde extérieur pour atteindre des objectifs spécifiques. Imaginez un assistant personnel qui pourrait non seulement réserver un vol, mais aussi naviguer sur un site web, remplir des formulaires et gérer un calendrier sans guidage humain constant. À mesure que ces agents deviennent plus performants, les enjeux de leur sécurité augmentent proportionnellement. Le danger ne concerne plus seulement une phrase inappropriée isolée ; il s'agit d'une séquence d'actions qui, bien qu'apparaissant inoffensives isolément, pourraient mener à un résultat préjudiciable lorsqu'elles sont enchaînées. Garantir que ces agents agissent en toute sécurité nécessite un système capable de surveiller l'intégralité de leur parcours, de comprendre les règles de la route et d'intervenir avant qu'une erreur ne se transforme en catastrophe.

Pendant des années, l'approche standard pour assurer la sécurité de ces agents reposait sur des règles statiques ou des instructions simples. Les développeurs programmaient le système de sécurité avec une liste fixe de comportements interdits ou demandaient au modèle de vérifier son travail par rapport à un ensemble général de directives. Cependant, le monde réel est bien trop complexe pour qu'une liste de règles unique et immuable puisse couvrir chaque situation. Une tâche peut être sûre dans un contexte et dangereuse dans un autre, selon la personne qui pose la question, les outils disponibles ou les lois applicables. De plus, les politiques de sécurité évoluent elles-mêmes avec le temps. Compter sur un modèle pour simplement mémoriser un ensemble fixe de règles laisse souvent celui-ci confus face à un nouveau scénario ou à une combinaison de règles qu'il n'a jamais rencontrées. C'est comme essayer de naviguer dans une ville avec une carte qui ne montre que les rues que vous avez déjà visitées ; lorsque vous tournez au coin d'une rue pour entrer dans un nouveau quartier, la carte ne vous est d'aucun secours.

Pour résoudre ce problème, des chercheurs ont développé une nouvelle méthode appelée RePolicy. Au lieu de traiter les règles de sécurité comme une liste de texte passive à lire, ce système les traite comme des outils actifs que le vérificateur de sécurité doit choisir et utiliser. L'idée centrale est d'apprendre au système de sécurité comment analyser une situation spécifique, parcourir une bibliothèque de règles disponibles et choisir celle qui s'applique réellement. Une fois la règle correcte sélectionnée, le système lit ses détails spécifiques et utilise cette information pour rendre un jugement final sur la sécurité du comportement de l'agent. Cette approche transforme la vérification de la sécurité, passant d'un exercice de lecture passive à un processus de prise de décision actif, où le système apprend à savoir quelle règle sortir du tiroir pour la tâche à accomplir.

Les chercheurs ont construit ce système en créant d'abord un ensemble massif de données comprenant plus de 20 000 exemples. Ces exemples comprenaient des enregistrements détaillés d'agents effectuant des tâches, associés aux règles de sécurité spécifiques qui régissaient ces tâches. Ils ont étiqueté chaque enregistrement pour montrer exactement quelle règle devait être appliquée et pourquoi. En utilisant ces données, ils ont d'abord appris au système les bases de la lecture d'une situation et de la recherche d'une règle correspondante grâce à un processus d'apprentissage supervisé, semblable à la façon dont un étudiant apprend à partir d'un manuel. Cependant, la simple mémorisation d'exemples ne suffit pas pour gérer la nature imprévisible des tâches du monde réel. Pour pousser le système plus loin, les chercheurs ont ensuite appliqué une technique connue sous le nom d'apprentissage par renforcement. Dans cette phase, le système a été autorisé à pratiquer la prise de décision de manière répétée. Lorsqu'il choisissait la bonne règle et rendait un jugement de sécurité correct, il recevait une récompense. Lorsqu'il choisissait la mauvaise règle ou manquait un danger, il recevait une pénalité. Au fil du temps, le système a appris à affiner ses choix, devenant meilleur pour distinguer les règles qui se ressemblent mais s'appliquent à des situations différentes.

Une partie critique de cet entraînement impliquait une astuce ingénieuse pour empêcher le système d'exploiter des raccourcis. Pendant la pratique, les chercheurs mélangeaient des règles non pertinentes et de fausses politiques « leurres » aux côtés des règles correctes. Cela forçait le système à comprendre véritablement le contexte des actions de l'agent plutôt que de simplement deviner en fonction des règles présentes dans la liste. Si le système ne pouvait pas faire la différence entre une règle pertinente et un leurre, il échouait au test. Cela garantissait que le système final apprenne à identifier la politique spécifique qui régit une situation en se basant sur les détails de la tâche, et non simplement sur la présence de mots-clés.

Lorsqu'il a été testé contre six benchmarks différents conçus pour évaluer la sécurité des agents, le nouveau système a obtenu des résultats nettement supérieurs aux méthodes existantes. Il a atteint une grande précision dans la détection des comportements dangereux à travers une grande variété de scénarios, surpassant à la fois les modèles d'intelligence artificielle à usage général et les outils de sécurité spécialisés. Dans quatre des six tests, il s'est classé premier, montrant une amélioration claire de sa capacité à repérer les risques que d'autres systèmes manquaient. Plus important encore, le système a démontré une capacité robuste à invoquer la politique de sécurité correcte même lorsque la liste des règles disponibles changeait ou lorsque le contexte évoluait. Il ne se contentait pas de deviner ; il sélectionnait activement la bonne règle et utilisait son contenu pour justifier sa décision.

L'étude suggère qu'en apprenant aux systèmes de sécurité à sélectionner et appliquer activement des règles, plutôt qu'à simplement les lire passivement, nous pouvons créer des gardiens plus adaptables et plus fiables pour les agents autonomes. Cette approche permet au mécanisme de sécurité d'évoluer aux côtés des agents qu'il protège, gérant de nouveaux outils et des réglementations changeantes sans avoir besoin d'être entièrement reprogrammé. Bien que le système ne soit pas une solution parfaite et dépende encore de la qualité des règles qui lui sont fournies, les résultats indiquent une voie prometteuse. En transformant l'invocation de la politique de sécurité en une tâche d'apprentissage, les chercheurs ont franchi une étape significative vers la garantie que, tandis que les agents artificiels deviennent plus indépendants, ils restent sous le contrôle de normes de sécurité claires, contextuelles et efficaces.

Résumé Technique : RePolicy

Énoncé du Problème

Les risques de sécurité des agents basés sur les Grands Modèles de Langage (LLM) ont évolué, passant de contenus nocifs isolés à des dommages comportementaux émergeant au cours de trajectoires d'exécution complètes. Les garde-fous existants pour les agents reposent généralement sur des taxonomies de risques prédéfinies ou des politiques de sécurité statiques. Cependant, les déploiements en conditions réelles impliquent des contextes complexes et dynamiques où une même action peut être soumise à des contraintes différentes selon les permissions de l'utilisateur, les exigences organisationnelles ou les juridictions réglementaires.

Les garde-fous actuels sensibles aux politiques, qui dépendent largement du prompting ou de l'apprentissage supervisé par ajustement fin (SFT), font face à des limitations significatives :

Adaptabilité : Ils peinent à s'adapter à des trajectoires inédites ou à de nouvelles combinaisons de politiques de sécurité.
Mécanisme d'invocation : Ils traitent les politiques de sécurité comme un contexte passif plutôt que comme des capacités actives et appelables. Par conséquent, ils échouent souvent à déterminer quelle politique spécifique doit être invoquée ou comment appliquer ses clauses à une trajectoire donnée.
Décalage de distribution : Les modèles basés sur le SFT sont limités par la distribution trajectoire-politique observée lors de l'entraînement et peuvent ne pas se généraliser à de nouveaux contextes de politique.

Méthodologie

Les auteurs proposent RePolicy, un garde-fou pour agents qui formule l'invocation de la politique de sécurité comme une tâche d'apprentissage par renforcement (RL) agentique. Au lieu de lire passivement les politiques, RePolicy apprend à sélectionner et à invoquer activement la politique applicable à partir d'une bibliothèque dynamique avant de rendre un jugement de sécurité.

1. Formulation de la Tâche

Le garde-fou opère sur une trajectoire d'agent complète $\tau$ et une bibliothèque de politiques dynamique $P$ . Le processus suit une structure séquentielle :

Invocation de la Politique : Le modèle sélectionne une politique applicable $\hat{p}$ de $P$ basée sur $\tau$ .
Récupération du Contenu : Le contenu complet $c(\hat{p})$ de la politique sélectionnée est récupéré.
Raisonnement et Jugement : Le modèle utilise $\tau$ et $c(\hat{p})$ pour générer un raisonnement fondé sur la politique $\hat{r}$ et un label de sécurité final $\hat{y} \in \{safe, unsafe\}$ (sûr, dangereux).

2. Construction des Données : PolicyTraj-20K

Pour soutenir cette approche, les auteurs ont construit PolicyTraj-20K, un ensemble de données de plus de 20 000 trajectoires annotées avec des politiques de sécurité.

Synthèse : Des trajectoires d'agents diversifiées ont été synthétisées à partir de modèles d'interaction existants, variant le contenu des tâches tout en préservant les modèles d'utilisation d'outils et les mécanismes de sécurité.
Ancrage : Les politiques sont organisées par « scènes d'opération d'agent » plutôt que par catégories de risques finales. Chaque trajectoire est annotée avec sa politique applicable, ses clauses pertinentes, son label de sécurité et son raisonnement de décision.
Structure : L'ensemble de données permet à la fois l'initialisation supervisée et l'apprentissage par renforcement en fournissant un ancrage explicite entre la trajectoire et la politique.

3. Pipeline d'Entraînement

RePolicy emploie un processus d'entraînement en deux étapes :

Étape 1 : Ajustement Supervisé (SFT) de Démarrage à Froid (Cold-Start)
Le modèle est initialisé avec PolicyTraj-20K pour apprendre la séquence complète d'invocation-raisonnement. Le modèle est entraîné pour :

Identifier la bonne politique dans une bibliothèque locale (contenant la politique cible et des distracteurs).
Générer le raisonnement et le label de sécurité basés sur le contenu de la politique récupérée.
Suivre un format de sortie JSON structuré.

Étape 2 : Apprentissage par Renforcement avec GRPO
Les auteurs appliquent l'optimisation de politique relative par groupe (GRPO - Group Relative Policy Optimization) pour optimiser directement les résultats du garde-fou. Les innovations clés incluent :

Récompenses Vérifiables : Une fonction de récompense composite $R = \lambda_{fmt}R_{fmt} + \lambda_{pol}R_{pol} + \lambda_{acc}R_{acc}$ $R = λ_{f m t} R_{f m t} + λ_{p o l} R_{p o l} + λ_{a cc} R_{a cc}$ évalue :
- Le Format ( $R_{fmt}$ ) : La validité de la structure JSON et de l'appel de politique.
- L'Invocation de la Politique ( $R_{pol}$ ) : Si la politique correcte a été sélectionnée ( $\hat{p} = p^*$ ).
- La Précision ( $R_{acc}$ ) : L'exactitude du label de sécurité final.
Perturbation du Contexte de la Politique : Pour empêcher le modèle de mémoriser des associations fixes entre trajectoire et politique ou de s'appuyer sur la composition de la bibliothèque de candidats, le processus d'entraînement rééchantillonne les distracteurs et mélange l'ordre des politiques. Cela force le modèle à déterminer l'applicabilité en fonction de la sémantique de la trajectoire et de la description du champ d'application de la politique.

Contributions Clés

Cadre RePolicy : Un nouveau garde-fou qui traite l'invocation de la politique de sécurité comme une capacité active et apprenable, optimisée via le RL, plutôt que comme un simple apport de contexte passif.
PolicyTraj-20K : Un nouvel ensemble de données fournissant une supervision fine et ancrée dans les politiques pour les trajectoires d'agents, couvrant divers outils, environnements et scènes d'opération.
Innovations Méthodologiques : L'intégration de GRPO avec des récompenses vérifiables basées sur des règles et la perturbation du contexte de la politique pour assurer une sélection de politique et une généralisation robustes.
Validation Empirique : Une évaluation complète sur six benchmarks de sécurité d'agents diversifiés démontrant une performance et une robustesse supérieures.

Résultats Expérimentaux

RePolicy a été évalué sur six benchmarks : ATBench, R-Judge, OpenAgentSafety, ASSEBench, HINTBench et AgentHazard. Le modèle (RePolicy-4B) a été construit sur le backbone Qwen3-4B-Instruct.

Performance Globale : RePolicy-4B a obtenu un score F1 global pour les cas "Unsafe" de 88,15 %, surpassant la ligne de base externe la plus forte de 3,98 points et le modèle de garde-fou spécialisé le plus performant de 8,46 points.
Dominance des Benchmarks : Il arrive en tête sur quatre des six benchmarks, avec des marges significatives (ex: +5,47 sur AgentHazard, +5,26 sur ASSEBench).
Invocation de la Politique : Le RL a considérablement amélioré les taux d'invocation correcte des politiques, passant d'environ 94,4 % (cold-start) à 98,5 %. Le modèle a réussi à distinguer les politiques pertinentes des leurres, le taux de sélection de leurres restant inférieur à 1 %.
Robustesse : Le modèle a maintenu des performances élevées même lorsque la taille de la bibliothèque de politiques candidates variait (de 10 à 50 politiques), bien qu'un léger compromis dans la précision de la sélection ait été observé à mesure que la bibliothèque croissait.
Études d'Ablation :
- Le SFT de démarrage à froid a fourni une base solide (+28,48 points par rapport au modèle de base).
- L'invocation explicite de la politique a été identifiée comme le principal moteur des gains finaux, particulièrement dans les benchmarks hétérogènes comme AgentHazard et OpenAgentSafety.
- La perturbation du contexte de la politique a été cruciale pour empêcher le surapprentissage de compositions spécifiques de bibliothèques de politiques.

Signification et Revendications

L'article affirme que RePolicy démontre une direction pratique pour construire des garde-fous d'agents plus adaptables et interprétables. En apprenant à invoquer activement les politiques de sécurité, le système peut :

S'adapter aux changements de contextes de politique et aux combinaisons trajectoire-politique inédites.
Fournir des raisonnements fondés sur la politique et interprétables pour les jugements de sécurité.
Surpasser à la fois les LLM à usage général et les modèles de garde-fou spécialisés entraînés sur des taxonomies statiques.

Les auteurs notent que leur travail est destiné à la recherche défensive. Ils reconnaissent des limitations, notamment l'hypothèse selon laquelle la bibliothèque de politiques candidates contient une politique applicable suffisamment précise et la charge d'inférence supplémentaire introduite par le processus d'invocation multi-étapes. Ils soulignent que RePolicy ne doit pas être traité comme un mécanisme d'application autonome dans des applications à enjeux élevés sans supervision humaine et stratégies de défense en profondeur.