🤖 AI

RePolicy: Reinforcement Learning for Safety-Policy Invocation in Agent Safeguards

El artículo presenta RePolicy, un salvaguarda de agentes basado en aprendizaje por refuerzo que invoca dinámicamente políticas de seguridad específicas al contexto para generar juicios de seguridad fundamentados, demostrando una adaptabilidad y un rendimiento de detección superiores en diversos bancos de pruebas en comparación con los métodos existentes de prompting y ajuste fino.

Autores originales: Houcheng Jiang, Boxuan Zhang, Qiyong Zhong, Junfeng Fang, Xiang Wang, Xiangnan He

Publicado 2026-08-26

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Houcheng Jiang, Boxuan Zhang, Qiyong Zhong, Junfeng Fang, Xiang Wang, Xiangnan He

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido una nueva generación de sistemas que hace más que solo responder preguntas o escribir texto. Estos son agentes autónomos, entidades digitales capaces de planificar tareas complejas, utilizar herramientas de software e interactuar con el mundo exterior para lograr objetivos específicos. Imagine un asistente personal que no solo puede reservar un vuelo, sino también navegar por un sitio web, completar formularios y gestionar una agenda sin la guía constante de un humano. A medida que estos agentes se vuelven más capaces, las apuestas para su seguridad aumentan en consecuencia. El peligro ya no se trata solo de una única frase inapropiada; se trata de una secuencia de acciones que, aunque parezcan inofensivas de forma aislada, podrían conducir a un resultado perjudicial cuando se encadenan. Garantizar que estos agentes actúen de forma segura requiere un sistema que pueda vigilar todo su trayecto, comprender las reglas del juego e intervenir antes de que un error se convierta en un desastre.

Durante años, el enfoque estándar para mantener la seguridad de estos agentes se ha basado en reglas estáticas o instrucciones simples. Los desarrolladores programaban el sistema de seguridad con una lista fija de comportamientos prohibidos o pedían al modelo que revisara su trabajo frente a un conjunto general de directrices. Sin embargo, el mundo real es demasiado complejo para que una lista de reglas única e inalterable cubra cada situación. Una tarea que es segura en un contexto puede ser peligrosa en otro, dependiendo de quién la solicite, qué herramientas estén disponibles o qué leyes se aplvan. Además, las políticas de seguridad cambian con el tiempo. Confiar en que un modelo simplemente memorice un conjunto fijo de reglas a menudo lo deja confundido cuando se enfrenta a un nuevo escenario o a una combinación de reglas que nunca ha visto antes. Es como intentar navegar por una ciudad con un mapa que solo muestra las calles que ya has visitado; cuando doblas la esquina hacia un nuevo barrio, el mapa no ofrece ayuda.

Para resolver esto, los investigadores han desarrollado un nuevo método llamado RePolicy. En lugar de tratar las reglas de seguridad como una lista pasiva de texto para ser leída, este sistema trata las reglas como herramientas activas que el verificador de seguridad debe elegir y utilizar. La idea central es enseñar al sistema de seguridad cómo observar una situación específica, escanear una biblioteca de reglas disponibles y elegir la que realmente aplica. Una vez seleccionada la regla correcta, el sistema lee sus detalles específicos y utiliza esa información para emitir un juicio final sobre si el comportamiento del agente es seguro. Este enfoque transforma la verificación de seguridad de un ejercicio de lectura pasiva en un proceso de toma de decisiones activo, donde el sistema aprende a saber qué regla sacar del cajón para el trabajo en cuestión.

Los investigadores construyeron este sistema creando primero un conjunto masivo de datos de más de 20,000 ejemplos. Estos ejemplos incluían registros detallados de agentes realizando tareas, emparejados con las reglas de seguridad específicas que gobernaban esas tareas. Etiquetaron cada registro para mostrar exactamente qué regla debería aplicarse y por qué. Utilizando estos datos, primero enseñaron al sistema los conceptos básicos de cómo leer una situación y encontrar una regla coincidente mediante un proceso de aprendizaje supervisado, similar a cómo un estudiante aprende de un libro de texto. Sin embargo, simplemente memorizar ejemplos no es suficiente para manejar la naturaleza impredecible de las tareas del mundo real. Para llevar el sistema más allá, los investigadores aplicaron luego una técnica conocida como aprendizaje por refuerzo. En esta fase, se permitió al sistema practicar la toma de decisiones repetidamente. Cuando elegía la regla correcta y emitía el juicio de seguridad correcto, recibía una recompensa. Cuando elegía la regla equivocada o pasaba por alto un peligro, recibía una penalización. Con el tiempo, el sistema aprendió a refinar sus elecciones, volviéndose mejor en distinguir entre reglas que parecían similares pero que se aplicaban a situaciones diferentes.

Una parte crítica de este entrenamiento involucró un truco ingenioso para evitar que el sistema explotara atajos. Durante la práctica, los investigadores mezclaban reglas irrelevantes y políticas falsas de "señuelo" junto con las correctas. Esto obligó al sistema a comprender verdaderamente el contexto de las acciones del agente en lugar de simplemente adivinar basándose en qué reglas estaban presentes en la lista. Si el sistema no podía distinguir entre una regla relevante y un señuelo, fallaba la prueba. Esto aseguró que el sistema final aprendiera a identificar la política específica que gobernaba una situación basándose en los detalles de la tarea, no solo en la presencia de palabras clave.

Al ser probado contra seis bancos de pruebas diferentes diseñados para evaluar la seguridad de los agentes, el nuevo sistema funcionó significativamente mejor que los métodos existentes. Logró una alta precisión en la detección de comportamientos inseguros en una amplia variedad de escenarios, superando tanto a los modelos de inteligencia artificial de propósito general como a las herramientas de seguridad especializadas. En cuatro de los seis tests, ocupó el primer lugar, mostrando una clara mejora en su capacidad para detectar riesgos que otros sistemas pasaban por alto. Quizás lo más importante es que el sistema demostró una capacidad robusta para invocar la política de seguridad correcta incluso cuando la lista de reglas disponibles cambiaba o cuando el contexto se desplazaba. No solo adivinó; seleccionó activamente la regla correcta y utilizó su contenido para justificar su decisión.

El estudio sugiere que, al enseñar a los sistemas de seguridad a seleccionar y aplicar reglas activamente, en lugar de simplemente leerlas pasivamente, podemos crear guardianes más adaptables y fiables para los agentes autónomos. Este enfoque permite que el mecanismo de seguridad evolucione junto con los agentes que protege, manejando nuevas herramientas y regulaciones cambiantes sin necesidad de ser completamente reprogramado. Si bien el sistema no es una solución perfecta y todavía depende de la calidad de las reglas que se le proporcionan, los resultados indican un camino prometedor. Al convertir la invocación de políticas de seguridad en una tarea de aprendizaje, los investigadores han dado un paso significativo hacia asegurar que, a medida que los agentes artificiales se vuelven más independientes, permanezcan bajo el control de estándares de seguridad claros, conscientes del contexto y efectivos.

Resumen Técnico: RePolicy

Declaración del Problema

Los riesgos de seguridad de los agentes de Modelos de Lenguaje de Gran Escala (LLM) han evolucionado desde contenidos dañinos aislados hacia daños de comportamiento que emergen a lo largo de trayectorias de ejecución completas. Las salvaguardas de agentes existentes suelen depender de taxonomías de riesgo predefinidas o políticas de seguridad estáticas. Sin embargo, los despliegues en el mundo real involucran contextos complejos y dinámicos donde una misma acción puede estar sujeta a diferentes restricciones basadas en los permisos del usuario, los requisitos organizacionales o las jurisdicciones regulatorias.

Las salvaguardas actuales conscientes de la política, que dependen en gran medida de la ingeniería de prompts o del ajuste fino supervisado (SFT), enfrentan limitaciones significativas:

Adaptabilidad: Tienen dificultades para adaptarse a trayectorias no vistas o combinaciones novedosas de políticas de seguridad.
Mecanismo de Invocación: Tratan las políticas de seguridad como un contexto pasivo en lugar de una capacidad activa y ejecutable. En consecuencia, a menudo fallan al determinar qué política específica debe invocarse o cómo aplicar sus cláusulas a una trayectoria específica.
Desplazamiento de Distribución: Los modelos basados en SFT están limitados por la distribución de trayectoria-política observada durante el entrenamiento y pueden no generalizar a nuevos contextos de política.

Metodología

Los autores proponen RePolicy, una salvaguarda de agentes que formula la invocación de la política de seguridad como una tarea de aprendizaje por refuerzo (RL) agéntica. En lugar de leer las políticas de forma pasiva, RePolicy aprende a seleccionar e invocar activamente la política aplicable de una biblioteca dinámica antes de realizar un juicio de seguridad.

1. Formulación de la Tarea

La salvaguarda opera sobre una trayectoria de agente completa $\tau$ y una biblioteca de políticas dinámica $P$ . El proceso sigue una estructura secuencial:

Invocación de la Política: El modelo selecciona una política aplicable $\hat{p}$ de $P$ basada en $\tau$ .
Recuperación de Contenido: Se recupera el contenido completo $c(\hat{p})$ de la política seleccionada.
Razonamiento y Juicio: El modelo utiliza $\tau$ y $c(\hat{p})$ para generar una racional fundamentada en la política $\hat{r}$ y una etiqueta de seguridad final $\hat{y} \in \{safe, unsafe\}$ (seguro, inseguro).

2. Construcción de Datos: PolicyTraj-20K

Para apoyar este enfoque, los autores construyeron PolicyTraj-20K, un conjunto de datos de más de 20,000 trayectorias anotadas con políticas de seguridad.

Síntesis: Se sintetizaron diversas trayectorias de agentes a partir de patrones de interacción existentes, variando el contenido de la tarea pero preservando los patrones de uso de herramientas y los mecanismos de seguridad.
Fundamentación: Las políticas se organizaron por "escenas de operación de agentes" en lugar de categorías de riesgo finales. Cada trayectoria está anotada con su política aplicable, cláusulas relevantes, etiqueta de seguridad y racional de decisión.
Estructura: El conjunto de datos soporta tanto la inicialización supervisada como el aprendizaje por refuerzo al proporcionar una fundamentación explícita de trayectoria-a-política.

3. Pipeline de Entrenamiento

RePolicy emplea un proceso de entrenamiento de dos etapas:

Etapa 1: Ajuste Fino Supervisado (SFT) de Arranque en Frío (Cold-Start)
El modelo se inicializa utilizando PolicyTraj-20K para aprender la secuencia completa de invocación-razonamiento. El modelo es entrenado para:

Identificar la política correcta de una biblioteca local (que contiene la política objetivo y distractores).
Generar el racional y la etiqueta de seguridad basados en el contenido de la política recuperada.
Seguir un formato de salida JSON estructurado.

Etapa 2: Aprendizaje por Refuerzo con GRPO
Los autores aplican Optimización de Política Relativa de Grupo (GRPO) para optimizar directamente los resultados de la salvaguarda. Las innovaciones clave incluyen:

Recompensas Verificables: Una función de recompensa compuesta $R = \lambda_{fmt}R_{fmt} + \lambda_{pol}R_{pol} + \lambda_{acc}R_{acc}$ $R = λ_{f m t} R_{f m t} + λ_{p o l} R_{p o l} + λ_{a cc} R_{a cc}$ evalúa:
- Formato ( $R_{fmt}$ ): Validez de la estructura JSON y la llamada a la política.
- Invocación de la Política ( $R_{pol}$ ): Si la política seleccionada es la correcta ( $\hat{p} = p^*$ ).
- Precisión ( $R_{acc}$ ): Corrección de la etiqueta de seguridad final.
Perturbación de Contexto de la Política: Para evitar que el modelo memorice asociaciones fijas de trayectoria-política o dependa de la composición de la biblioteca candidata, el proceso de entrenamiento vuelve a muestrear los distractores y desordena el orden de las políticas. Esto obliga al modelo a determinar la aplicabilidad basándose en la semántica de la trayectoria y el alcance de la descripción de la política.

Contribuciones Clave

Marco RePolicy: Una nueva salvaguarda que trata la invocación de la política de seguridad como una capacidad activa y aprendible optimizada mediante RL, en lugar de una entrada de contexto pasiva.
PolicyTraj-20K: Un nuevo conjunto de datos que proporciona supervisión detallada y fundamentada en políticas para trayectorias de agentes, cubriendo diversas herramientas, entornos y escenas de operación.
Innovaciones Metodológicas: La integración de GRPO con recompensas verificables basadas en reglas y la perturbación del contexto de la política para asegurar una selección de política robusta y la generalización.
Validación Empírica: Evaluación exhaustiva en seis diversos benchmarks de seguridad de agentes demostrando un rendimiento y robustez superiores.

Resultados Experimentales

RePolicy fue evaluado en seis benchmarks: ATBench, R-Judge, OpenAgentSafety, ASSEBench, HINTBench y AgentHazard. El modelo (RePolicy-4B) fue construido sobre la arquitectura Qwen3-4B-Instruct.

Rendimiento General: RePolicy-4B logró un F1 de Inseguridad (Unsafe F1) general del 88.15%, superando al baseline externo más fuerte por 3.98 puntos y al modelo de guardia especializado más fuerte por 8.46 puntos.
Dominio en Benchmarks: Clasificó en primer lugar en cuatro de los seis benchmarks, con márgenes significativos (por ejemplo, +5.47 en AgentHazard, +5.26 en ASSEBench).
Invocación de la Política: El RL mejoró significamente las tasas de invocación de política correcta del ~94.4% (arranque en frío) al 98.5%. El modelo distinguió con éxito las políticas relevantes de los señuelos, manteniendo las tasas de selección de señuelos por debajo del 1%.
Robustez: El modelo mantuvo un alto rendimiento incluso cuando el tamaño de la biblioteca de políticas candidatas variaba (de 10 a 50 políticas), aunque se observó un ligero compromiso en la precisión de la selección a medida que la biblioteca crecía.
Estudios de Ablación:
- El SFT de arranque en frío proporcionó una base sólida (+28.48 puntos sobre el modelo base).
- La invocación explícita de la política fue identificada como el principal motor de las ganancias finales, particularmente en benchmarks heterogéneos como AgentHazard y OpenAgentSafety.
- La perturbación del contexto de la política fue crucial para prevenir el sobreajuste a composiciones específicas de la biblioteca de políticas.

Significado y Reclamaciones

El artículo afirma que RePolicy demuestra una dirección práctica para construir salvaguardas de agentes más adaptables e interpretables. Al aprender a invocar activamente las políticas de seguridad, el sistema puede:

Adaptarse a contextos de política cambiantes y combinaciones de trayectoria-política no vistas.
Proporcionar racionales interpretables y fundamentados en la política para los juicios de seguridad.
Superar tanto a los LLM de propósito general como a los modelos de guardia especializados entrenados en taxonomías estáticas.

Los autores señalan que su trabajo está destinado a la investigación defensiva. Reconocen limitaciones, incluyendo la suposición de que la biblioteca de políticas candidatas contiene una política aplicable suficientemente precisa y la carga de inferencia adicional introducida por el proceso de invocación de múltiples pasos. Enfatizan que RePolicy no debe tratarse como un mecanismo de ejecución independiente en aplicaciones de alto riesgo sin supervisión humana y estrategias de defensa en profundidad.