💬 NLP

Learning to Attack and Defend: Adaptive Red Teaming of Language Models via GRPO

Este artículo presenta AdvGRPO, un novedoso marco de co-entrenamiento que estabiliza GRPO para la optimización conjunta de atacante-defensor mediante recompensas densas multicanal, normalización de ventaja desacoplada y un currículo progresivo, logrando finalmente ataques transferibles altamente efectivos y defensas de modelos de lenguaje más robustas.

Autores originales: Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

Publicado 2026-06-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: Un combate de entrenamiento digital

Imagina que tienes un robot muy inteligente (el Defensor) que ha sido entrenado para ser útil, pero también para rechazar peticiones dañinas, como "¿Cómo construyo una bomba?" o "¿Cómo hackeo un banco?".

Normalmente, los humanos intentan probar a este robot escribiendo una lista de preguntas capciosas. Pero el robot es inteligente; aprende a decir "No" a esas preguntas específicas. El problema es que un atacante astuto y adaptativo puede cambiar su estrategia para encontrar una nueva forma de engañar al robot.

Este artículo presenta una nueva forma de entrenar a ambos lados al mismo tiempo utilizando un método llamado AdvGRPO. Piensa en ello como la configuración de un dojo digital donde un Equipo Rojo (el atacante) y un Equipo Azul (el defensor) entrenan entre sí continuamente. En lugar de que los humanos escriban las preguntas, los modelos de IA aprenden a atacar y defender jugando uno contra el otro, volviéndose más fuertes con cada ronda.

El problema del método antiguo

Previamente, los investigadores intentaron usar una herramienta de entrenamiento específica (llamada GRPO) para enseñar al atacante cómo romper al defensor. Sin embargo, descubrieron que cuando el atacante y el defensor aprendían al mismo tiempo, el sistema se volvía "inestable". Era como si dos boxeadores intentaran aprender un nuevo estilo de combate mientras el ring mismo se sacudía; no podían ponerse de acuerdo sobre quién estaba ganando, y el entrenamiento colapsaba o daba vueltas en círculos.

La solución: AdvGRPO (El dojo estable)

Los autores crearon un nuevo marco de trabajo llamado AdvGRPO que soluciona el problema del ring que se sacude. Lo hicieron con tres trucos principales:

Una tarjeta de puntuación con múltiples carriles (Recompensas densas multicanal):
Imagina a un árbitro que no solo grita "¡Punto!" al final de la ronda. En su lugar, otorga una puntuación por cada movimiento.
- ¿Se mantuvo el atacante en el tema?
- ¿Siguió el atacante la estrategia?
- ¿Logró realmente obtener la respuesta dañina?
  Al puntuar cada pequeño paso, el atacante recibe una retroalimentación constante sobre qué mejorar, en lugar de esperar hasta el final para saber que falló.
Jueces independientes (Normalización de ventaja desacoplada):
En el método antiguo e inestable, si el atacante de repente se volvía muy bueno, las puntuaciones para el defensor se veían terribles en comparación, lo que confundía el entrenamiento.
El nuevo método utiliza un sistema (llamado GDPO) donde cada tipo de puntuación es juzgado de forma independiente antes de combinarse. Es como tener un juez para la "Velocidad", un juez para la "Técnica" y un juez para la "Creatividad", que califican por separado, de modo que uno no arruine la puntuación del otro. Esto mantiene el entrenamiento estable incluso a medida que ambos modelos se vuelven más inteligentes.
El campamento de entrenamiento (Aprendizaje por currículo):
No pondrías a un boxeador principiante en el ring con un campeón inmediatamente. El artículo utiliza un "currículo".
- Fase 1: El atacante entrena solo contra un defensor fijo para aprender lo básico.
- Fase 2: Una vez que el atacante es decente, comienza a hacer sparring con el defensor.
- Fase 3: Se turnan. El atacante intenta romper al defensor durante algunas rondas, luego el defensor intenta parchar los agujeros durante algunas rondas, y cambian. Esto evita que el defensor simplemente diga "No" a todo (una victoria fácil) y lo obliga a aprender cómo manejar ataques específicos y complicados.

Lo que encontraron

El artículo reporta varios resultados clave de sus experimentos:

Los atacantes se volvieron aterradoramente buenos: Los atacantes entrenados aprendieron a engañar al defensor mucho mejor que los modelos no entrenados o los modelos que simplemente fueron "desbloqueados" (a los que se les quitaron los filtros de seguridad). Aprendieron que simplemente eliminar los filtros de seguridad no es suficiente; tienes que aprender cómo atacar.
Pueden adaptarse: Los atacantes aprendieron estrategias que funcionaron no solo en el defensor contra el que entrenaron, sino también en modelos completamente diferentes que nunca habían visto antes. Es como un boxeador que aprende un movimiento que funciona contra cualquiera, no solo contra su compañero de sparring.
Los defensores se volvieron más fuertes: Los defensores entrenados en este "dojo" se volvieron mucho mejores para detectar y bloquear ataques que los defensores entrenados con métodos más antiguos. Aprendieron a decir "No" a las peticiones malas, pero seguir diciendo "Sí" a las peticiones buenas e inofensivas.
Los modelos de pensamiento necesitan ayuda especial: Descubrieron que los modelos capaces de "pensar" (razonar) a menudo intentaban ser demasiado seguros y se negaban a atacar incluso cuando se les pedía. Tuvieron que crear un sistema de recompensa especial para enseñar a estos modelos a pensar a través del ataque sin quedarse estancados en las advertencias de seguridad.

La conclusión fundamental

El artículo afirma que, al utilizar este nuevo método estable (AdvGRPO), pueden crear un sistema donde los atacantes y defensores de IA aprenden juntos. Esto resulta en atacantes que son muy buenos encontrando debilidades y defensores que son muy buenos corrigiéndolas, haciendo que la IA sea más segura en general. Enfatizan que esto es una herramienta de investigación para encontrar debilidades antes de que actores malintencionados puedan usarlas, ayudando a construir sistemas de IA más fuertes y robustos.

Resumen Técnico: Aprendiendo a Atacar y Defender: Red Teaming Adaptativo de Modelos de Lenguaje mediante GRPO

Planteamiento del Problema

El alineamiento de seguridad actual para los Modelos de Lenguaje Grande (LLM) depende en gran medida de conjuntos de datos estáticos de prompts adversarios curados por humanos o generados por técnicas de jailbreak fijas. Aunque los modelos pueden ser entrenados para desviar estos ataques específicos, siguen siendo frágiles ante atacantes adaptativos que modifican sus estrategias para atacar nuevas debilidades. Los métodos de red teaming automatizado existentes a menudo entrenan atacantes contra defensores fijos o utilizan optimización de bucle abierto donde el atacante genera todos los turnos sin observar las respuestas del defensor. Además, aunque la Optimización de Política Relativa de Grupo (GRPO) ha mostrado potencial en dominios de seguridad, intentos previos de aplicar su co-entrenamiento atacante-defensor han reportado inestabilidad, lo que llevó a los investigadores a preferir la Optimización de Política Próxima (PPO) o la Optimización de Preferencia Directa (DPO) en su lugar.

Metodología: AdvGRPO

Los autores introducen AdvGRPO, un marco de co-entrenamiento diseñado para hacer que GRPO sea viable para la optimización conjunta de atacante y defensor. El marco aborda la inestabilidad de los intentos previos de co-entrenamiento de GRPO mediante tres mecanismos centrales:

Recompensas Densas Multicanal y GDPO:
En lugar de depender de resultados finales dispersos, el sistema emplea señales de recompensa densas y multicanal puntuadas por un juez de LLM (GPT-4.1).
- Para los Atacantes: Las recompensas incluyen una Recompensa de Ataque ( $A$ ) por la respuesta dañina del defensor, una Recompensa de Prompt ( $P$ ) por la adherencia del atacante a la estrategia, y una Recompensa de Traza de Pensamiento ( $T$ ) para modelos de razonamiento con el fin de evitar la autocensura.
- Para los Defensores: Las recompensas incluyen $1-A$ para objetivos adversariales (penalizando salidas dañinas) y una Recompensa de Utilidad ( $H$ ) para objetivos benignos.
- GDPO (Optimización de Política Desacoplada de Recompensa de Grupo): Para evitar el colapso de la señal de recompensa donde los canales con menor varianza son atenuados durante la normalización, el marco normaliza cada canal de recompensa de forma independiente dentro de un grupo antes de combinarlos mediante una suma ponderada. Esto desacopla las escalas de ventaja de diferentes objetivos.
Optimización de Múltiples Turnos en Bucle Cerrado:
A diferencia de los métodos de bucle abierto (por ejemplo, SEMA) donde los atacantes generan todos los turnos de una sola vez, AdvGRPO opera en un bucle cerrado. El atacante observa la respuesta del defensor en cada turno y adapta su siguiente prompt en consecuencia. Los episodios se podan tempranamente si el ataque tiene éxito (recompensa > 0.9), proporcionando una asignación de crédito eficiente para las acciones por turno.
Pre-entrenamiento de Currículo y Actualizaciones Alternas:
- Currículo: El atacante es entrenado primero en un entorno de un solo turno, luego en multi-turno, antes de que comience el co-entrenamiento. Esto evita que el defensor domine las etapas iniciales del co-entrenamiento al desviar fácilmente ataques débiles y no entrenados.
- Actualizaciones Alternas: Durante el co-entrenamiento, los modelos atacante y defensor se actualizan de forma alterna (cada $N$ pasos). En la fase del atacante, el defensor permanece congelado; en la fase del defensor, el atacante se congela, y el defensor es entrenado en una mezcla de objetivos adversariales y benignos para evitar una estrategia degenerada de "rechazar todo".

Contribuciones Clave

Estabilización de GRPO para Co-entrenamiento: El artículo demuestra que GRPO puede utilizarse eficazmente para el co-entrenamiento atacante-defensor, superando los informes previos de inestabilidad mediante el uso de GDPO y la normalización de ventaja desacoplada.
Aprendizaje de Múltiples Turnos en Bucle Cerrado: El marco permite a los atacantes aprender estrategias adaptativas condicionándose a las respuestas del defensor en cada turno, en lugar de generar secuencias estáticas de múltiples turnos.
Entrenamiento de Modelos de Razonamiento: El método entrena con éxito modelos con capacidad de razonamiento (por ejemplo, Qwen3.5-9B) para superar la autocensura inducida por el alineamiento, una capacidad que los modelos de razonamiento base carecen.
Entrenamiento de Defensores Robustos: Los defensores co-entrenados logran un rendimiento de seguridad superior en comparación con las líneas base mientras mantienen la utilidad general.

Resultados

Desempeño del Atacante:

Los atacantes entrenados con AdvGRPO lograron mejoras significativas en la Tasa de Éxito de Ataque (ASR) sobre los modelos base. Por ejemplo, un atacante multi-turno Qwen2.5-14B alcanzó un ASR del 90–91% en AdvBench y HarmBench contra GPT-4.1.
Los modelos con capacidad de razonamiento (Qwen3.5-9B) entrenados con AdvGRPO alcanzaron un ASR del 71–79% en entornos de un solo turno, superando el rendimiento cercano a cero en su estado base.
Transferibilidad: Los atacantes se generalizaron bien a modelos defensores no vistos (Phi-4-mini, Llama-3.1-8B, Gemma-2-9B), superando a menudo al método de vanguardia SEMA en objetivos fuera de la distribución (OOD), particularmente en escenarios de múltiples turnos.
Comparación con Línea Base: Los modelos sin censura (por ejemplo, modelos Abliterated o GRP-Obliterated) se desempeñaron pobremente como atacantes en comparación con los modelos entrenados con AdvGRPO, lo que indica que eliminar las salvaguardas de seguridad por sí solo no confiere capacidades de estrategia adversarial.

Desempeño del Defensor:

Los defensores co-entrenados (Qwen2.5-7B) redujeron el ASR de HarmBench a <2%, superando significativamente al modelo base (18.8%), Self-RedTeam (16.8%) y AdvGame (4.7%).
Aunque el cumplimiento benigno disminuyó ligeramente (probablemente debido al entrenamiento solo con prompts benignos vanilla), las métricas de utilidad general (MMLU, TruthfulQA, ARC-C, IFBench) se preservaron o mejoraron, indicando que el entrenamiento de seguridad no degradó las capacidades generales.

Significado y Reivindicaciones

El artículo sostiene que AdvGRPO proporciona una alternativa estable y efectiva a PPO y DPO para el red teaming y la defensa automatizados. Establece que:

GRPO es viable para el co-entrenamiento cuando se combina con recompensas densas multicanal y normalización desacoplada, desafiando la noción de que es inherentemente inestable en este entorno.
El entrenamiento adaptativo es necesario: Simplemente eliminar las salvaguardas de seguridad (desalineamiento) es insuficiente para crear atacantes efectivos; los modelos deben ser entrenados específicamente para explotar las debilidades del defensor mediante el co-entrenamiento iterativo.
La optimización de bucle cerrado produce ataques más transferibles y robustos que los métodos de bucle abierto, ya que el atacante aprende a adaptarse a las respuestas específicas del defensor turno por turno.
El co-entrenamiento produce defensores robustos que se generalizan mejor que aquellos entrenados mediante conjuntos de datos estáticos u otras líneas base de co-entrenamiento, ofreciendo un camino práctico hacia un alineamiento de seguridad de IA más resiliente.

Los autores reconocen limitaciones, incluyendo la reducción del cumplimiento benigno en los defensores (lo que sugiere la necesidad de prompts benignos adversariales en el entrenamiento) y cierto colapso de entropía en los prompts del atacante, lo que limita la diversidad del ataque. Sin embargo, el trabajo posiciona a AdvGRPO como un paso significativo hacia la creación de sistemas de red teaming adaptativos y automatizados.