💬 NLP

Learning diverse attacks on large language models for robust red-teaming and safety tuning

Este artículo propone un marco basado en GFlowNet para el red-teaming automatizado que supera las limitaciones de colapso de modo de los enfoques de aprendizaje por refuerzo existentes para generar prompts de ataque diversos y efectivos, permitiendo así la creación de modelos de lenguaje de gran tamaño con ajuste de seguridad más robustos.

Autores originales: Seanie Lee, Minsu Kim, Lynn Cherif, David Dobre, Juho Lee, Sung Ju Hwang, Kenji Kawaguchi, Gauthier Gidel, Yoshua Bengio, Esmeralda S. Whitammer, Moksh Jain

Publicado 2026-09-01

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Seanie Lee, Minsu Kim, Lynn Cherif, David Dobre, Juho Lee, Sung Ju Hwang, Kenji Kawaguchi, Gauthier Gidel, Yoshua Bengio, Esmeralda S. Whitammer, Moksh Jain

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, los grandes modelos de lenguaje se han convertido en herramientas poderosas capaces de escribir, razonar y conversar con una fluidez similar a la humana. Sin embargo, esta capacidad conlleva un riesgo significativo: estos sistemas pueden ser manipulados para producir contenido dañino, tóxico o peligroso. Para prevenir esto, los desarrolladores participan en una práctica conocida como red-teaming (pruebas de penetración o equipo rojo). Imagine a un equipo de seguridad contratado para irrumpir en un edificio antes de que el público se mude; en el ámbito digital, el red-teaming consiste en intentar engañar sistemáticamente a una inteligencia artificial para que revele sus debilidades. El objetivo es encontrar las preguntas o instrucciones específicas, llamadas prompts, que eluden los filtros de seguridad del modelo y lo obligan a generar algo para lo que fue diseñado para rechazar. Identificar estas vulnerabilidades es esencial para construir sistemas más seguros, pero encontrarlas es difícil porque el espacio de posibles preguntas es vasto, y los métodos utilizados para hallarlas suelen estancarse en una rutina, repitiendo los mismos pocos trucos en lugar de descubrir una amplia variedad de formas nuevas de romper el sistema.

Un equipo de investigadores ha desarrollado un nuevo enfoque para este problema que genera con éxito una gama diversa de prompts de ataque efectivos. En lugar de depender de los métodos tradicionales que a menudo convergen en una solución única y repetitiva, utilizaron un marco probabilístico llamado red de flujo generativo (generative flow network). Este método trata la búsqueda de prompts dañinos no como una simple tarea de optimización, sino como un proceso de muestreo de un vasto paisaje de posibilidades. Los investigadores entrenaron a un modelo de inteligencia artificial para explorar este paisaje, recolectando una amplia gama de prompts que lograron provocar respuestas tóxicas de los modelos objetivo. Luego aplicaron un segundo paso de suavizado para refinar estos hallazgos, asegurando que el conjunto final de ataques fuera tanto altamente efectivo como notablemente variado. El resultado es un conjunto de herramientas que puede descubrir vulnerabilidades que otros métodos pasan por alto, proporcionando una red de seguridad más completa para los desarrolladores.

El desafío central que abordaron los investigadores fue un fallo común en el red-teaming automatizado: la tendencia de los sistemas a colapsar generando solo unos pocos prompts similares y repetitivos. Los intentos previos para solucionar esto añadiendo reglas que fomentaran la variedad a menudo fallaban, resultando en sistemas que producían preguntas diversas pero inofensivas, o ataques efectivos pero idénticos. El nuevo método evita esta trampa mediante un proceso de dos etapas. En la primera etapa, el sistema explora el espacio de posibles prompts, guiado por una señal de recompensa que mide qué tan probable es que un prompt desencadene una respuesta dañina. Esta exploración está diseñada para ser amplia, buscando muchos diferentes "modos" o tipos de ataques en lugar de solo el más fácil. El sistema recolecta un gran conjunto de datos de estos prompts exitosos y diversos durante esta fase.

En la segunda etapa, los investigadores toman los prompts recolectados y los utilizan para entrenar al modelo nuevamente, esta vez enfocándose en aprender los patrones que hicieron que esos prompts específicos fueran exitosos. Este paso actúa como un refinamiento, suavizando la distribución de los ataques para que el modelo pueda generar nuevas variaciones de alta calidad que no fueron vistas explícitamente antes, pero que comparten las mismas características exitosas. Esta combinación de exploración amplia seguida de un aprendizaje enfocado permite al sistema mantener un alto nivel de diversidad mientras asegura que los ataques sigan siendo potentes. Los investigadores probaron este enfoque en una variedad de diferentes modelos de lenguaje, incluyendo algunos que habían sido entrenados específicamente para ser seguros y resistentes a los ataques. Encontraron que su método superaba consistentemente a las técnicas existentes, generando un porcentaje mucho mayor de prompts tóxicos mientras mantenía una amplia variedad de fraseo y estructura.

Uno de los hallazgos más significativos fue la capacidad de estos ataques para transferirse entre diferentes modelos. Los prompts generados para atacar un modelo específico fueron a menudo exitosos contra otros modelos completamente diferentes, incluso aquellos contra los que los investigadores nunca habían probado durante la fase de entrenamiento. Esto sugiere que diferentes sistemas de inteligencia artificial comparten debilidades comunes en su entrenamiento de seguridad, y que un conjunto diverso de ataques puede revelar estas vulnerabilidades compartidas de manera más efectiva que los ataques estrechos y repetitivos. Por ejemplo, cuando los investigadores entrenaron su sistema con un modelo llamado Gemma, los prompts resultantes fueron capaces de eludir con éxito los filtros de seguridad de varios otros modelos, incluyendo Llama y Mistral, con altas tasas de éxito. Esta transferibilidad es crucial porque significa que un único esfuerzo de red-teaming bien diseñado puede mejorar la seguridad de muchos sistemas diferentes a la vez.

Los investigadores también demostraron que utilizar su conjunto diverso de ataques para entrenar un modelo lo hace significativamente más robusto. Cuando tomaron un modelo objetivo y lo ajustaron (fine-tuning) utilizando las respuestas de rechazo a sus prompts generados, el modelo resultante se volvió mucho más difícil de romper. De hecho, este modelo ajustado para la seguridad fue capaz de resistir ataques generados por otros métodos de red-teaming menos sofisticados que anteriormente habían sido exitosos. Esto indica que exponer un modelo a una amplia variedad de estilos de ataque durante su entrenamiento de seguridad es mucho más efectivo que exponerlo a solo unos pocos ejemplos repetidos. El estudio mostró que esta mejora en la seguridad no se produjo a costa de las capacidades generales del modelo; los modelos ajustados para la seguridad mantuvieron su capacidad para seguir instrucciones y realizar tareas de manera efectiva.

El trabajo también resaltó las limitaciones de las medidas de seguridad actuales. Los investigadores señalaron que la efectividad de sus ataques depende del clasificador utilizado para determinar si una respuesta es tóxica, y que el daño real puede ser subjetivo y dependiente del contexto. Observaron que algunos métodos, particularmente aquellos que dependen de la optimización simple, pueden caer en una trampa donde generan prompts que parecen tóxicos para un clasificador pero que no provocan respuestas realmente dañinas del modelo, un fenómeno conocido como "reward hacking" (ataque de recompensa). Su enfoque de dos etapas ayudó a mitigar esto al asegurar que los prompts no solo fueran estadísticamente probables de activar un clasificador, sino que fueran genuinamente efectivos para provocar la respuesta deseada del modelo objetivo.

En última instancia, esta investigación proporciona una forma más confiable de someter a pruebas de estrés a los sistemas de inteligencia artificial antes de que sean lanzados al público. Al alejarse de los métodos que se quedan atrapados en bucles repetitivos y adoptar una estrategia que busca una amplia diversidad de ataques, los desarrolladores pueden identificar y parchear un rango más amplio de vulnerabilidades. La capacidad de transferir estos ataques entre diferentes modelos sugiere que los desafíos de seguridad que enfrentan estos sistemas están interconectados, y que un enfoque de red-teaming probabilístico y diverso ofrece una herramienta poderosa para construir una inteligencia artificial más resiliente y confiable. El código y los métodos desarrollados en este estudio están disponibles para que otros los utilicen, con el objetivo de acelerar la creación de sistemas más seguros para todos.

Resumen Técnico: Aprendizaje de Ataques Diversos en Modelos de Lenguaje Extensos para Red-Teaming Robusto y Ajuste de Seguridad

Planteamiento del Problema

El despliegue de Modelos de Lenguaje Extensos (LLMs) conlleva riesgos significativos respecto a la generación de contenido dañino, tóxico o inseguro. Aunque los modelos suelen ajustarse mediante restricciones de seguridad, siguen siendo vulnerables a prompts de "jailbreak" o "ataque" que provocan respuestas indeseables. El red-teaming —la identificación automatizada de tales prompts— es crítico para garantizar un alineamiento de seguridad robusto antes del despliegue.

Los métodos actuales de red-teaming automatizado, basados principalmente en Aprendizaje por Refuerzo (RL), enfrentan un compromiso fundamental entre diversidad y efectividad.

Colapso de Modo (Mode Collapse): Los algoritmos de RL estándar (p. ej., REINFORCE, PPO) tienden a converger en una única trayectoria de alta recompensa, generando un conjunto estrecho de prompts similares.
Diversidad Ineficaz: Los métodos que intentan imponer diversidad (p. ej., mediante recompensas de novedad o bonificaciones de entropía) a menudo no logran equilibrar esto con la toxicidad, resultando en prompts diversos pero ineficaces que no logran eludir los filtros de seguridad.
Baja Transferibilidad: Los ataques generados para un modelo objetivo suelen fallar al transferirse a otros LLMs, lo que limita la eficiencia del ajuste de seguridad en diferentes arquitecturas.

El artículo argumenta que los enfoques actuales luchan por descubrir todo el espectro de modos de ataque necesarios para realizar un ajuste de seguridad robusto en los LLMs.

Metodología

Los autores proponen un marco probabilístico de dos etapas utilizando GFlowNets (Redes de Flujo Generativo) seguido de un suavizado de Estimación de Máxima Verosimilitud (MLE). Este enfoque trata la generación de prompts de ataque como un muestreo de una distribución de recompensa en lugar de optimizar una trayectoria determinista única.

Etapa 1: Ajuste Fino de GFlowNet

La primera etapa consiste en el ajuste fino de un Modelo de Lenguaje (LM) atacante preentrenado como una política de GFlowNet.

Objetivo: Aprender una política estocástica $p_\theta$ que muestree prompts $x$ con una probabilidad proporcional a su recompensa $R(x)$ .
Función de Recompensa: La recompensa combina dos componentes:
1. Toxicidad ( $R_1$ ): La probabilidad de que la respuesta del LLM objetivo sea clasificada como tóxica por un clasificador de toxicidad (p. ej., Llama-Guard o RoBERTa).
2. Naturalidad ( $R_2$ ): La probabilidad del prompt bajo un modelo de referencia ( $p_{ref}$ ), asegurando que los prompts de ataque parezcan naturales y no sean fácilmente filtrados por defensas basadas en perplejidad.
Entrenamiento: El modelo se entrena utilizando el objetivo de Equilibrio de Trayectoria (Trajectory Balance). Durante esta fase, la política explora el espacio de los prompts, recolectando muestras de alta recompensa en un conjunto de datos offline. Esta etapa está diseñada para ser "fuera de política" (off-policy), permitiendo al modelo descubrir diversos modos de ataque que el RL estándar podría omitir.

Etapa 2: Suavizado por MLE

La segunda etapa aborda la sensibilidad de GFlowNet a los parámetros de temperatura de recompensa (que controlan el equilibrio entre toxicidad y diversidad).

Proceso: El LM atacante preentrenado es reiniciado y ajustado mediante Estimación de Máxima Verosimilitud (MLE) sobre los prompts de alta recompensa recolectados durante la Etapa 1.
Mecanismo: Esto actúa como una forma de clonación de comportamiento. Al entrenar sobre el conjunto diverso de ataques exitosos descubiertos en la Etapa 1, el modelo aprende una distribución "suave" sobre los prompts de alta recompensa.
Beneficio: Este paso desacopla la exploración (Etapa 1) de la optimización de la política final, haciendo que el método sea robusto a las configuraciones específicas de temperatura utilizadas en el objetivo de GFlowNet y mejorando significativamente la diversidad del resultado final.

Adaptación mediante Reclasificación (Reranking)

Una característica clave del enfoque de dos etapas es su adaptabilidad. Para realizar red-teaming a un nuevo LLM objetivo, los autores proponen saltarse la costosa Etapa 1. En su lugar, recalculan la recompensa de los prompts almacenados de la Etapa 1 utilizando el nuevo LLM objetivo, filtran los prompts de alta recompensa y realizan únicamente el ajuste fino ligero de la Etapa 2 (MLE).

Contribuciones Clave

Red-Teaming Probabilístico: El artículo introduce un enfoque basado en GFlowNet para el red-teaming, enmarcando la generación de prompts como un muestreo de una distribución de recompensa para fomentar intrínsecamente la diversidad.
Suavizado de Dos Etapas: Los autores proponen un novedoso paso de suavizado MLE que generaliza a partir de las muestras de alta recompensa encontradas durante el entrenamiento de GFlowNet, equilibrando eficazmente la diversidad y la toxicidad mientras reduce la sensibilidad a los hiperparámetros.
Transferibilidad: El método genera prompts de ataque que se transfieren eficazmente entre diferentes LLMs objetivo (p. ej., de Llama-2 a Llama-3, o de Gemma a Mistral), revelando modos de falla compartidos en el alineamiento de seguridad.
Ajuste de Seguridad Robusto: El artículo demuestra que el ajuste de seguridad de los LLMs objetivo utilizando el conjunto de datos diverso generado por este método resulta en modelos significativamente más robustos ante ataques de otros métodos de red-teaming basados en RL.

Resultados Experimentales

El método fue evaluado contra cinco LLMs objetivo (GPT-2, Dolly-v2-7b, Gemma-2b-it, Llama-2-7b-chat, Llama-3.1-8B-Instruct) y comparado contra líneas base incluyendo SFT (Ajuste Fino Supervisado), ICL (Aprendizaje en Contexto), REINFORCE, PPO + Novelty, y GFlowNet independiente.

Diversidad vs. Toxicidad: El método propuesto GFlowNet + MLE es el único enfoque que logra consistentemente tanto altas tasas de toxicidad (efectividad) como una alta distancia de coseno (diversidad) en todos los modelos objetivo. Las líneas base como REINFORCE sufren de colapso de modo (alta toxicidad, baja diversidad), mientras que PPO + Novelty a menudo falla en encontrar ataques efectivos en modelos con ajuste de seguridad.
Transferibilidad: Cuando se entrenó en Gemma-2b-it, el atacante GFlowNet + MLE logró una tasa de toxicidad de ~27% en Llama-2-7b-chat y ~52% en Llama-3-70b-instruct, superando significativamente a todos los demás métodos. En contraste, los ataques de REINFORCE estaban adaptados al modelo de entrenamiento y fallaron al transferirse (0% de toxicidad en otros modelos).
Eficacia del Ajuste de Seguridad: Los modelos objetivo ajustados con el conjunto de datos GFlowNet + MLE fueron robustos contra ataques de otros métodos (p. ej., PPO + Novelty), mientras que los modelos ajustados con otros conjuntos de datos siguieron siendo vulnerables a los ataques de GFlowNet + MLE.
Eficiencia: La segunda etapa (MLE) es computacionalmente barata, toma menos del 5% del tiempo total de entrenamiento y no requiere muestreo on-policy ni computación de recompensa costosa durante la fase de adaptación.

Significado y Reivindicaciones

El artículo postula que la diversidad es un prerrequisito para un ajuste de seguridad robusto. Al no lograr descubrir modos de ataque diversos, los procesos actuales de alineamiento de seguridad dejan a los modelos vulnerables a vectores de ataque no vistos. El método propuesto ofrece una alternativa probabilística y fundamentada al RL estándar, permitiendo el descubrimiento de un espectro más amplio de vulnerabilidades.

Los autores afirman que su enfoque:

Resuelve el problema de "colapso de modo" inherente al red-teaming de RL estándar.
Proporciona un mecanismo escalable para adaptar las políticas de red-teaming a nuevos modelos sin necesidad de reentrenar desde cero.
Demuestra que los modelos con ajuste de seguridad, entrenados con ataques diversos generados por GFlowNet, son más resilientes a una gama más amplia de amenazas.

El artículo concluye señalando limitaciones, específicamente que la efectividad está limitada por la precisión del clasificador de toxicidad utilizado como proxy de daño, y que la naturaleza online del entrenamiento (que requiere consultas al LLM objetivo) incurre en costos computacionales. Sin embargo, el marco de dos etapas propuesto representa un avance significativo hacia un red-teaming automatizado y robusto.