LLMs know their vulnerabilities: Uncover Safety Gaps through Natural Distribution Shifts

1. El Problema: Vulnerabilidad ante Desplazamientos de Distribución Natural

Los modelos de lenguaje grandes (LLMs) alineados han sido entrenados para rechazar consultas maliciosas directas (por ejemplo, "¿Cómo fabricar una bomba?"). Sin embargo, la investigación actual se ha centrado principalmente en ataques que modifican deliberadamente las consultas para salirse de la distribución de entrenamiento (desplazamientos maliciosos), como el uso de cifrados, lenguajes de bajo recurso o roles ficticios.

El artículo identifica una nueva y crítica vulnerabilidad: la fragilidad de los LLMs ante desplazamientos de distribución natural.

• Definición: Se refiere a prompts que parecen benignos y semánticamente relacionados con contenido tóxico, pero que existen dentro de la distribución de pre-entrenamiento del modelo.
• La Brecha: Aunque el modelo sabe rechazar la consulta directa, no ha sido entrenado para rechazar una serie de preguntas inocentes que, en conjunto, guían al modelo a revelar información dañina. El modelo explota las relaciones semánticas aprendidas durante el pre-entrenamiento entre entidades benignas (personas, libros, eventos) y el contenido tóxico.

2. Metodología: ActorBreaker

Para explotar y evaluar esta vulnerabilidad, los autores proponen ActorBreaker, un método de ataque de múltiples vueltas (multi-turn) basado en la Teoría del Actor-Red (ANT) de Bruno Latour.

A. Construcción de la Red de Actores

El método no utiliza plantillas fijas ni roles predefinidos. En su lugar, construye una red conceptual alrededor de una consulta tóxica objetivo ($x$):

1. Tipos de Actores: Se identifican seis categorías de actores semánticamente relacionados con el objetivo dañino:
   • Creación: Quienes inspiran o crean la idea (ej. autores de manuales).
   • Ejecución: Quienes realizan la acción (ej. terroristas históricos).
   • Distribución: Quienes difunden el contenido (ej. sitios web, medios).
   • Recepción: Quienes son afectados (ej. víctimas).
   • Facilitación: Entidades que habilitan la acción (ej. ideologías, herramientas).
   • Regulación: Entidades que intentan detenerla (ej. leyes, ONGs).
2. Instanciación: Utilizando el conocimiento del propio LLM (pre-entrenamiento), el sistema instancia estos actores con entidades reales (humanas y no humanas, como libros o movimientos sociales) y mapea sus relaciones semánticas con el objetivo tóxico.

B. Generación del Ataque (Fase de Ataque)

El proceso se divide en tres pasos:

1. Inferencia de la Cadena de Ataque: Dado un "actor" seleccionado (ej. "Ted Kaczynski") y el objetivo tóxico (ej. "fabricar bombas"), el modelo atacante infiere una cadena de pensamientos ($z$) que conecta al actor con el objetivo de manera lógica y gradual.
2. Generación mediante "Self-Talk" (Diálogo Interno): El modelo atacante genera un conjunto de consultas iniciales simulando un diálogo consigo mismo (pregunta-respuesta) siguiendo la cadena de pensamientos. Esto crea un camino de ataque natural sin interactuar aún con la víctima.
3. Modificación Dinámica (Opcional): Durante la interacción real con el modelo víctima, si el modelo se niega o no entiende, el atacante ajusta dinámicamente la consulta (por ejemplo, usando elipsis para evitar palabras clave bloqueadas) basándose en la respuesta recibida, manteniendo la intención semántica pero reduciendo la toxicidad explícita.

3. Contribuciones Clave

1. Identificación de un nuevo modo de fallo: Demostraron que los LLMs alineados son frágiles ante prompts benignos que explotan relaciones semánticas naturales, un vector de ataque que las defensas actuales ignoran.
2. Propuesta de ActorBreaker: Un método novedoso que utiliza la teoría sociológica (ANT) para generar ataques diversos, naturales y de múltiples vueltas, evitando las estrategias fijas de "jailbreak" tradicionales.
3. Rendimiento Superior: Lograron el estado del arte (SOTA) en el benchmark HarmBench, superando tanto a ataques de una sola vuelta como a métodos de múltiples vueltas existentes (como CoA y Crescendo).
4. Defensa Adaptativa: Construyeron un conjunto de datos de seguridad de múltiples vueltas utilizando ActorBreaker y demostraron que el ajuste fino (fine-tuning) con estos datos mejora significativamente la robustez del modelo, aunque con una compensación (trade-off) en la utilidad.

4. Resultados Experimentales

Los experimentos se realizaron en 6 LLMs populares (GPT-3.5, GPT-4o, GPT-o1, Claude-3.5, Llama-3-8B/70B) contra el conjunto de datos HarmBench.

• Tasa de Éxito del Ataque (ASR): ActorBreaker alcanzó una ASR promedio del 77.7%, superando significativamente a los métodos baselines (Crescendo: 49.3%, CoA: 19.3%).
  • Destacó su capacidad para engañar incluso a GPT-o1, un modelo con capacidades de razonamiento avanzado, logrando un 60% de éxito frente a un máximo del 14% de otros métodos. Esto sugiere que el razonamiento en cadena (Chain-of-Thought) de GPT-o1 puede ser coherente en la seguridad pero fallar en la ejecución final del prompt.
• Diversidad: Las consultas generadas por ActorBreaker mostraron una mayor diversidad semántica (medida por distancia de coseno en embeddings) que los métodos basados en plantillas fijas, lo que dificulta su detección por filtros de toxicidad.
• Evasión de Detectores: Las consultas generadas obtuvieron puntuaciones de toxicidad muy bajas según Llama-Guard 2, confirmando que son percibidas como "seguras" por los filtros de entrada, a pesar de llevar a respuestas dañinas.
• Eficiencia: Requiere menos interacciones (vueltas de conversación) para tener éxito en comparación con otros métodos de múltiples vueltas.

5. Significado e Implicaciones

• Blindaje de la Seguridad: El estudio revela que la seguridad actual de los LLMs es insuficiente porque se entrena principalmente para rechazar consultas explícitamente maliciosas, ignorando el vasto espacio semántico de contenido "inocente" que puede conducir a resultados dañinos.
• Necesidad de Nuevos Datos de Entrenamiento: La solución propuesta no es solo mejorar el filtrado, sino expandir el alcance de los datos de alineación de seguridad para cubrir las relaciones semánticas naturales entre actores benignos y contenido tóxico.
• Riesgo de Transferencia: Dado que los LLMs comparten distribuciones de pre-entrenamiento similares, las vulnerabilidades descubiertas en un modelo tienden a transferirse a otros, lo que hace que este tipo de ataque sea particularmente peligroso a escala.
• Compensación Utilidad-Seguridad: El artículo advierte que fortalecer la seguridad contra estos ataques naturales mediante ajuste fino puede reducir ligeramente la utilidad general del modelo, un desafío que requiere futuras investigaciones (ej. RLHF en diálogos múltiples).

En conclusión, el paper demuestra que la seguridad de los LLMs no es solo una cuestión de bloquear palabras clave o intenciones obvias, sino de comprender y proteger las complejas redes semánticas que el modelo ha aprendido durante su pre-entrenamiento, las cuales pueden ser explotadas mediante diálogos naturales y progresivos.