Resumen Técnico: Los LLM de Difusión como Objetivos y Adversarios: Explotaciones de Seguridad Mecanística

1. Planteamiento del Problema

La rápida aparición de los Modelos de Lenguaje de Difusión (DLLM) introduce una nueva generación de generadores de texto que reemplazan la predicción de siguiente token autorregresiva (AR) con un proceso de eliminación de ruido iterativo y paralelo. Si bien los DLLM ofrecen ventajas en el modelado de contexto bidireccional y eficiencia de datos, sus mecanismos internos de seguridad siguen siendo poco comprendidos. La investigación actual sobre alineación de seguridad se ha centrado mayoritariamente en arquitecturas AR, donde la seguridad suele localizarse en conjuntos dispersos de "neuronas de seguridad".

Este artículo investiga dos preguntas críticas:

1. Como Objetivos: ¿Heredan los DLLM las mismas vulnerabilidades de seguridad mecánicas y dispersas encontradas en sus predecesores AR (p. ej., Qwen2.5), y son estas vulnerabilidades transferibles entre arquitecturas?
2. Como Adversarios: ¿Pueden las propiedades únicas de los DLLM (específicamente su capacidad para modelar distribuciones conjuntas de prompt-respuesta $q(x, y)$) aprovecharse para generar prompts adversarios de manera más eficiente que los métodos actuales de jailbreak de vanguardia (SOTA), que a menudo dependen de la búsqueda de tokens computacionalmente costosa o del aprendizaje por refuerzo?

Los autores postulan que los marcos de seguridad actuales son estructuralmente frágiles y que el cambio hacia los paradigmas de difusión puede exponer vectores de ataque completamente nuevos, al tiempo que ofrece nuevas herramientas para la explotación.

2. Metodología

El artículo propone un enfoque de dos vertientes: un Ataque de Transferencia de Caja Blanca para validar la herencia de vulnerabilidades, y un Marco de Jailbreak de Caja Negra (Difusión Guiada por SN) para explotar estas vulneridades.

2.1. Caja Blanca: Transferibilidad entre Arquitecturas

Los autores establecen primero que los mecanismos de seguridad en los DLLM son dispersos y transferibles.

• Identificación de Neuronas de Seguridad: Utilizando una variante del marco NeuroStrike, los autores identifican "neuronas de seguridad" en un modelo de pesos abiertos (ya sea un DLLM nativo como LLaDA o un modelo AR como Qwen2.5). Extraen activaciones de la red de alimentación hacia adelante (feed-forward) de prompts benignos y maliciosos, entrenando un clasificador de regresión logística para aislar neuronas con pesos que se desvían significativamente de la media.
• Mapeo Directo de Índices: Para los DLLM inicializados desde pesos AR (p. ej., Dream, Fast-dLLM a partir de Qwen2.5), la estructura interna de la red es idéntica. Los autores mapean las coordenadas de las neuronas de seguridad identificadas $(\ell, i)$ del modelo AR de origen directamente al DLLM objetivo sin necesidad de perfilar el DLLM en sí.
• Poda en Tiempo de Inferencia: Para probar la vulnerabilidad, los autores ponen a cero las activaciones de estas neuronas de seguridad mapeadas durante el paso hacia adelante (forward pass). Esta "poda de transferencia" elude las salvaguardas de seguridad sin requerir el ajuste fino (fine-tuning) del modelo.

2.2. Caja Negra: Marco de Difusión Guiada por SN

Para generar jailbreaks sin consultar al modelo objetivo, los autores introducen la Difusión Guiada por SN, un marco totalmente offline.

• Pérdida de Neurona de Seguridad Ponderada (SN): Los autores formulan una métrica de pérdida continua para guiar el proceso de difusión. En lugar de una optimización discreta, calculan una esperanza ponderada de las activaciones de las neuronas de seguridad:
  $$SN(x) = E_\ell \left[ \sum_{i:(\ell,i) \in S} h^\ell_i(x) \cdot w_{\ell,i} \right]$$
  donde $w_{\ell,i}$ son los pesos de la regresión logística aprendidos durante la identificación. Minimizar esta pérdida dirige la generación lejos de las regiones que activan la seguridad.
• Cascada de Poda Generativa: Para asegurar respuestas adversarias de alta calidad, el marco utiliza primero un DLLM sustituto progresivamente podado para generar pares prompt-respuesta "camuflados". Esta cascada filtra rechazos, degeneración y lavado semántico, estableciendo una "Zona de Jailbreak" fiable en el espacio de activación.
• Bucle de Optimización Offline: El marco ancla el proceso de difusión inversa a una respuesta objetivo maliciosa fija $y^*$. En cada paso de eliminación de ruido, evalúa los tokens candidatos para las posiciones enmascaradas. Selecciona los tokens que minimizan la pérdida SN mientras mantienen la fluidez semántica, dirigiendo efectivamente la trayectoria hacia la "Zona de Jailbreak" (un subespacio de baja activación indistinguible de las consultas benignas).
• Camuflaje de Intención: Para eludir los filtros léxicos, el marco emplea plantillas basadas en personajes y traducción eufemística para enmascarar los disparadores maliciosos brutos antes de que comience el proceso de difusión.

3. Contribuciones Clave

1. Demostración de la Transferibilidad Estructural: El artículo proporciona evidencia empírica de que la alineación de seguridad en los DLLM sigue siendo altamente localizada y estructuralmente transferible. Las neuronas de seguridad identificadas en modelos AR (como Qwen2.5) pueden mapearse directamente a los DLLM inicializados desde esos pesos, permitiendo ataques entre arquitecturas sin perfilar el DLLM objetivo.
2. Introducción de la Pérdida SN Ponderada: Los autores proponen una métrica de pérdida escalar continua que integra las activaciones de las neuras con pesos logísticos aprendidos. Esta métrica logra una separabilidad casi perfecta (AUROC = 1.0) entre prompts benignos, dañinos y de jailbreak, estableciendo un objetivo fiable para la optimización en tiempo de inferencia.
3. Marco de Difusión Guiada por SN: Un novedoso generador de jailbreak de caja negra totalmente offline. A diferencia de los métodos anteriores que requieren miles de consultas o aprendizaje por refuerzo, este marco aprovecha la naturaleza bidireccional de los DLLM para resolver la optimización del jailbreak como un problema de inferencia. Logra una transferibilidad competitiva con costos de generación órdenes de magnitud menores.

4. Resultados Experimentales

4.1. Ataques de Transferencia de Caja Blanca

• Autopoda (Self-Pruning): La poda de neuronas de seguridad en DLLM nativos (LLaDA, Dream) aumentó las Tasas de Éxito de Ataque (ASR) de ~2.6% a 73.8% (LLaDA) y de 1.9% a 86.6% (Dream).
• Poda de Transferencia: La poda de neuronas mapeadas de Qwen2.5 a los DLLM objetivo aumentó el ASR de 1.9% a 73.2% en Dream y de 7.0% a 86.3% en Fast-dLLM.
• Preservación de la Utilidad: La utilidad general (medida mediante GSM8K) permaneció mayoritariamente intacta, con una degradación típicamente inferior al 2-3%, confirmando que las neuronas de seguridad son distintas de las capacidades lingüísticas generales.

4.2. Transferibilidad de Caja Negra

• Rendimiento: La Difusión Guiada por SN logró un alto ASR en diversos objetivos:
  • Llama-3-8B-Instruct: 77.1%
  • Qwen2.5-7B-Instruct: 86.9%
  • Gemini-2.5-Flash-Lite: 74.3%
  • Fast-dLLM-v2-7B: 88.8%
• Comparación con SOTA: El método superó a NeuroStrike (p. ej., 83.3% frente a 54.7% en Gemini-2.0-Flash) y a marcos competitivos como Puzzler, requiriendo solo 20 episodios de generación por prompt.
• Evasión de Defensa: El ataque se mantuvo robusto contra el Filtrado de Perplejidad y SmoothLLM. La Edición Específica de Capas (LSE) proporcionó la mitigación más fuerte, pero solo redujo el ASR a 69.0% en Llama-3, lo que indica la naturaleza sistémica de la vulnerabilidad.

4.3. Eficiencia

El marco requiere aproximadamente 1,920 evaluaciones sustitutas por episodio. Con un presupuesto máximo de 20 episodios por prompt, el costo computacional total es de 38,400 evaluaciones sustitutas por intento adversario. Esto es órdenes de magnitud inferior a los millones de ejecuciones requeridas por los métodos basados en GRPO o las decenas de miles de consultas requeridas por los métodos de búsqueda iterativa como GCG.

5. Significado y Reivindicaciones

El artículo sostiene que el cambio hacia paradigmas de generación basados en difusión no resuelve inherentemente los problemas de alineación de seguridad; más bien, puede propagar las vulnerabilidades existentes de los modelos AR a las nuevas arquitecturas. Los autores argumentan que:

• La Seguridad es Dispersa y Transferible: Los mecanismos de seguridad no son holísticos, sino que dependen de neuronas localizadas y dispersas que se preservan cuando los DLLM se inicializan desde pesos AR. Esto crea una "espada de doble filo" donde el intercambio de pesos para la capacidad también comparte las vulnerabilidades.
• Puntos Ciegos Mecanísticos: Existe una "Zona de Jailbreak" en el espacio de activación donde los prompts pueden optimizarse estructuralmente para minimizar la activación de las neuronas de seguridad manteniendo la intención maliciosa. Esta zona es accesible mediante la guía de difusión offline.
• Eficiencia de los Ataques Mecanísticos: Al aprovechar el modelado de la distribución conjunta de los DLLM, los atacantes pueden evitar la necesidad de una optimización online costosa o de aprendizaje por refuerzo, logrando una alta transferibilidad con un costo computacional mínimo.

Los autores concluyen que las estrategias de alineación futuras deben ir más allá del ajuste conductual superficial para abordar estas vulnerabilidades estructurales fundamentales, potencialmente mediante el entrelazamiento de las representaciones de seguridad con las capacidades lingüísticas centrales o la interrupción del mapeo uno a uno de las neuronas de seguridad.