Resumen Técnico: A2D – Alineación de Seguridad de Cualquier Orden y Cualquier Paso para Modelos de Lenguaje de Difusión

1. Planteamiento del Problema

Los Modelos de Lenguaje de Difusión (dLLMs) representan una desviación significativa de los modelos autorregresivos (AR) al permitir una decodificación de cualquier orden, donde los tokens se generan iterativamente en posiciones arbitrarias en lugar de una secuencia fija de izquierda a derecha. Si bien esta flexibilidad permite el razonamiento complejo y la síntesis de contenido estructurado, introduce vulnerabilidades de seguridad únicas que invalidan los métodos de alineación convencionales.

El problema central identificado es la alineación superficial. Al igual igual que los modelos AR, los dLLMs actuales exhiben señales de seguridad fuertes solo en los pasos iniciales de la generación, las cuales se degradan rápidamente a medida que avanza la decodificación. Esta limitación crea una gran superficie de ataque:

• Vulnerabilidad de Cualquier Orden: El contenido dañino puede inyectarse en posiciones arbitrarias durante la trayectoria de decodificación, eludiendo los rechazos iniciales.
• Vulnerabilidad de Cualquier Paso: Los ataques basados en plantillas, como DIJA (Wen et al., 2025), explotan esta degradación intercalando texto adversarial con tokens [MASK] en prompts parcialmente pre-completados. Estos ataques apuntan al modelo después de varios pasos de decodificación, cuando las señales de seguridad ya se han desvanecido, induciendo completados inseguros que los métodos de alineación a nivel de respuesta no logran prevenir.

Las líneas de base existentes, incluyendo el Entrenamiento de Rechazo (RT), el Ajuste Fino Supervisado (SFT) y la Optimización de Preferencia con Reducción de Varianza (VRPO), dependen de la supervisión a nivel de respuesta. En consecuencia, tienen dificultades para mantener la seguridad bajo diversas estrategias de decodificación (por ejemplo, aleatoria, basada en confianza) y fallan ante ataques que eluden los tokens iniciales.

2. Metodología: A2D (Defensa de Cualquier Orden, Cualquier Paso)

Los autores proponen A2D, un método de alineación a nivel de token diseñado específicamente para el proceso de decodificación flexible de los dLLMs. A diferencia de los enfoques previos que supervisan los rechazos solo a nivel de la respuesta completa, A2D alinea al modelo para emitir un token específico [EOS] (Fin de Secuencia) cada vez que se encuentra contenido dañino en cualquier posición enmascarada.

Mecanismo Central

• Supervisión a Nivel de Token: Durante el entrenamiento, si hay un segmento dañino presente en la secuencia objetivo, el modelo es supervisado para reemplazar los tokens enmascarados dentro de ese segmento con [EOS] en lugar del token dañino original.
• Objetivo de Entrenamiento: El método utiliza un objetivo de difusión con máscara estándar con una distribución objetivo modificada:
  • Conjunto Dañino ($D_{harm}$): Los tokens enmascarados en respuestas dañinas son supervisados para predecir [EOS]. Esto enseña al modelo a detener las continuaciones dañinas independientemente del contexto parcial.
  • Conjunto de Retención ($D_{retain}$): Los tokens enmascarados en respuestas seguras (o completados seguros de prompts dañinos) son supervisados para reconstruir los tokens originales, preservando la utilidad general.
• Enmascaramiento Aleatorio: El proceso de entrenamiento toma muestras de una tasa de corrupción $\lambda$ de forma uniforme, exponiendo al modelo tanto a las etapas tempranas como tardías de decodificación. Esto asegura que la alineación sea robusta a lo largo de toda la trayectoria de generación, evitando el fenómeno de "alineación superficial".
• Token de Rechazo: Se elige el token [EOS] porque ya es un marcador estándar de relleno y de fin de secuencia en los dLLMs, asegurando que el modelo esté familiarizado con su uso sin requerir la introducción de tokens fuera de la distribución (OOD) que podrían degradar el rendimiento.

Monitoreo en Tiempo Real y Rechazo Temprano

A2D proporciona intrínsecamente una señal de seguridad en tiempo real. Dado que el modelo está entrenado para asignar una alta probabilidad al token [EOS] cuando el contenido es dañino, esta masa de probabilidad actúa como un indicador de seguridad en línea.

• Intervención Dinámica: El modelo puede comenzar una respuesta pero terminar automáticamente si surgen continuaciones inseguras a mitad de la generación.
• Rechazo Temprano: Al monitorear la probabilidad de [EOS] en la posición enmascarada más a la izquierda del primer paso de decodificación, el sistema puede implementar un mecanismo de rechazo temprano basado en umbrales. Si la probabilidad supera un umbral $\tau$, el modelo se detiene inmediatamente sin generar ningún token, reduciendo significativamente la latencia de inferencia para prompts dañinos.

3. Contribuciones Clave

1. Identificación de Vulnerabilidades de Cualquier Orden/Cualquier Paso: El artículo demuestra que los dLLMs sufren de una alineación superficial que se degrada rápidamente a través de los pasos de decodificación y no es robusta ante órdenes de decodificación arbitrarios, lo que los hace susceptibles a ataques como DIJA.
2. Marco de Alineación a Nivel de Token: A2D introduce un nuevo paradigma de alineación que cambia de rechazos a nivel de respuesta a la supresión a nivel de token mediante [EOS], permitiendo una defensa robusta en cualquier paso del proceso de generación.
3. Monitoreo de Seguridad en Tiempo Real: El método aprovecha la probabilidad de [EOS] como una señal de seguridad interna, permitiendo la intervención dinámica y el rechazo temprano de prompts dañinos.
4. Evaluación Exhaustiva: Los autores introducen el ataque Fill-in-the-Sentence (FITS) para probar la alineación bajo condiciones extremas donde una sola oración enmascarada se inserta dentro de una respuesta dañina.

4. Resultados Experimentales

Los autores evaluaron A2D en tres dLLMs ajustados por instrucciones: LLaDA-8B-Instruct, LLaDA-1.5 y Dream-v0-Instruct-7B, comparándolo contra las líneas de base RT, SFT y VRPO.

• Defensa contra Jailbreaks: A2D alcanzó consistentemente la Tasa de Éxito de Ataque (ASR) más baja en todos los benchmarks (Zeroshot, PAIR, ReNeLLM, Prefilling y DIJA).
  • Rendimiento de DIJA: A2D redujo las tasas de éxito de DIJA de más del 80% en los modelos base a casi cero: 1.3% en LLaDA-8B, 3.5% en LLaDA-1.5 y 0.0% en Dream.
  • Ataque FITS: Bajo el ataque extremo FITS (donde solo falta una oración de una respuesta dañina), A2D redujo el ASR a casi 0% en todos los modelos, mientras que otros métodos fallaron con ASR superiores al 60%.
• Robustez a Estrategias de Decodificación: A2D mantuvo un ASR bajo en cinco estrategias de decodificación (Izquierda a Derecha, Derecha a Izquierda, Confianza, Entropía, Aleatoria), mientras que los modelos base mostraron una alta vulnerabilidad a órdenes específicos.
• Preservación de la Utilidad: A2D evitó el sobre-rechazo, logrando un 0% de falsos positivos en el benchmark XSTest (prompts benignos que parecen inseguros). Mantuvo un rendimiento competitivo en benchmarks de capacidad general (MMLU, GSM8K, HumanEval), superando a otros métodos de alineación que sufrieron una degradación significativa de la capacidad.
• Ganancias de Eficiencia: El mecanismo de rechazo temprano produjo una terminación segura hasta 19.3 veces más rápida en prompts dañinos (con $\tau=0.8$) manteniendo una alta fidelidad de alineación.

5. Significación y Reivindicaciones

El artículo afirma que A2D establece un nuevo estándar para la seguridad en la generación de texto basada en difusión al abordar la discordancia fundamental entre la decodificación flexible de los dLLMs y la naturaleza rígida, a nivel de respuesta, de la alineación tradicional.

• Alineación Profunda: A2D logra una "alineación profunda", asegurando que las señales de seguridad persistan a lo largo de toda la trayectoria de generación, no solo al inicio.
• Independencia de Orden: Proporciona una defensa que es robusta independientemente de la estrategia de decodificación, un requisito crítico para el despliegue práctico de los dLLMs.
• Despliegue Práctico: Al permitir el monitoreo en tiempo real y el rechazo temprano, A2D ofrece un camino para desplegar dLLMs de manera segura en aplicaciones del mundo real donde la latencia y la seguridad son primordiales.

Los autores concluyen que este enfoque cierra la brecha entre la flexibilidad generativa de los dLLMs y las restricciones de seguridad requeridas para el uso en el mundo real, allanando el camino para sistemas de lenguaje de difusión fiables.