Resumen Técnico: Difusión de Coordenadas Codiciosa (GCD)

1. Planteamiento del Problema

A pesar de la extensa investigación, los ataques adversarios contra los Modelos de Lenguaje Grande (LLMs) enfrentan un "trilema" crítico en el despliegue práctico, caracterizado por tres modos principales de falla:

1. Perplejidad Alta (Antinaturalidad): Los métodos de optimización basados en gradientes (p. ej., Greedy Coordinate Gradient, GCG) logran Altas Tasas de Éxito de Ataque (ASR), pero producen sufijos incoherentes y de alta perplejidad que son fácilmente detectados y bloqueados por filtros basados en la perplejidad.
2. Impuesto al Jailbreak (Deriva Semántica): Los enfoques de reescritura de prompts (p. ej., PAIR, AutoDAN) generan texto fluido y legible por humanos, pero a menudo alteran la intención semántica de la consulta. En consecuencia, el modelo cumple con una reformulación benigna en lugar del objetivo malicioso original del adversario.
3. Baja Tasa de Éxito en Modelos Robustos: Los intentos de equilibrar la fluidez y la intención a menudo fallan en inducir el cumplimiento en modelos fuertemente alineados con la seguridad, particularmente cuando la optimización trata la pérdida del ataque como un heurístico en lugar de una restricción estricta.

Los métodos actuales carecen del control semántico fino para navegar el compromiso entre mantener el lenguaje natural (para evadir filtros) y preservar la optimación exacta a nivel de token (para forzar salidas específicas dañinas).

2. Metodología: Difusión de Coordenadas Codiciosa (GCD)

Los autores proponen la Difusión de Coordenadas Codiciosa (GCD), un marco de optimización de caja gris que reemplaza la selección de tokens basada en gradientes con un modelo de difusión discreta como distribución de propuesta. GCD opera sin acceso directo a los pesos del modelo, aprovechando las probabilidades de los tokens de salida o las puntuaciones de seguridad.

Mecanismo Central

GCD formula la construcción de prompts como un proceso de difusión discreta guiada. En lugar de optimizar sobre embeddings de tokens one-hot mediante gradientes (lo que produce texto incoherente), GCD utiliza un modelo de lenguaje de difusión discreta ($D_\phi$) para proponer candidatos de tokens semánticamente coherentes.

El bucle de optimización procede de la siguiente manera:

1. Inicialización: El prompt adversario $x_{adv}$ se inicializa como una secuencia de tokens totalmente enmascarados ($<|mask|>$), forzando al modelo de difusión a generar una estructura semántica a partir del ruido.
2. Submuestreo de Coordenadas Estocástico: Para reducir el costo computacional, GCD optimiza un subconjunto aleatorio de posiciones $I^{(t)}$ en cada paso, en lugar de toda la secuencia.
3. Propuestas de Difusión: Para cada posición seleccionada, el token actual es enmascarado, y el modelo de difusión $D_\phi$ es consultado para generar los top-$K$ tokens más probables condicionados al contexto completo (tanto izquierdo como derecho).
4. Mirada Adelante de Difusión de Un Solo Paso (OSD): Un componente técnico crítico aborda la incompatibilidad entre el modelo de difusión (que maneja secuencias enmascaradas) y el LLM autorregresivo víctima ($M_\theta$, que no puede procesar máscaras). Para cada secuencia candidata que contiene máscaras, GCD realiza una denoising de difusión de un solo paso para llenar todos los tokens enmascarados restantes simultáneamente. Esto genera una secuencia de borrador completa y coherente adecuada para la evaluación por parte del modelo víctima.
5. Selección Codiciosa: El modelo víctima $M_\theta$ califica los borradores completados basándose en una función de pérdida compuesta. El candidato con mejor desempeño es seleccionado para actualizar el prompt.

Función Objetivo

El marco minimiza una pérdida compuesta $L_{comp}$:
$$L_{comp}(x_{adv}) = L_{victim}(x_{adv}) + \lambda L_{guard}(x_{adv}) + \beta L_{PPL}(x_{adv})$$

• $L_{victim}$: Log-verosimilitud negativa de un prefijo objetivo estrictamente restringido (p. ej., "Claro, aquí está..."), asegurando que el modelo cumpla con la intención maliciosa específica.
• $L_{guard}$: Log-verosimilitud negativa de que el prompt sea clasificado como seguro por un modelo de guardia (p. ej., Llama Guard), penalizando prompts señalados.
• $L_{PPL}$: Autoperplejidad del prompt, penalizando secuencias de tokens antinaturales para evadir filtros basados en perplejidad.

Pipeline de Dos Fases

• Fase 1: La optimización se ejecuta para encontrar un prompt que dispare el prefijo objetivo.
• Fase 2: Una vez que se encuentra una coincidencia de prefijo, el sistema genera continuaciones completas (512 tokens) y las califica usando un juez proxy (Qwen2.5-7B) en una escala de dañino/no dañino. Se aplica una Pérdida de Diversidad si el modelo víctima produce continuaciones evasivas, suprimiendo tokens de falla específicos para dirigir la búsqueda hacia trayectorias de ataque distintas.

3. Contribuciones Clave

• Marco Novedoso: Introducción de GCD, que integra priors de difusión discreta en la optimización adversaria para lograr tanto un alto ASR como coherencia semántica.
• Capacidad de Caja Gris: A diferencia de GCG, GCD no requiere acceso a gradientes, lo que lo hace aplicable a modelos servidos por API o propietarios manteniendo el control a nivel de token.
• Puente de Espacios de Tokens: La propuesta de un mecanismo de "Difusión de Un Solo Paso" para resolver la incompatibilidad entre estados de difusión enmascarados y modelos víctimas autorregresivos, permitiendo una evaluación de pérdida precisa durante los pasos de optimización intermedios.
• Adherencia Semántica: La aplicación explícita de prefijos objetivo evita el "impuesto al jailbreak", asegurando que el modelo cumpla con la intención maliciosa original en lugar de una versión saneada.

4. Resultados Experimentales

Los autores evaluaron GCD contra cuatro modelos víctimas (Llama-3-8B, Qwen-2.5-7B, Mistral-7B, Llama-3-70B) y lo compararon con baselines de caja blanca (GCG, GBDA), caja gris (AutoDAN) y caja negra (PAIR, TAP, Inpainting).

• Tasa de Éxito de Ataque (ASR): GCD logró el ASR más alto en todos los modelos. Notablemente, alcanzó un 100% de ASR en Mistral-7B y un 97.92% en Qwen-2.5-7B, superando significativamente a GCG (que cayó al 0% bajo defensa de perplejidad en Qwen y Mistral) y otros baselines.
• Evasión de Defensa: Bajo filtrado basado en perplejidad, GCD mantuvo altas tasas de éxito (p. ej., 85.42% en Llama-3-8B y 100% en Mistral-7B), mientras que los métodos basados en gradientes como GCG y GBDA cayeron al 0%.
• Calidad de Respuesta: GCD logró puntuaciones altas en la escala de dañino de StrongReject (SR) (p. ej., 0.8234 en Mistral-7B), indicando que las respuestas generadas no solo fueron exitosas, sino sustantivamente dañinas y alineadas con la intención original.
• Tasas de Detección: Los prompts adversarios construidos fueron detectados en menores tasas por filtros de perplejidad y modelos de guardia en comparación con otros métodos.

5. Significación y Reivindicaciones

El artículo afirma que GCD resuelve con éxito el compromiso fundamental en los ataques adversarios: combina la fluidez de los enfoques de reescritura de prompts con el control fino a nivel de token de la optimización basada en gradientes. Al aprovechar los priors generativos de los modelos de difusión discreta, GCD restringe el espacio de búsqueda a un texto coherente y legible por humanos, permitiendo al mismo tiempo una optimización precisa para forzar salidas específicas de interés.

Los autores posicionan a GCD como un paso práctico hacia el cierre de la brecha entre el feedback disperso de caja negra y la optimización de información completa. Afirman que su método demuestra que es posible generar ataques que sean simultáneamente sigilosos (baja perplejidad), semánticamente coherentes (bajo impuesto al jailbreak) y altamente efectivos contra modelos robustos y alineados con la seguridad. El trabajo destaca que las defensas actuales que dependen de la perplejidad o modelos de guardia semánticos son vulnerables a ataques que utilizan la búsqueda guiada por difusión para mantener las propiedades del lenguaje natural mientras se adhieren estrictamente a los objetivos maliciosos.