Adversarial Diffusion Across Modalities: A Fusion Survey of Attacks, Defenses, and Evaluation for Text, Vision, and Vision-Language Models

Resumen Técnico: Difusión Adversaria a través de Modalidades

Planteamiento del Problema
El despliegue de Modelos de Lenguaje Extensos (LLMs) en dominios de alto riesgo requiere una evaluación de seguridad rigurosa, principalmente mediante el red teaming. Aunque la literatura sobre red teaming ha madurado, permanece fragmentada en cuatro vías de investigación mayormente desconectadas: (1) ataques basados en difusión contra texto y LLMs, (2) ataques basados en difusión contra clasificadores de imágenes, (3) canales de jailbreak contra modelos de visión y lenguaje (VLMs), y (4) defensas de purificación de entrada basadas en difusión. Cada vía opera con su propio vocabulario, modelos de amenazas y evaluaciones. En consecuencia, los investigadores que se adentran en la intersección de los modelos de difusión y los ataques adversarios carecen de una referencia consolidada que describa el estado del arte, la diversidad metodológica y las brechas de evaluación. Específicamente, la literatura sobre el uso de modelos de difusión como generadores adversarios contra LLMs es pequeña (solo cuatro artículos publicados al momento de esta redacción) pero metodológicamente diversa, mientras que la madura literatura en el dominio de la imagen ofrece recetas específicas que aún no han sido portadas al texto.

Metodología
Este trabajo es una revisión narrativa con evaluación de calidad, distinta de una revisión sistemática conforme a PRISMA. Los autores realizaron una búsqueda estructurada en las principales bases de datos (arXiv, Google Scholar, IEEE Xplore, ACM Digital Library, etc.) y conferencias (NeurIPS, ICML, CVPR, ACL, USENIX Security, etc.) utilizando palabras clave que combinan "modelo de difusión" con "adversario", "jailbreak" y "red teaming".

• Selección: La búsqueda inicial arrojó 154 registros candidatos. Tras el cribado de títulos/resúmenes y la revisión de elegibilidad de texto completo, se retuvieron 50 artículos para el catálogo.
• Alcance: El catálogo incluye:
  • 4 artículos sobre ataques basados en difusión contra texto/LLMs (Familia A).
  • 18 artículos sobre ataques basados en difusión contra clasificadores de imágenes (Familia D).
  • 10 artículos sobre ataques basados en difusión contra VLMs (Familia E).
  • 4 artículos sobre defensas basadas en difusión para modelos de texto/multimodales (Familia C).
  • 4 artículos sobre LLMs de difusión como víctimas (Familia B, incluidos como contexto adyacente).
  • 10 líneas base (baselines) no basadas en difusión para comparación.
• Control de Calidad: Se realizó un control de acuerdo post-hoc suplementario utilizando dos agentes de LLM independientes para verificar la regla de inclusión, obteniendo un coeficiente $\kappa$ de Cohen de 0.781.
• Síntesis de Datos: Para cada artículo, los autores extrajeron roles de difusión, formulaciones, métodos de entrenamiento, conjuntos de datos, métricas, modelos objetivo y disponibilidad de código.

Contribuciones Clave

1. Taxonomía Unificada de Roles de Difusión: El artículo propone una taxonomía de seis clases que categoriza cómo funcionan los modelos de difusión en los canales de ataque:

   • Generador Entrenado: El modelo de difusión se entrena de extremo a extremo con un objetivo de ataque.
   • Congelado con Perturbación en el Espacio Latente: Inversión DDIM más actualizaciones de gradiente en el espacio latente (común en ataques de imagen).
   • Congelado con Guía de Puntuación/Clasificador: Gradientes adversarios inyectados en el proceso de reversión de la SDE durante el muestreo.
   • Inferencia de Producto Terminado (Off-the-Shelf): Uso de un LLM de difusión preentrenado sin entrenamiento u optimización (ej. inpainting condicional a la respuesta).
   • Renderizador Solo de Canal (Pipeline-Only): La difusión genera contenido (imágenes/escenas) que sirve como entrada para un canal de ataque separado; no fluyen gradientes a través del muestreador.
   • Modelo de Difusión Víctima: El propio modelo de difusión es el objetivo del ataque.
     Esta taxonomía se complementa con un eje de modelo de amenaza (conocimiento del atacante, acceso de consulta, accesibilidad del objetivo).

2. Marco de Evaluación de Cinco Dimensiones: Los autores introducen un marco unificado para comparar ataques a través de modalidades, que consta de:

   • Tasa de Éxito del Ataque (ASR).
   • Transferibilidad (éxito a través de diferentes modelos objetivo).
   • Presupuesto de Consultas (número de llamadas al modelo/reintentos).
   • Perplejidad (indicador para la evasión de filtros de entrada).
   • Evasión de Defensa (rendimiento contra purificadores como DiffPure, DiffuseDef o CoDefend).

3. Fusión Trans-modalidad: La revisión integra 50 artículos de cuatro corrientes previamente desconectadas (texto/LLM, clasificador de imágenes, VLM, defensa) en un único marco conceptual, proporcionando un catálogo exhaustivo y una hoja de cálculo pública con metadatos para todos los trabajos incluidos.

4. Perspectiva Dual Atacante-Defensor: La revisión cubre cuatro defensas basadas en difusión (tres para clasificadores de texto, una para LLMs multimodales) como el trasfondo de evaluación natural para nuevos ataques, resaltando la asimetría entre la proliferación de ataques y las defensas insuficientemente auditadas.

Resultados y Hallazgos

• Estado del Arte (Texto/LLM): La literatura sobre ataques basados en difusión contra LLMs es incipiente (4 artículos) pero diversa. Los enfoques incluyen el desruido continuo en el espacio latente con Gumbel-Softmax (DiffusionAttacker), la perturbación en el espacio de embeddings bajo restricciones de proximidad (DART) y la inferencia sin entrenamiento en LLMs de difusión enmascarada preentrenados (Lüdke et al.).
• Estado del Arte (Imagen/VLM): El dominio de la imagen es maduro, utilizando recetas como la inversión DDIM, la guía de puntuación y la retropropagación por segmentos. Los ataques a VLM están dominados por usos de "solo canal" donde la difusión renderiza imágenes para ataques en el espacio de píxeles, con pocos que explotan directamente los gradientes de difusión.
• Brechas de Rendimiento:
  • Brecha de Modelos Cerrados: Los ataques basados en difusión muestran tasas de éxito significativamente menores en modelos cerrados de frontera (ej. GPT-4o, Claude-3.5) en comparación con los modelos de pesos abiertos. Por ejemplo, IDEATOR logró un 94% de ASR en MiniGPT-4 pero solo un 19.65% en Claude-3.5.
  • Dependencia de Caja Blanca: Tres de los cuatro artículos de ataque basados en texto dependen de los gradientes de caja blanca del modelo objetivo durante el entrenamiento, lo que limita su aplicabilidad directa a sistemas cerrados.
  • Subuso de la Difusión Discreta: Ningún ataque de texto publicado combina un muestreador de difusión discreta real (ej. D3PM, SEDD) con una recompensa de nocividad explícita y una evaluación a gran escala (ej. HarmBench).
  • Evasión de Defensa: Los ataques de texto actuales rara vez evalúan contra filtros de entrada modernos (ej. Llama-Guard, SmoothLLM). Una baja perplejidad reportada es necesaria, pero no es evidencia suficiente de la evasión de filtros.
  • Limitación de Turno Único: Todos los ataques de difusión basados en texto producen prompts de un solo disparo, fallando en aprovechar la condicionamiento bidireccional de la difusión para ataques de diálogo de múltiples turnos.

Significancia y Reivindicaciones
El artículo se posiciona como un ejercicio crítico de "fusión de información" que reduce el esfuerzo duplicado entre las comunidades de seguridad de NLP, robustez adversaria y modelado generativo. Su principal significancia radica en:

• Clarificar el Panorama: Proporcionar la primera referencia consolidada para la generación adversaria basada en difusión, distinguiendo entre métodos que explotan los gradientes de difusión y aquellos que usan la difusión como un renderizador de caja negra.
• Identificar Brechas de Investigación: Destacar explícitamente cinco debilidades recurrentes en la literatura actual del lado de los LLM (dependencia de caja blanca, falta de difusión discreta, evaluación de defensa débil, restricción de turno único y falta de red teaming con restricciones).
• Definir la Agenda: Proponer direcciones de investigación concretas, notablemente la necesidad de ataques adaptativos que realicen retropropagación a través de purificadores de texto basados en difusión (DiffuseDef, MaskPure, CoDefend), una brecha que aún no ha sido abordada en la literatura publicada.
• Postura Ética: Los autores enfatizan que consolidar esta literatura es de beneficio neto para defensores y responsables de políticas, priorizando la identificación de brechas de evaluación y vulnerabilidades de defensa sobre la reproducción de cargas útiles dañinas.

La revisión concluye que, si bien los ataques basados en difusión sobre LLMs son un campo joven con un pequeño número de artículos representativos, ofrecen un sustancial margen metodológico para trabajos de seguimiento, particularmente para cerrar la brecha entre las técnicas del dominio de la imagen y la evaluación de seguridad basada en texto.