PDA: Text-Augmented Defense Framework for Robust Vision-Language Models against Adversarial Image Attacks

Resumen Técnico: PDA (Paraphrase-Decomposition-Aggregation)

1. El Problema

Los Modelos de Visión y Lenguaje (VLMs) han demostrado un éxito significativo en aplicaciones multimodales, pero son inherentemente vulnerables a perturbaciones adversarias en imágenes. Pequeñas modificaciones imperceptibles para el humano en el espacio de píxeles pueden causar cambios drásticos en las predicciones del modelo.

Las defensas existentes presentan limitaciones críticas:

• Costo Computacional y Entrenamiento: Los métodos basados en entrenamiento adversarial requieren reentrenar modelos costosos y a menudo no generalizan a tipos de ataques no vistos.
• Acceso al Gradiente: Muchos métodos requieren acceso a los gradientes del modelo (entorno white-box), lo cual es inviable para modelos de código cerrado o accesibles solo vía API (black-box).
• Compromiso Rendimiento-Robustez: Las defensas que mejoran la robustez suelen degradar el rendimiento en datos limpios (clean inputs).
• Generalización: Las soluciones actuales a menudo están restringidas a arquitecturas o tareas específicas.

2. Metodología: El Marco PDA

Los autores proponen PDA (Paraphrase-Decomposition-Aggregation), un marco de defensa sin entrenamiento (training-free) que opera exclusivamente en el lado del texto durante la inferencia. PDA asume acceso black-box al VLM y no requiere modificar sus parámetros internos.

El marco se inspira en el alisado aleatorio (randomized smoothing) pero aplicado al espacio semántico del texto en lugar del espacio de píxeles. La premisa es que, aunque una imagen perturbada puede engañar al modelo, la semántica subyacente puede recuperarse mediante la exploración de un "vecindario" en el espacio de texto.

El proceso consta de tres etapas principales:

1. Parafraseo (Paraphrase):

   • Un agente de lenguaje (LLM) genera un conjunto de $N$ versiones parafraseadas de la pregunta original del usuario.
   • El objetivo es crear vistas semánticamente equivalentes pero literalmente distintas para explotar la redundancia lingüística.
   • Esto establece un estimador de "Expectativa sobre Transformaciones de Texto" (EoTT).

2. Descomposición (Decomposition):

   • Cada pregunta parafraseada se descompone en una secuencia de preguntas atómicas más simples y verificables (ej. "¿Hay un gato?", "¿Es de color negro?", "¿Está en un tazón?").
   • Esto fuerza al modelo a basar su respuesta en evidencia visual estable y de bajo nivel en lugar de una respuesta holística que podría ser sesgada por la perturbación.

3. Agregación (Aggregation):

   • Las respuestas del VLM a las preguntas atómicas se recopilan.
   • Se utiliza un agente de agregación (otro LLM o un mecanismo de votación) para sintetizar la evidencia.
   • Para tareas estructuradas (clasificación, VQA), se aplica votación por mayoría. Para tareas abiertas (descripción de imágenes), se genera un resumen coherente.
   • Este paso suprime las vistas sesgadas por el ataque que no son consistentes con la evidencia visual cruzada.

Variantes de Eficiencia:
Para equilibrar robustez y costo de inferencia, los autores presentan cuatro variantes:

• PDA-Full: Ejecuta el ciclo completo (Parafraseo $\to$ Descomposición $\to$ Agregación).
• PDA-RJV (Reason-Judge-Vote): Omite la descomposición; el VLM responde a las preguntas parafraseadas con una justificación, y un LLM juzga y vota.
• PDA-RDA (Reason-Direct-Agregate): Omite la descomposición; un LLM revisa todas las respuestas y justificaciones en una sola pasada para decidir.
• PDA-PV (Paraphrase-Vote): La más ligera; genera preguntas lógicamente equivalentes y usa votación directa sin LLM de agregación.

3. Contribuciones Clave

1. Marco Genérico y sin Entrenamiento: PDA es el primer marco que defiende VLMs contra perturbaciones de imagen puramente mediante manipulación de texto en tiempo de inferencia, sin necesidad de reentrenamiento ni acceso a gradientes.
2. Validación Exhaustiva: Se evalúa en múltiples tareas (VQA, clasificación cero-shot, descripción de imágenes) y diversas arquitecturas (LLaVA, DeepSeek-VL, InternVL, Ovis), demostrando su aplicabilidad "plug-and-play".
3. Compromiso Rendimiento-Eficiencia: La introducción de variantes optimizadas (RJV, RDA, PV) permite reducir drásticamente el costo computacional manteniendo la mayor parte de las ganancias en robustez.
4. Robustez en Escenarios Realistas: Demuestra efectividad tanto en ataques white-box (conocimiento total del modelo) como black-box (transferencia de ataques y consultas a APIs comerciales como GPT-4, Claude, Gemini).

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos VQA-v2, ImageNet-D y MS COCO bajo ataques adversarios estándar (PGD) y adaptativos.

• Robustez frente a Ataques White-Box:

  • PDA logra aumentos consistentes en la precisión adversarial. Por ejemplo, en VQA-v2 con LLaVA-1.5-7B, la precisión adversarial sube de 0.445 (sin defensa) a 0.754 con PDA.
  • En ImageNet-D, la precisión adversarial mejora significativamente (de 0.248 a 0.570 para el modelo de 7B).
  • Nota importante: A diferencia de otros métodos, PDA no degrada la precisión en datos limpios; en algunos casos (como ImageNet-D), incluso la mejora ligeramente al reducir predicciones espurias.

• Resistencia a Ataques Adaptativos:

  • PDA mantiene su eficacia incluso frente a ataques adaptativos que utilizan "Expectativa sobre Transformaciones" (EoT) para optimizar específicamente contra la aleatoriedad del parafraseo y la descomposición.

• Escenarios Black-Box y APIs Cerradas:

  • PDA mejora la robustez en modelos propietarios (GPT-5, Claude, Gemini) mediante ataques de transferencia, demostrando que es una solución viable para sistemas comerciales donde no se tiene acceso al código fuente.

• Comparación con Baselines:

  • Supera a métodos de alisado aleatorio en texto (SmoothLLM, SemanticSmooth) y a técnicas de ajuste de prompts en tiempo de prueba (TAPT).
  • Es superior a las defensas basadas en el lado de la imagen (compresión JPEG, aumentación aleatoria) y a las basadas puramente en razonamiento (Chain-of-Thought), ya que PDA ataca directamente la corrupción de la percepción visual mediante la diversificación de la consulta.

5. Significado e Impacto

El trabajo de PDA es significativo porque cambia el paradigma de defensa en VLMs:

• Desacopla la defensa del entrenamiento: Permite proteger modelos desplegados sin necesidad de acceso a los datos de entrenamiento o capacidad de reentrenamiento.
• Universalidad: Al operar solo en la interfaz de texto, es agnóstico a la arquitectura del modelo, al tamaño de los parámetros y al tipo de perturbación de imagen.
• Viabilidad Práctica: Ofrece una solución de bajo costo y alta eficacia para la seguridad de sistemas de IA multimodal en entornos reales, donde los ataques adversarios son una amenaza creciente para la fiabilidad de aplicaciones críticas (medicina, conducción autónoma, robótica).

En conclusión, PDA establece un nuevo estándar para la defensa de VLMs, demostrando que la manipulación inteligente del contexto textual puede actuar como un escudo robusto contra manipulaciones visuales maliciosas.