Resumen Técnico: REALM – Un Benchmark de Red-Teaming Unificado para VLMs en el Mundo Físico

1. Declaración del Problema

Los modelos de lenguaje-visión (VLMs) se despliegan cada vez más como núcleos de percepción-razonamiento para la inteligencia encarnada en sistemas físicos críticos para la seguridad, como vehículos autónomos y manipuladores robóticos. En estos contextos, los errores de percepción o de razonamiento pueden conducir a acciones físicas inseguras. Si bien existen numerosos métodos de red-teaming para sondear las vulnerabilidades de los VLMs, el panorama de evaluación actual está fragmentado. Los benchmarks existentes se centran principalmente en la seguridad centrada en chatbots (por ejemplo, jailbreaking, generación de contenido tóxico) y carecen de protocolos estandarizados para fallos funcionales con base física.

Los desafíos actuales incluyen:

• Fragmentación de la Evaluación: Diversos conjuntos de datos, métricas y modelos de amenazas impiden la comparación directa de la efectividad de los ataques.
• Objetivos Desalineados: Los benchmarks de chatbots miden tasas de rechazo o toxicidad, mientras que los VLMs del mundo físico requieren la evaluación de errores de predicción de acción, completitud de tareas y razonamiento espacial.
• Falta de Protocolos Unificados: Los benchmarks del mundo físico existentes (por ejemplo, PhysBench, PAI-Bench) evalúan el rendimiento limpio, pero no proporcionan protocolos de red-teaming unificados con objetivos de ataque compartidos entre diversos métodos.

2. Metodología: El Marco REALM

Los autores presentan REALM (Red-teaming Benchmark for Physical-World VLMs), el primer benchmark unificado diseñado para evaluar la robustez adversarial en entornos del mundo físico bajo un modelo de amenaza práctico de caja negra.

2.1 Estructura del Benchmark

REALM organiza la evaluación a lo largo de tres ejes:

1. Dominios Físicos: Siete dominios que incluyen Conducción, Manipulación, Agarre, Física, Asistencia egocéntrica, Diagnóstico y Preguntas y Respuestas (QA) a nivel de escena.
2. Familias de Tareas: Percepción, Predicción, Razonamiento, Evaluación y Planificación.
3. Modos de Fallo: Errores de salida con base física, tales como errores de predicción de acción, errores de éxito de la tarea, errores de razonamiento espacial y errores de planificación encarnada.

El conjunto de datos comprende 832 casos de prueba derivados de benchmarks existentes de IA física, expandidos a 9,984 casos de prueba adversariales a través de 12 métodos de red-teaming y 13 VLMs víctimas.

2.2 Pipeline de Generación de Objetivos Agénticos

Una innovación central de REALM es el pipeline de generación de objetivos agénticos, que aborda la dificultad de definir objetivos de ataque fijos para tareas físicas específicas de una escena.

• Proceso: Dada una imagen de origen, una pregunta y una respuesta de verdad de campo (ground-truth), un agente VLM de razonamiento analiza la escena para identificar un modo de fallo plausible (por ejemplo, malinterpretar la maniobra de un vehículo).
• Salida: El pipeline genera una respuesta objetivo ($a^{tar}_i$) específica del escenario y una imagen objetivo ($I^{tar}_i$) que instancia visualmente la malpercepción pretendida.
• Utilidad: Estos objetivos compartidos permiten que diversos métodos de red-teaming (perturbaciones visuales, inyección de prompts, etc.) sean evaluados contra los mismos objetivos adversariales específicos del escenario, asegurando una comparación justa.

2.3 Modelo de Amenaza y Evaluación

• Modelo de Amenaza: Un entorno de caja negra realista. Ni el método de ataque ni el de defensa tienen acceso a los parámetros, gradientes o estados internos del modelo víctima.
• Generación de Ataques: Los ejemplos adversariales se generan offline utilizando modelos sustitutos (surrogate models) o generadores externos y se transfieren al modelo víctima para una evaluación de un solo paso (one-shot).
• Métricas: La métrica principal es la Tasa de Éxito del Ataque (ASR), definida como la tasa en la que un input adversarial causa que el VLM produzca una respuesta incorrecta que refleja un error físico relevante para la tarea. También se reporta la precisión limpia (clean accuracy) para la comparación de la línea base.

2.4 Componentes Evaluados

• Modelos Víctima: 13 VLMs (de 7B a 100B+ de parámetros), incluyendo modelos propietarios (Gemini-3-Flash, GPT-4.1-Mini) y familias de código abierto (Qwen3.5, Qwen3-VL, Cosmos-Reason).
• Métodos de Red-Teaming: 12 métodos que cubren:
  • Perturbaciones Visuales: Basadas en gradientes (FOA, M-Attack, V-Attack), Co-optimización (Chain-of-Attack) y basadas en Difusión (AdvDiffVLM).
  • Restricciones Físicas: PhysPatch (parches localizados).
  • Generativo/Edición: AdvEDM, ImageMix.
  • Inyección: Tipográfica (FigStep), de Prompt (PromptInject) y de un solo paso (AnyAttack).
• Defensas: 3 defensas de preprocesamiento agnósticas al modelo: PAD (eliminación de parches), FreqPure (purificación de frecuencia) y BlueSuffix (purificación de texto/imagen).

3. Resultados Clave

3.1 Efectividad del Ataque

• Inyección de Texto y Tipográfica: Estos ataques inducen la mayoría de los fallos. PromptInject logró el ASR promedio más alto (64.8%), seguido de FigStep (49.4%). Esto indica que los VLMs siguen siendo altamente vulnerables a la manipulación de los canales de texto y de instrucciones auxiliares.
• Perturbaciones Visuales: Entre los ataques visuales, Chain-of-Attack (CoA), que co-optimiza las perturbaciones con subtítulos regenerados dinámicamente, produjo la transferencia más fuerte (54.6% ASR), superando a los ataques estándar basados en gradientes. Esto sugiere que la co-optimización multimodal explota mejor la alineación cross-modal que la optimización de solo características visuales.
• Eficiencia: AnyAttack, un método de un solo paso, logró un 49.9% de ASR, acercándose al rendimiento de los métodos iterativos (como FOA con 48.1%) a un costo computacional significativamente menor.
• Restricciones Físicas: Las perturbaciones con restricción espacial (PhysPatch) mostraron una menor transferibilidad (33.0% ASR) en comparación con las perturbaciones de imagen completa, lo que indica que las restricciones de plausibilidad física dificultan la transferencia en caja negra.

3.2 Vulnerabilidad del Modelo

• Escala vs. Robustez: Aumentar la escala del modelo (por ejemplo, de Qwen3.5 de 9B a 122B) mejora la precisión limpia, pero no garantiza la robustez adversarial. El ASR para ataques específicos (por ejemplo, PromptInject) se mantuvo casi sin cambios o incluso aumentó con la escala.
• Especialización de Dominio: Los modelos post-entrenados para el razonamiento físico (Cosmos-Reason) no exhibieron una robustez superior; de hecho, mostraron una alta vulnerabilidad, con Cosmos-Reason2-8B alcanzando un 76.8% de ASR bajo PromptInject.
• Propietario vs. Código Abierto: Los modelos propietarios (Gemini, GPT) demostraron niveles de vulnerabilidad comparables a los modelos de código abierto con una precisión limpia similar, lo que sugiere que el despliegue de código cerrado no asegura inherentemente la robustez.
• Variación de Dominio: La vulnerabilidad varía significamente por dominio. Las tareas de Manipulación y Conducción mostraron el ASR mediano más alto, mientras que Scene QA mostró el más bajo.

3.3 Análisis de Defensa

• Especificidad de Canal: Las defensas son altamente específicas de canal. BlueSuffix (purificación de texto) redujo significativamente el ASR de PromptInject en un 21.7% en promedio. FreqPure (filtrado de frecuencia) redujo los ataques basados en gradientes (FOA) en un 5.8%.
• Limitaciones: Ninguna defensa de preprocesamiento única se generalizó a través de todos los paradigmas de ataque. Por ejemplo, las defensas visuales (PAD, FreqPure) no lograron mitigar los ataques de inyección de texto, y ninguna de las defensas afectó a FigStep.

4. Significado y Contribuciones

El artículo afirma que REALM proporciona el primer marco unificado para comparar métodos de red-teaming en VLMs del mundo físico. Su importancia radica en:

1. Benchmark Unificado: Integrar 12 métodos de ataque, 3 defensas y 13 VLMs bajo un protocolo compartido, permitiendo la comparación directa de efectividad y cobertura.
2. Generación de Objetivos Agénticos: Resolver el problema de la alineación de objetivos específicos de escenario, permitiendo que diversos ataques sean evaluados contra modos de fallo con base física y consistentes con el escenario.
3. Perspectivas Empíricas: Establecer que las vulnerabilidades del canal de texto son actualmente el punto de fallo más crítico, que la co-optimización multimodal mejora la transferencia visual, y que la escala del modelo por sí sola es insuficiente para la robustez.

Los autores concluyen que el trabajo futuro debe ir más allá de la seguridad de contenido orientada a chatbots para desarrollar benchmarks y defensas dedicados a la robustez funcional en tareas físicas con base en el mundo real.