NutVLM: A Self-Adaptive Defense Framework against Full-Dimension Attacks for Vision Language Models in Autonomous Driving

Resumen Técnico: NutVLM

1. Planteamiento del Problema

Los Modelos de Lenguaje y Visión (VLMs) han revolucionado la percepción en la conducción autónoma (CA), permitiendo a los vehículos realizar razonamiento semántico complejo. Sin embargo, esta integración multimodal amplía la superficie de ataque, haciendo que los sistemas sean vulnerables a amenazas adversarias de dimensión completa:

• Ataques Locales: Parches físicos visibles (ej. en señales de tráfico) que engañan al modelo.
• Ataques Globales: Perturbaciones imperceptibles a nivel de píxel que alteran la alineación entre la imagen y el texto, o ruido difuso en todo el cuadro.

Los métodos de defensa existentes presentan limitaciones críticas:

1. Costo Computacional: El entrenamiento adversario (Adversarial Training) es prohibitivo para VLMs a gran escala y degrada el rendimiento en muestras limpias.
2. Ineficiencia en Tiempo Real: Las soluciones de purificación generativa (como Diffusion-GAN) son demasiado lentas para la conducción autónoma.
3. Falta de Adaptabilidad: La mayoría de los defensores actuales no pueden distinguir eficazmente entre ataques locales y globales, ni ofrecen una corrección de instrucciones en tiempo real sin reentrenar el modelo completo.

2. Metodología Propuesta: NutVLM

NutVLM es un marco de defensa auto-adaptativo en línea diseñado para proteger todo el ciclo de vida de percepción-decisión. Su arquitectura se basa en dos componentes principales que operan secuencialmente:

A. NutNet++ (Detección y Purificación Unificada)
Actúa como un "centinela" en la entrada del sistema. A diferencia de su predecesor (NutNet), que trataba todas las anomalías como ataques locales, NutNet++ implementa un mecanismo de clasificación de tres vías (muestras limpias, ataques locales, ataques globales) basado en métricas de reconstrucción:

• Magnitud de Anomalía ($M_{anom}$): Cuantifica la intensidad general del error de reconstrucción.
• Entropía de Energía ($H_{energy}$): Distingue entre ruido difuso (alta entropía, ataque global) y perturbaciones concentradas (baja entropía, ataque local).
• Concentración Local ($C_{local}$): Identifica la agregación espacial de las perturbaciones.

Lógica de Decisión DualGate:

1. Detección: Si se identifica una amenaza, el sistema decide la rama de defensa.
2. Purificación Local: Para ataques locales (parches), se aplica una máscara en escala de grises eficiente a nivel de píxeles para neutralizar la amenaza física sin perder el contexto global.
3. Corrección Global: Para ataques globales, se activa el módulo EAPT.

B. EAPT (Ajuste de Prompts Adversarios Guiado por Expertos)
Para ataques globales que no pueden eliminarse visualmente, NutVLM utiliza una corrección a nivel de instrucción sin reentrenar el modelo:

• Experto Fijo: Utiliza un modelo CLIP congelado como "experto" para verificar la consistencia semántica entre la imagen perturbada y el prompt original.
• Optimización Latente: Si la alineación semántica es baja, EAPT optimiza un embedding latente mediante descenso de gradiente para generar un sufijo correctivo ("driving prompts").
• Proyección Discreta: Este embedding se proyecta en tokens del vocabulario del VLM para crear un prompt robusto ($P^*$) que reenfoca la atención del modelo hacia características seguras, ignorando el ruido adversario.

3. Contribuciones Clave

1. Marco NutVLM: Un sistema de defensa integral que mitiga amenazas de dimensión completa (locales y globales) en VLMs de conducción autónoma, manteniendo un alto rendimiento en muestras limpias.
2. NutNet++ Sentinel: Un mecanismo unificado de detección y purificación que clasifica en tiempo real entre ataques locales y globales, aplicando máscaras de píxeles solo cuando es necesario.
3. EAPT (Ajuste de Prompts): Una técnica de corrección de instrucciones en tiempo real, libre de parámetros (no requiere fine-tuning del modelo base), que utiliza optimización latente para generar prompts correctivos que neutralizan alucinaciones adversarias.
4. Validación Exhaustiva: Demostración de eficacia en múltiples backbones (InstructBlip, LLaVA, MiniGPT-v4) y benchmarks específicos de conducción (Dolphins, CADA).

4. Resultados Experimentales

El marco fue evaluado en el benchmark Dolphins y bajo el ataque adaptativo CADA (niveles 0 a 4 de intensidad):

• Rendimiento General: NutVLM logró una mejora del 4.89% en las métricas generales (Precisión, Puntuación de Lenguaje y Puntuación GPT) en comparación con los modelos base bajo ataque.
• Resistencia a Ataques Globales: Mantuvo un Final Score de 41.74% en el nivel de ataque más severo (Nivel 4), superando a las mejores defensas existentes (como NRP y AAA) en un margen significativo.
• Resistencia a Ataques Locales: Logró una puntuación GPT promedio de 56.31% (mejora del 3.83% sobre el baseline) en ataques con parches físicos, demostrando una recuperación casi total de la capacidad de razonamiento.
• Eficiencia de Detección: NutNet++ alcanzó un F1-score de 73.94% en el dataset CADA, superando al NutNet original en más de 20 puntos porcentuales.
• Velocidad: La corrección semántica (EAPT) introduce una latencia mínima, manteniendo un throughput de 0.44 FPS (muy cercano a la velocidad base de 0.46 FPS), lo que lo hace viable para aplicaciones en tiempo real.
• Generalización: El sistema demostró robustez consistente al aplicarse a diferentes arquitecturas de VLM (LLaVA, MiniGPT-v4, etc.), recuperando a menudo el rendimiento por encima del nivel de ataque original.

5. Significado e Impacto

NutVLM representa un avance significativo en la seguridad de la conducción autónoma basada en IA:

• Solución Escalable: Al evitar el reentrenamiento completo del modelo y utilizar optimización latente eficiente, ofrece una solución de seguridad práctica para sistemas desplegados.
• Seguridad Holística: Aborda la brecha entre la defensa visual (purificación de imagen) y la defensa semántica (corrección de prompts), algo que las soluciones anteriores no lograban simultáneamente.
• Fiabilidad en Entornos Críticos: Al garantizar que los VLMs no generen comandos peligrosos (alucinaciones) ante perturbaciones físicas o digitales, NutVLM es un componente esencial para la implementación segura de sistemas de transporte inteligente en el mundo real.

El código del proyecto está disponible públicamente, fomentando la investigación futura en la seguridad de modelos multimodales.