Resumen Técnico: Neutralización Guiada Inducida por Estructura (SIGN) para LVLMs

1. Declaración del Problema

Los Modelos de Lenguaje y Visión Grandes (LVLMs) aprovechan las entradas de imagen para percibir información visual de granularidad fina, pero esta capacidad introduce una superficie de ataque a nivel de píxel. Las perturbaciones adversarias añadidas a las imágenes de entrada pueden provocar comportamientos inseguros del modelo, incluyendo jailbreaking (generación de contenido dañino), LLM-DoS (inducción de generaciones repetitivas o degeneradas) y mala clasificación.

Las estrategias de defensa existentes enfrentan limitaciones significativas en el contexto de los LVLMs:

• Defensas Tradicionales de Visión por Computadora (CV): Métodos como la eliminación de ruido en imágenes suelen estar diseñados para clasificadores de un solo modo y no tienen en cuenta la alineación multimodal requerida por los LVLMs, lo que conduce a un rendimiento degradado.
• Defensas Específicas para LVLMs: Los enfoques actuales adaptados a los LVLMs a menudo dependen del enmascaramiento de regiones o de la restauración basada en difusión. Estos métodos frecuentemente requieren modificaciones sustanciales de la imagen, lo que puede alterar el contenido visual benigno y generar una sobrecarga computacional considerable, comprometiendo la eficiencia de la inferencia.

Existe una necesidad crítica de un marco de defensa que sea consciente de la arquitectura, ligero y capaz de suprimir señales adversarias con una modificación mínima de la imagen de entrada, preservando al mismo tiempo el rendimiento de tareas benignas.

2. Metodología: Neutralización Guiada Inducida por Estructura (SIGN)

Los autores proponen SIGN, un marco de defensa ligero, plug-and-play que opera sin reentrenamiento del modelo. Funciona en dos etapas principales: Extracción de Prioridad Estructural y Neutralización Guiada Dinámica.

2.1 Extracción de Prioridad Estructural

Esta etapa estima una "Prioridad Estructural" que captura el perfil de respuesta espacial inherente del codificador de visión del LVLM.

• Motivación: Los autores observan que, para entradas benignas, el codificador de visión exhibe un patrón de respuesta estable y dependiente de la posición a través de las muestras. Aunque el contenido semántico varía, las respuestas agregadas del codificador revelan un sesgo espacial consistente.
• Agregación Estructural: Utilizando un conjunto de imágenes sin etiquetar, el método calcula la norma $L_2$ de las respuestas de los tokens de parche a través de todas las capas y muestras. Estas respuestas escalares se promedian para crear un perfil estructural unidimensional $s$.
• Construcción de la Prioridad: El perfil se reorganiza según el orden canónico de tokens del LVLM objetivo para formar un mapa bidimensional de Prioridad Estructural ($S$). Este mapa caracteriza el sesgo de respuesta estructural inherente del codificador en lugar del contenido semántico, sirviendo como guía para identificar regiones sensibles.

2.2 Neutralización Guiada Dinámica

Dada una imagen atacada, esta etapa convierte la Prioridad Estructural en un mapa de guía adaptable a la entrada para suprimir las perturbaciones.

• Caracterización de Anomalías Locales: La Prioridad Estructural $S$ se mapea al espacio de píxeles de la imagen de entrada mediante interpolación bilineal para crear un mapa en espacio de píxeles $P(u)$. Simultáneamente, se calcula una puntuación de anomalía local $A(u)$ midiendo la desviación de cada píxel respecto a su mediana de vecindad local.
• Puntuación de Intervención: Se calcula una puntuación de intervención combinada $q(u)$ como una fusión lineal ponderada: $q(u) = \lambda P(u) + (1-\lambda)A(u)$. Esto integra el sesgo estructural del codificador con la evidencia de anomalía específica de la instancia.
• Neutralización Dispersa: Los píxeles se clasifican según sus puntuaciones de intervención. Para garantizar eficiencia y localidad, se aplica una restricción de vecindad: un píxel se selecciona para intervención solo si el número de píxeles seleccionados dentro de su ventana local no supera un presupuesto $k_\rho$.
• Restauración: Los píxeles seleccionados se reemplazan por el promedio de sus vecinos no seleccionados dentro de la ventana local. Esto resulta en una neutralización dispersa y localmente consistente de las perturbaciones adversarias.

3. Contribuciones Clave

• Descubrimiento del Sesgo Estructural: El artículo revela un sesgo de respuesta estructural estable en los codificadores de visión de LVLMs que es en gran medida independiente de la semántica del conjunto de datos. Este sesgo proporciona una prioridad a nivel de modelo para la defensa adversaria.
• Marco SIGN: Un mecanismo de defensa ligero que aprovecha esta Prioridad Estructural para guiar intervenciones dispersas a nivel de píxel. No requiere ajuste fino del modelo y opera como un módulo plug-and-play.
• Eficiencia y Eficacia: El método logra altas tasas de éxito de defensa con una modificación mínima de la imagen (0.5% de los píxeles) y una latencia baja (aproximadamente 0.16 segundos por imagen), superando a las líneas base existentes que dependen de reconstrucciones pesadas o enmascaramientos a gran escala.

4. Resultados Experimentales

Los autores evaluaron SIGN en seis LVLMs (incluyendo LLaVA, InstructBLIP y Qwen-VL) y cuatro generadores de ataques representativos (Visual-Adv, Con-Ins, RECITE, CroPA++).

• Tasa de Éxito de Defensa (DSR): SIGN logró una tasa de éxito de defensa promedio superior al 87% en diversos objetivos de ataque (Jailbreak, LLM-DoS, Engaño).
• Modificación Mínima: La defensa requirió modificar solo el 0.5% de los píxeles de la imagen, significativamente menos que las defensas basadas en enmascaramiento (por ejemplo, AMIA con ~18.75%) o métodos de supresión de imagen completa.
• Eficiencia: El tiempo de construcción de la defensa promedió 0.16 segundos por imagen, introduciendo una sobrecarga insignificante en comparación con el tiempo de inferencia del modelo.
• Preservación de Utilidad: SIGN preservó el rendimiento de tareas benignas, con tasas de éxito de tarea que permanecieron casi idénticas a las entradas originales. La similitud del coseno entre las representaciones visuales originales y defendidas se mantuvo por encima de 0.99, lo que indica que las semánticas visuales benignas se preservaron en gran medida.
• Robustez de la Prioridad: Los experimentos mostraron que la Prioridad Estructural es estable a través de diferentes conjuntos de datos de origen (por ejemplo, ImageNet, CelebA) y puede estimarse confiablemente a partir de tan solo 10 muestras sin etiquetar.

5. Significado y Afirmaciones

El artículo afirma que SIGN ofrece una alternativa práctica y ligera a las defensas que requieren costoso entrenamiento de modelos o reconstrucción pesada de imágenes. Al explotar las propiedades estructurales intrínsecas del codificador de visión, SIGN demuestra que se puede lograr una defensa robusta de LVLMs sin comprometer la calidad o la eficiencia de la inferencia.

Los autores posicionan su trabajo destacando el potencial de utilizar los propios codificadores de visión para una protección adversaria eficiente. Señalan que, aunque su evaluación cubre ataques representativos, la naturaleza dinámica y adaptable a la entrada de SIGN dificulta que las recetas de ataque existentes se optimicen contra ella, aunque reconocen que los ataques totalmente adaptativos contra este mecanismo de defensa específico siguen siendo un área para futuras investigaciones. El trabajo concluye que aprovechar las prioridades estructurales a nivel de codificador es un camino viable hacia una defensa robusta y ligera de LVLMs.