On Adversarial Vulnerability of Vision-Language Models through the Lens of Intermediate Spectral Subspaces

Resumen Técnico: Vulnerabilidad Adversaria de los Modelos de Visión-Lenguaje a través del Lente de los Subespacios Espectrales Intermedios

Planteamiento del Problema
Se sabe que las redes neuronales profundas, particularmente los modelos modernos de Visión-Lenguaje (VLM), son vulnerables a perturbaciones adversarias que alteran las predicciones del modelo permaneciendo visualmente imperceptibles. Mientras que la investigación existente ha analizado extensamente esta vulnerabilidad a través de la geometría del espacio de entrada, las propiedades de la frontera de decisión, la robustez de las características y los Jacobianos de entrada-salida, el comportamiento espectral de las transformaciones lineales intermedias dentro de estas redes permanece en gran medida inexplorado. Específicamente, existe una falta de comprensión sobre cómo las señales adversarias se propagan a través de los subespacios de vectores singulares (singular-vector subspaces) de las capas lineales (por ejemplo, en la auto-atención, redes de alimentación hacia adelante y módulos de fusión) que constituyen el núcleo de los VLM basados en transformadores. Este artículo investiga si los subespacios de vectores singulares "inferiores" (bottom)—direcciones asociadas con valores singulares cercanos a cero que atenúan la información—constituyen una superficie de ataque previamente pasada por alto.

Metodología
Los autores proponen un marco fundamentado en la analogía entre la propagación adversaria y la inestabilidad de los problemas inversos mal planteados. En los problemas inversos, la reconstrucción falla a lo largo de las direcciones singulares casi nulas; de manera similar, los autores hipotetizan que alinear las representaciones intermedias con los subespacios de vectores singulares inferiores de las transformaciones lineales en los VLM conduce a la atenuación de la información y la degradación semántica.

Para probar esto, el artículo introduce el Ataque de Representación Guiado por Subespacios Espectrales (SSGRA), un ataque de caja blanca no dirigido (untargeted). La metodología involucra:

1. Descomposición Espectral: Realización de la Descomposición en Valores Singulares (SVD) sobre las matrices de pesos de las transformaciones lineales intermedias dentro del VLM.
2. Medida de Alineación: Definición de una métrica, $\Psi_k$, para cuantificar la energía de las representaciones de tokens proyectadas sobre subespacios singulares específicos (top-$k$ vs. bottom-$k$).
3. Objetivo de Optimización: El SSGRA formula un problema de optimación que combina dos términos:
   • Un término de discrepancia de representación (basado en el Ataque de Similitud por Bloques) para interrumpir las jerarquías de características.
   • Un término de guía espectral que maximiza explícitamente la alineación de las representaciones intermedias adversarias con los subespacios de vectores singulares inferiores de las capas lineales seleccionadas.
4. Sondeo por Capas: Los autores emplean un mecanismo de sondeo para analizar cómo la optimización adversaria desplaza naturalmente las representaciones hacia los subespacios singulares inferiores, incluso sin guía espectral explícita, y para comparar las características espectrales de diferentes VLM (Qwen2.5-VL, LLaVA-1.5 y Gemma-3).

Contribuciones Clave

• Identificación de una Nueva Superficie de Ataque: El artículo identifica los subespacios de vectores singulares inferiores de las transformaciones lineales intermedias como una superficie de ataque espectral crítica y previamente pasada por alto en los VLM basados en transformadores.
• Ataque SSGRA: Los autores proponen el SSGRA, un ataque de caja blanca guiado espectralmente que aprovecha este conocimiento. Demuestra una efectividad mejorada sobre las líneas base de estado del arte (incluyendo ataques de espacio de características como FDA, DRA, BSA y ataques de nivel de salida como CE y EGA).
• Validación Empírica de la Dinámica Espectral: A través del sondeo por capas, el estudio muestra que la optimización adversaria no dirigida tiende naturalmente a aumentar la alineación de las representaciones con los subespacios singulares que atenúan la información (bottom).
• Caracterización Espectral de los VLM: Los autores proporcionan un análisis espectral de tres VLM principales, revelando que los modelos con una mayor proporción de direcciones singulares casi nulas (por ejemplo, Qwen2.5-VL) exhiben una mayor vulnerabilidad al SSGRA en comparación con modelos con menos tales direcciones (por ejemplo, Gemma-3).

Resultados Experimentales
Los experimentos se realizaron en ImageNet con tres VLM de vanguardia: Gemma-3 (4B), Qwen2.5-VL (7B) y LLaVA-1.5 (7B).

• Efectividad del Ataque: El SSGRA superó consistentemente a todas las líneas base. En Qwen2.5-VL, logró una degradación relativa adicional de 7.90–19.74% en BERTScore F1 y de 30.50–97.93% en ROUGE-L F1 en comparación con la línea base más fuerte. En LLaVA-1.5 y Gemma-3, también logró un rendimiento superior, con mejoras que escalan con el presupuesto de perturbación.
• Análisis Cualitativo: La inspección visual de los ejemplos adversarios mostró que, mientras que los ataques de línea base a menudo preservaban el contenido semántico general (con alucinaciones menores), el SSGRA frecuentemente inducía predicciones completamente sin sentido o no relacionadas (por ejemplo, describir un choque de autos en lugar de una ambulancia).
• Correlación Espectral: Los resultados confirmaron una correlación entre la densidad de las direcciones singulares casi nulas y la vulnerabilidad. Qwen2.5-VL, al tener la mayor proporción de valores singulares casi nulos, fue el más vulnerable, mientras que Gemma-3, con la menor proporción, fue el más robusto.
• Costo Computacional: El SSGRA mantuvo una complejidad computacional (medida en FLOPs) comparable a otros ataques de optimización, sin una sobrecarga significativa.

Significancia y Reivindicaciones
El artículo afirma que su principal significancia radica en cambiar la perspectiva de la vulnerabilidad adversaria de las propiedades del espacio de entrada hacia la estructura espectral de las transformaciones lineales intermedias. Al demostrar que la optimización adversaria explota naturalmente las direcciones singulares casi nulas, los autores argumentan que las estrategias de robustez no solo deben enfocarse en restringir los valores singulares grandes (vía normalización espectral), sino que también deben abordar el control de las direcciones singulares casi nulas.

Los autores declaran explícitamente que su trabajo aísla los mecanismos espectrales de la vulnerabilidad a través de ataques de caja blanca no dirigidos. Notan modestamente que la aplicabilidad de este marco a entornos de transferencia y de caja negra aún no ha sido investigada y sigue siendo una dirección para trabajos futuros. Los hallazgos sugieren que el control explícito de la alineación de las representaciones con los subespacios de vectores singulares inferiores ofrece una estrategia complementaria para mejorar la robustez adversaria de los VLM.