Vision Token Manipulation Attacks on Cloud-Edge Inference of Large Vision-Language Models

Resumen Técnico: Ataques de Manipulación de Tokens de Visión en la Inferencia Nube-Borde de Grandes Modelos de Lenguaje-Visión

Planteamiento del Problema
El artículo aborda una vulnerabilidad de seguridad crítica en los sistemas de inferencia de Modelos de Lenguaje-Visión (LVLM) de arquitectura Nube-Borde (Cloud-Edge). En esta arquitectura, los dispositivos de borde con recursos limitados realizan una codificación visual ligera y transmiten tokens de visión intermedios a los servidores en la nube, donde residen el codificador de texto y el núcleo del Modelo de Lenguaje Grande (LLM), que son computacionalmente intensivos. Los autores identifican el enlace de comunicación entre el borde y la nube como una superficie de ataque nueva y no explorada. A diferencia de los ataques tradicionales dirigidos a las entradas visuales puras (como las perturbaciones adversarias) o a los prompts de texto, este trabajo se centra en los Ataques de Manipulación de Tokens de Visión (VTM). El problema central es que un adversario, operando en un entorno de Hombre en el Medio (MitM) de caja negra, puede interceptar y manipular un subconjunto de estos tokens de visión transmitidos. Debido a que los tokens de visión son representaciones compactas y de alta dimensión que codifican contenido semántico, la manipulación de estos puede interrumpir la comprensión del LVLM sobre las relaciones espaciales y las claves semánticas, provocando fallos de inferencia significativos sin que el atacante necesite acceso a los pesos del modelo o a los datos de la imagen original.

Metodología
Los autores proponen una familia de Ataques VTM bajo un entorno de caja negra restringido donde el adversario no tiene acceso a los parámetros del modelo ni en el borde ni en la nube. El ataque está sujeto a dos restricciones primarias:

1. Consistencia Dimensional: Los tokens manipulados deben mantener la forma original ($L_v \times d$) para evitar la detección inmediata o el fallo del pipeline.
2. Presupuesto de Manipulación: El adversario solo puede modificar un subconjunto de tokens ($I$), definido por una Relación de Manipulación de Tokens ($\rho$), para mantener la sigilo.

La metodología se divide en dos componentes:

1. Estrategias de Ataque Naíf: Los autores diseñan cuatro estrategias de manipulación base aplicadas a tokens seleccionados aleatoriamente:

   • Permutación (basada en estructura): Desordena la disposición posicional de los tokens seleccionados preservando sus valores, interrumpiendo la consistencia estructural.
   • Enmascaramiento (basada en valor): Anula los tokens seleccionados, eliminando el contenido informativo.
   • Perturbación Gaussiana (basada en valor): Inyecta ruido escalado por norma en los tokens seleccionados para alterar su magnitud y dirección estocásticamente.
   • Inversión de Signo (basada en valor): Invierte la dirección de los tokens seleccionados en el espacio de embeddings ($\hat{v}_i = -v_i$) mientras preserva su norma. Esto crea un gran desplazamiento en el espacio de representación.

2. Selección de Tokens basada en Optimización: Reconociendo que la selección aleatoria es subóptima, los autores proponen una estrategia de optimización para identificar los tokens de visión más influyentes. Dado que la medición directa del impacto en la distribución de salida es inabordable en un entorno de caja negra, utilizan la Disrupción de la Autoatención como un proxy. Formulan un objetivo para maximizar la discrepancia entre las salidas de autoatención de los tokens originales y los manipulados ($L_{SA}$). Para evitar el sesgo de selección hacia los tokens de alta norma (que podrían ser normalizados por las capas descendentes), introducen un término de regularización consciente de la norma ($L_{norm}$). El objetivo final maximiza $L_{SA} - \lambda L_{norm}$ utilizando el ascenso de gradiente proyectado para determinar el conjunto óptimo de tokens a manipular, los cuales son atacados mediante la estrategia de Inversión de Signo.

Contribuciones Clave

• Identificación de una Nueva Superficie de Ataque: El artículo define formalmente la interfaz de transmisión de tokens de visión nube-borde como una superficie de ataque práctica y vulnerable para los LVLM.
• Marco de Trabajo VTM-Attack: Introduce una familia integral de ataques a nivel de token, incluyendo tanto la manipulación basada en estructura (permutación) como la basada en valor (enmascaramiento, gaussiana, inversión de signo).
• Estrategia de Optimización: Propone un método de selección de tokens basado en optimización que aprovecha la disrupción de la autoatención y la regularización consciente de la norma para mejorar significativamente la efectividad del ataque bajo presupuestos limitados.
• Evaluación Empírica: El estudio proporciona evaluaciones extensas a través de seis LVLM de vanguardia (que van desde 3B hasta 72B de parámetros) y cuatro benchmarks diversos (OCRBench, MMBench, HallusionBench, MathVista).

Resultados Experimentales
Los experimentos demuestran que la inferencia de LVLM en la nube-borde es altamente vulnerable a los ataques VTM, incluso con un presupuesto de manipulación bajo ($\rho = 0.1$, o 10% de los tokens):

• Severidad del Impacto: Manipular solo el 10% de los tokens puede reducir la precisión hasta en un 88.31%. Por ejemplo, en el benchmark MMBench, el ataque de Inversión de Signo redujo la precisión de Qwen2.5-VL-72B-Instruct del 88.39% al 0.23%.
• Efectividad de la Inversión de Signo: Entre las estrategias naíf, la Inversión de Signo produjo consistentemente la degradación más catastrófica, reduciendo a menudo el rendimiento del modelo a una precisión cercana a cero en MMBench y HallusionBench. Esto sugiere que revertir la orientación semántica de los tokens es más destructivo que desordenar o enmascarar.
• Variación de la Robustez del Modelo: Se observó una disparidad significativa en la robustez entre las familias de modelos. Los modelos Qwen2.5-VL exhibieron una degradación catastrófica bajo varios ataques, mientras que los modelos InternVL3.5 demostraron una robustez considerablemente mayor. Además, las leyes de escala fueron inconsistentes; los modelos InternVL más grandes fueron generalmente más robustos, pero esta tendencia no se mantuvo de manera consistente para los modelos Qwen.
• Ganancia de Optimización: La estrategia de selección de tokens basada en optimización amplificó aún más la efectividad del ataque en comparación con la selección aleatoria. Por ejemplo, en HallusionBench, la estrategia de optimización mejoró la tasa de éxito del ataque en InternVL3.5-4B e InternVL3.5-38B en un 5.79% y 21.09%, respectivamente, sobre la selección aleatoria.

Significancia
El artículo afirma que estos resultados revelan una vulnerabilidad crítica en el despliegue de los LVLM en entornos de nube-borde. Los hallazgos indican que el enlace de comunicación que transmite las representaciones intermedias es un vector de alto riesgo que ha sido ampliamente ignorado en la literatura de seguridad existente, la cual se centra principalmente en ataques en el espacio de entrada o en modalidades de solo texto. El estudio subraya que incluso las manipulaciones limitadas y sigilosas de los tokens de visión pueden interrumpir fundamentalmente la interacción visión-lenguaje, provocando un fallo total de la inferencia. Esto resalta la necesidad urgente de protocolos de transmisión seguros y mecanismos de defensa robustos diseñados específicamente para la capa de representación intermedia en sistemas de LVLM distribuidos.