Resumen Técnico: Semantic Router: Sobre la viabilidad del secuestro de MLLMs mediante una única perturbación adversarial

1. Definición del Problema: Secuestro con Conciencia Semántica (Semantic-Aware Hijacking)

Este artículo investiga una nueva amenaza para los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) denominada Secuestro con Conciencia Semántica. Mientras que los MLLMs se despliegan cada vez más en sistemas sin estado (por ejemplo, conducción autónoma, robótica) donde procesan fotogramas individuales sin retener el contexto histórico, este trabajo explora la viabilidad de comprometer una secuencia de estas decisiones atómicas utilizando una única perturbación adversarial universal.

A diferencia de las Perturbaciones Adversariales Universales (UAPs) tradicionales que mapean diversos inputs hacia un único objetivo, o del ruido no dirigido que degrada el rendimiento de forma general, la amenaza propuesta consiste en una Perturbación Universal con Conciencia Semántica (SAUP). Una SAUP actúa como un "enrutador semántico", percibiendo activamente la semántica visual de un fotograma de entrada y dirigiéndolo hacia un objetivo distinto definido por el atacante basándose únicamente en el contenido de dicho input. Por ejemplo, en un escenario de conducción autónoma, una sola perturbación podría forzar al modelo a emitir "girar a la derecha" cuando detecta una intersección, pero "detenerse" cuando detecta una rotonda, guiando acumulativamente a un agente hacia un destino malicioso.

El desafío central reside en las restricciones geométricas del espacio latente: la perturbación debe desplazar simultáneamente todos los inputs fuera de sus variedades naturales (Desplazamiento Dominante) y, al mismo tiempo, preservar y amplificar las sutiles diferencias semánticas para desviarlos hacia objetivos específicos y distintos (Deflexión Semántica).

2. Metodología: SORT y Marco Teórico

Análisis Teórico

Los autores formalizan el modelo de amenaza bajo un entorno de caja blanca, analizando las propiedades geométricas del espacio latente del MLLM. Descomponen la respuesta del codificador de visión ante un input perturbado $x + \delta$ en dos componentes mediante una expansión de Taylor de primer orden:

1. Desplazamiento Dominante ($\mu_\delta$): La perturbación $\delta$ crea un desplazamiento dominante $\phi(\delta)$, moviendo el clúster de entrada hacia un subespacio adversarial donde las fronteras de decisión son densas.
2. Deflexión Semántica ($\nu_c$): La perturbación aprovecha la matriz Jacobiana $J_\delta$ para extraer diferencias semánticas intrínsecas del input $x(c)$, desviando las características hacia embeddings de objetivos proxy específicos.

Los autores derivan un límite teórico (Teorema 3.4) que establece que un mapeo exitoso requiere que la capacidad de expansión de la perturbación (norma espectral del Jacobiano) supere la relación entre la distancia entre los embeddings de los objetivos y la distancia entre los embeddings de los inputs. Esto resalta la dificultad de atacar la semántica fina donde las distancias entre inputs son pequeñas.

El Algoritmo SORT

Para superar estos desafíos de optimización, el artículo propone la estrategia de optimización Semantic-ORienTed (SORT), la cual consta de dos componentes clave:

1. Optimización de Espacio Normalizado (NSO): En lugar de optimizar directamente en el espacio de píxeles $[0, 1]$, lo que conduce a gradientes inestables y mínimos locales, SORT introduce un cambio de variables a un espacio normalizado y sin restricciones. Esto estabiliza el paisaje de optimización y asegura pasos de tamaño consistente.
2. Optimización de Separación Semántica (SSO): Para maximizar explícitamente la potencia de la deflexión, los autores introducen una pérdida basada en márgenes ($L_{Margin}$) junto con la pérdida de entropía cruzada estándar. Esta función de pérdida obliga a que las características perturbadas de diferentes clases semánticas se separen en el espacio de salida, asegurando que se alineen con sus respectivos embeddings de objetivo proxy en lugar de colapsar en un único clúster.

Dataset: RIST

Para evaluar el secuestro semántico de grano fino, los autores introducen RIST (Real Image Sequence Trajectories). A diferencia de los benchmarks de clasificación estándar, RIST consiste en fotogramas secuenciales de videos continuos (escenarios de AutoDriving y RoboTasking). Presenta categorías semánticas de grano fino (por ejemplo, tipos específicos de intersecciones o estados de manipulación robótica) donde los inputs dentro de una categoría son visualmente similares pero requieren acciones distintas y conscientes del contexto.

3. Resultados Clave

Los autores realizaron experimentos extensos en tres MLLMs representativos: LLaVA-1.5, Qwen2.5-VL e InternVL3, a través de dos datasets (ImageNet para semántica de grano grueso y RIST para semántica de grano fino).

• Viabilidad del Enrutamiento Semántico: Los experimentos demuestran que una SAUP puede secuestrar con éxito múltiples decisiones sin estado. En el modelo Qwen, una sola perturbación logró una Tasa de Éxito de Ataque (ASR) del 66% a través de cinco objetivos distintos usando un solo fotograma.
• Control de Grano Fino: En el dataset RIST, las SAUPs alcanzaron un ASR promedio del 72% en el escenario de RoboTasking (2 objetivos) y del 62% en el escenario de AutoDriving (5 objetivos), demostrando la capacidad de distinguir variaciones semánticas sutiles (por ejemplo, diferentes condiciones de la carretera) para activar comandos específicos como "acelerar" o "conducir".
• Generación de Texto Largo: El ataque se extiende al control de la generación de texto largo. Con 2 objetivos, las SAUPs mantuvieron un ASR del 83% incluso cuando los objetivos consistían en 10 palabras. Con 5 objetivos, alcanzaron un ASR del 54% para objetivos de 4 palabras.
• Capacidad de Información: El estudio identifica un límite de "capacidad de información". A medida que aumenta el número de objetivos, el ASR disminuye, particularmente para perturbaciones con restricciones espaciales limitadas (por ejemplo, parches de esquinas frente a fotogramas completos). La restricción de Fotograma (7,056 píxeles) mantuvo tasas de éxito más altas que la restricción de Esquina (1,600 píxeles) a medida que crecía el número de objetivos, sugiriendo un cuello de botella para codificar múltiples fronteras de decisión dentro de un presupuesto limitado de píxeles.
• Estudios de Ablación: Eliminar NSO causó una caída catastrófica en el rendimiento (caída promedio del 49.5% en ASR), confirmando su necesidad para la estabilidad de la optimización. Eliminar SSO resultó en un menor rendimiento en escenarios de múltiples objetivos, resaltando su papel en la separación de clústeres semánticos.

4. Significación y Reivindicaciones

El artículo afirma demostrar la viabilidad fundamental de secuestrar decisiones de MLLMs sin estado mediante una única perturbación que actúa como un enrutador semántico. La importancia de este trabajo radica en:

• Nuevo Modelo de Amenaza: Va más allá de la simple clasificación errónea o el secuestro de un único objetivo hacia un ataque universal de "muchos a muchos", donde una sola perturbación enruta dinámicamente los inputs hacia diferentes objetivos maliciosos basados en el contexto visual.
• Perspectiva Geométrica: Proporciona una comprensión teórica y empírica de los mecanismos de "Desplazamiento Dominante" y "Deflexión Semántica" en el espacio latente, ofreciendo un marco con principios para entender cómo las perturbaciones universales pueden codificar mapeos complejos.
• Implicaciones en el Mundo Real: Aunque el estudio se realiza en un entorno digital de caja blanca, los autores argumentan que esta vulnerabilidad plantea riesgos significativos para agentes sin estado en la conducción autónoma y la robótica. Sugieren que un atacante podría incrustar una SAUP diseñada en un anuncio web o en un entorno visual para coaccionar a un agente a una cadena de decisiones maliciosas (por ejemplo, subir datos privados seguido de la ejecución de un comando de "enviar").

Los autores mantienen una postura modesta respecto al despliegue físico, reconociendo que la robustez ante factores físicos (iluminación, desenfoque de movimiento) y entornos de caja negra sigue siendo un desafío significativo que requiere investigación futura. Sin embargo, postulan que la viabilidad digital demostrada sirve como un punto de partida crítico para comprender y mitigar el secuestro semántico en entornos de agentes complejos.