Follow My Eyes: Backdoor Attacks on VLM-based Scanpath Prediction

Resumen Técnico: Ataques de Puerta Trasera en Predicción de Trayectorias de Mirada (Scanpath)

1. Problema y Contexto

La predicción de trayectorias de mirada (scanpath prediction) es una tarea crítica en sistemas móviles y de Realidad Aumentada/Virtual (AR/VR). Estos modelos, basados en Modelos de Lenguaje Visual (VLM), pronostican la secuencia temporal y la duración de las fijaciones oculares humanas durante la búsqueda visual. Esto permite funciones como el renderizado foveado (ahorro de energía) y la interacción basada en la atención.

El problema central que aborda el artículo es la vulnerabilidad de la cadena de suministro de estos modelos. Dado que el entrenamiento requiere grandes cantidades de datos de seguimiento ocular (costosos de obtener), los desarrolladores suelen utilizar conjuntos de datos públicos o modelos preentrenados de terceros. Esto crea un vector de ataque para la infección por puertas traseras (backdoors): un atacante puede envenenar el conjunto de datos de entrenamiento o distribuir un modelo comprometido.

A diferencia de los ataques de clasificación tradicionales (que redirigen una etiqueta discreta), los modelos de scanpath generan secuencias continuas y estructuradas (coordenadas $x, y$ y duración $t$). El desafío técnico es diseñar un ataque que sea efectivo pero que no sea detectable por métodos estadísticos simples, ya que la diversidad de las trayectorias es esperada en este dominio.

2. Metodología

Los autores proponen un estudio sistemático de ataques de puerta trasera contra el modelo GazeFormer (el estado del arte en predicción de scanpaths multimodal) utilizando el conjunto de datos COCO-Search18.

A. Evaluación de Ataques de Ruta Fija (Preliminar):
Primero, probaron una adaptación directa de los ataques de puerta trasera clásicos: forzar al modelo a generar una trayectoria fija predeterminada cuando se activa un trigger (disparador).

• Resultado: Aunque funcional, este enfoque crea un "clustering" (agrupamiento) estadístico detectable en el espacio de salida continuo. Los mapas de calor de las fijaciones muestran artefactos concentrados en las coordenadas del atacante, lo que permite su detección mediante análisis estadístico o agrupación de activaciones (activation clustering).

B. Diseño de Ataques de Salida Variable (Propuesta Principal):
Para evadir la detección, diseñaron dos ataques que condicionan la salida maliciosa a la entrada (imagen y consulta de texto), manteniendo la diversidad natural de las trayectorias:

1. Ataque Espacial Consciente de la Entrada (Input-Aware Spatial Attack):

   • Mecanismo: Cuando se detecta el trigger, el modelo busca un objeto "venenoso" (ej. un cuchillo) en lugar del objeto solicitado por el usuario (ej. un tenedor).
   • Ejecución: El atacante no define una ruta fija, sino que utiliza un modelo de referencia limpio para generar una trayectoria de búsqueda válida para el objeto venenoso en esa escena específica.
   • Efecto: La trayectoria redirigida es semánticamente plausible y varía según la imagen, evitando el agrupamiento estadístico.

2. Ataque de Duración de la Trayectoria (Scanpath Duration Attack):

   • Mecanismo: Manipula el componente temporal de la secuencia.
   • Variantes:
     • Inflación de duración: Aumenta el tiempo de cada fijación en una cantidad fija ($\Delta t$).
     • Inyección de fijaciones extra: Inserta nuevas fijaciones intermedias en la secuencia.
   • Efecto: Retrasa la finalización de la búsqueda visual sin alterar la ubicación espacial de las fijaciones, afectando la latencia de las aplicaciones de AR/VR.

C. Disparadores (Triggers):
Se evaluaron tres modalidades de triggers:

• Visual: Un parche blanco de 128x128 píxeles.
• Textual: Un carácter de espacio de ancho cero (ZWS, U+200B) insertado en la consulta de búsqueda.
• Multimodal: Combinación de ambos.

D. Evaluación de Defensas:
Se probaron cinco defensas post-entrenamiento (Fine-tuning, Fine-pruning, Neural Attention Distillation, SecureGaze y Contrastive Fine-tuning) asumiendo un modelo defensor que solo tiene acceso a un pequeño conjunto de datos limpios y al modelo comprometido.

3. Resultados Clave

• Efectividad del Ataque:

  • Los ataques de salida variable logran redirigir la atención o inflar el tiempo de búsqueda con éxito.
  • En el ataque espacial, la tasa de acierto en la caja delimitadora (BBox hit ratio) de los datos envenenados cae drásticamente (de ~0.86 en limpio a ~0.32-0.53 en atacado), mientras que el rendimiento en datos limpios se mantiene alto (>0.78).
  • En el ataque temporal, se lograron retrasos significativos (hasta +416 ms con triggers textuales al 10% de envenenamiento) sin degradar significativamente la precisión espacial.
  • Evasión de Detección: A diferencia de los ataques de ruta fija, los ataques de salida variable no fueron detectados por el agrupamiento de activaciones (Activation Clustering), ya que las trayectorias maliciosas mantienen la variabilidad natural de los datos limpios.

• Evaluación de Defensas:

  • Fallo General: Ninguna defensa evaluada logró suprimir simultáneamente el ataque y preservar el rendimiento limpio en todas las configuraciones.
  • Fine-pruning: Suprime el ataque mejor que las demás (especialmente en triggers visuales), pero degrada severamente el rendimiento limpio (pérdida de 10-18 puntos en BBox hit ratio), haciéndolo impráctico.
  • Fine-tuning: Ofrece mitigación débil e inconsistente; a veces incluso fortalece el backdoor.
  • Neural Attention Distillation (NAD): Ofrece el mejor equilibrio, preservando el rendimiento limpio mientras reduce parcialmente el éxito del ataque, pero no elimina la amenaza por completo.
  • SecureGaze: Falló en detectar los backdoors multimodales debido a la complejidad del espacio de búsqueda conjunto (imagen-texto) y la naturaleza variable de la salida.

• Viabilidad en Dispositivos Móviles (Edge):

  • Se validó que el comportamiento malicioso sobrevive a la cuantización (FP32, FP16, INT8) y se ejecuta en teléfonos reales (Samsung Galaxy S24 Ultra y Note9).
  • La fidelidad de la implementación en el dispositivo se mantuvo entre el 84% y el 90%, confirmando que el ataque es viable en entornos de inferencia en el borde sin necesidad de intervención del servidor.

4. Contribuciones Principales

1. Primer Estudio Sistemático: Es la primera investigación que explora ataques de puerta trasera en modelos de predicción de scanpath basados en VLM.
2. Nuevas Formulación de Ataques: Introduce y valida ataques de salida variable (espacial y temporal) que evaden las técnicas de detección basadas en agrupamiento estadístico, superando las limitaciones de los ataques de ruta fija en espacios de salida continuos.
3. Análisis de Defensas: Demuestra que las defensas actuales son insuficientes para este dominio, estableciendo un desafío abierto para la comunidad de seguridad.
4. Validación en el Mundo Real: Confirma que estos ataques persisten tras la cuantización y el despliegue en hardware móvil comercial, lo que representa una amenaza práctica para sistemas de seguridad crítica en AR/VR y móviles.

5. Significado e Impacto

Este trabajo revela una vulnerabilidad crítica en la infraestructura de seguridad de los sistemas de visión por computadora multimodal que interactúan directamente con el comportamiento humano (como la atención visual).

• Implicaciones de Seguridad: En aplicaciones de AR/VR, un ataque de redirección espacial podría hacer que el sistema renderice en alta resolución en la zona incorrecta (desperdiciando energía y ocultando información crítica), mientras que un ataque de duración podría retrasar interacciones críticas en tiempo real.
• Desafío Futuro: El estudio concluye que las defensas basadas únicamente en la inspección de pesos post-entrenamiento son insuficientes. Se requieren nuevas estrategias que consideren la estructura temporal de las predicciones o certificaciones de robustez antes del despliegue, especialmente dado que la detección en el borde (on-device) es casi imposible una vez que el modelo está en producción.

En resumen, el artículo demuestra que la seguridad de los modelos de predicción de mirada es frágil y que los ataques sofisticados pueden pasar desapercibidos, comprometiendo la integridad de sistemas que dependen de la precisión de la atención visual humana.