Adversarial Robustness of Deep State Space Models for Forecasting

Resumen Técnico: Robustez Adversarial de Modelos de Espacio de Estado (SSM) para Pronóstico

1. Planteamiento del Problema

Los modelos de espacio de estado (SSM), y en particular la arquitectura Spacetime (un modelo SSM profundo reciente), han demostrado un rendimiento empírico superior en tareas de pronóstico de series temporales, superando a redes neuronales recurrentes (RNN), convolucionales (CNN) y Transformers en conjuntos de datos de referencia. Sin embargo, su robustez frente a perturbaciones adversarias es un área poco explorada.

El problema central abordado es la vulnerabilidad de estos modelos ante ataques adversarios sigilosos (stealthy attacks). Un adversario inyecta señales de ataque en los datos de entrada para maximizar el error de pronóstico, pero debe hacerlo de tal manera que no sea detectado por un sistema de monitoreo. A diferencia de las formulaciones tradicionales que limitan la energía del ataque (norma $\ell_2$), este trabajo considera restricciones basadas en la detección, lo que permite ataques más realistas y peligrosos que podrían explotar dinámicas internas inestables sin disparar alarmas.

2. Metodología

El enfoque del artículo combina teoría de control, aprendizaje automático y teoría de juegos:

• Formulación del Problema como Juego de Stackelberg:
  El diseño del pronóstico robusto se formula como un juego de suma cero de tipo Stackelberg. El pronosticador (líder) elige primero el modelo $f(\cdot)$, anticipando la respuesta del adversario (seguidor), quien busca maximizar el error cuadrático medio (MSE) sujeto a una restricción de no detección (preservar la tasa de falsas alarmas, FAR, por debajo de un umbral $\alpha$).
  $$\inf_{f \in \mathcal{F}} \sup_{a \in \mathcal{S}_\alpha} \text{MSE}(f, y, a)$$
  Donde $\mathcal{S}_\alpha$ es el conjunto de ataques sigilosos.

• Análisis Teórico y Propiedades del Modelo Spacetime:

  • Representación Óptima: Se demuestra que, bajo condiciones suaves, la arquitectura decoder-only de Spacetime puede representar exactamente el predictor de Kalman óptimo para procesos generadores de datos autoregresivos (AR). Esto es una propiedad única que no poseen otros SSM o Transformers.
  • Acotación del Error: Se derivan límites cerrados para el error de pronóstico adversarial. Estos límites revelan cómo la inestabilidad en lazo abierto (matriz del codificador), la inestabilidad en lazo cerrado (matriz del decodificador con retroalimentación) y la dimensión del estado del decodificador amplifican la vulnerabilidad.

• Entrenamiento Adversarial:
  Para defenderse, se propone un esquema de entrenamiento adversarial. Se utilizan ataques generados mediante Descenso de Gradiente Proyectado (PGD) que se detienen cuando la estadística de detección supera el umbral, asegurando que el ataque sea sigiloso. El modelo se ajusta (fine-tuning) sobre estos ejemplos adversarios.

• Ataques sin Modelo (Model-Free):
  Una contribución clave es la demostración de que un adversario no necesita acceso al modelo (ni a sus gradientes) para atacar. Aprovechando el comportamiento localmente lineal de los SSM, se proponen Ataques Basados en Datos (DDA). Estos ataques calculan perturbaciones basándose únicamente en la relación entre la entrada, la salida objetivo y el umbral de detección, utilizando estimaciones de la ganancia local y la alineación direccional.

3. Contribuciones Clave

1. Fundamento Teórico: Establecen que el modelo Spacetime puede representar el predictor de Kalman óptimo para procesos AR, una capacidad superior a la de otros SSM y Transformers.
2. Diseño Robusto: Formulan y resuelven un problema de optimización robusta contra adversarios sigilosos mediante entrenamiento adversarial, logrando reducciones significativas en el error bajo ataque.
3. Análisis de Sensibilidad: Derivan límites teóricos que vinculan explícitamente la vulnerabilidad del modelo con parámetros de control (estabilidad de matrices A y $\bar{A}+\bar{B}\bar{K}$), ofreciendo principios de diseño para modelos más robustos.
4. Vulnerabilidad en Caja Negra: Demuestran que los ataques sin acceso al modelo (DDA) son altamente efectivos, causando más error que los ataques basados en gradientes (PGD) con pasos pequeños, lo que subraya una vulnerabilidad inherente a la estructura lineal local de los SSM.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos de referencia Monash (incluyendo consumo eléctrico, tráfico, flujo de ríos y nacimientos en EE. UU.):

• Efectividad del Entrenamiento Adversarial:

  • El uso de un detector basado en autoencoders (CNN) junto con el entrenamiento adversarial redujo el Error Absoluto Medio (MAE) adversarial en hasta un 10% en comparación con modelos no entrenados.
  • Los modelos robustos mostraron un mejor rendimiento general, reduciendo el sobreajuste.

• Comparación de Ataques (PGD vs. DDA):

  • Los ataques Model-Free (DDA) resultaron ser extremadamente peligrosos. En los experimentos, los DDAs causaron al menos un 33% más de error (MAE) que los ataques PGD con un tamaño de paso pequeño, sin requerir ningún cálculo de gradiente ni acceso al modelo.
  • Esto confirma que la linealidad local de los SSM es un arma de doble filo: mejora la precisión del pronóstico pero facilita ataques sigilosos fáciles de construir.

• Validación de Teoría:

  • Los experimentos validaron las observaciones teóricas: la inestabilidad en lazo abierto amplifica errores en secuencias largas (ventana de retroceso $\ell$), y la inestabilidad en lazo cerrado amplifica errores en horizontes de pronóstico largos ($h$).

5. Significado e Impacto

Este trabajo es pionero al estudiar la robustez adversarial de los modelos SSM desde una perspectiva de teoría de control. Sus implicaciones son profundas:

• Seguridad Crítica: Dado que los SSM se están adoptando en dominios críticos como redes eléctricas, finanzas y climatología, la demostración de que son vulnerables a ataques sigilosos (especialmente sin acceso al modelo) es una advertencia crítica para su despliegue seguro.
• Nuevos Paradigmas de Defensa: Sugiere que la defensa no puede basarse solo en limitar la energía del ataque, sino que debe considerar la detección y la estabilidad interna del modelo (lazo abierto/cerrado).
• Eficiencia de Ataques: La capacidad de realizar ataques efectivos sin gradientes desafía la suposición común de que la protección contra "cajas negras" es más fácil que contra "cajas blancas", mostrando que la estructura matemática de los SSM los hace inherentemente expuestos.

En conclusión, el artículo proporciona un marco completo para entender, cuantificar y mitigar (parcialmente) las vulnerabilidades adversarias en los modernos modelos de pronóstico basados en espacio de estado, destacando la necesidad de incorporar principios de control robusto en el diseño de arquitecturas de IA para series temporales.