SpectralGuard: Detecting Memory Collapse Attacks in State Space Models

1. El Problema: Vulnerabilidad de Colapso Espectral

Los Modelos de Espacio de Estados (SSM), como Mamba, han ganado popularidad por su capacidad de procesar secuencias en tiempo lineal mediante recurrencia dependiente de la entrada. Sin embargo, el artículo identifica una vulnerabilidad crítica de seguridad arquitectónica:

• Mecanismo de Vulnerabilidad: A diferencia de los Transformers, que distribuyen la información en una caché explícita (Key-Value), los SSMs comprimen todo el historial en un estado recurrente de baja dimensión ($h_t$) actualizado multiplicativamente por un operador de transición discretizado $\bar{A}_t = \exp(\Delta_t A)$.
• El Ataque (HiSPA): Un adversario puede manipular la entrada (tokens) para alterar el paso de discretización dependiente de la entrada ($\Delta_t$). Esto fuerza al radio espectral $\rho(\bar{A}_t)$ del operador de transición hacia cero.
• Consecuencia (Colapso de Memoria): Cuando $\rho(\bar{A}_t)$ disminuye, la información del estado anterior se desvanece exponencialmente. El "horizonte de memoria efectiva" ($H_{eff}$) colapsa de millones de tokens a apenas unas decenas.
• El Peligro Silencioso: Este ataque destruye la capacidad de razonamiento del modelo (causando fallos en tareas de memoria a largo plazo, matemáticas o codificación) sin alterar significativamente la distribución de salida (logits). Por lo tanto, las defensas basadas únicamente en la salida (detectores de toxicidad, filtros de perplexidad) son incapaces de detectar el ataque, ya que el modelo sigue generando texto que parece plausible superficialmente.

2. Metodología y Marco Teórico

El paper propone un marco teórico y una solución práctica basada en la teoría espectral y el control.

A. Fundamentos Teóricos

• Teorema del Horizonte Espectral (Teorema 1): Se deriva un límite superior para el horizonte de memoria efectiva ($H_{eff}$) en función del radio espectral $\rho(\bar{A})$, el número de condición $\kappa$ y la Gramiana de Controlabilidad. Se demuestra que una pequeña reducción en $\rho$ (ej. de 0.99 a 0.98) reduce $H_{eff}$ drásticamente.
• Teorema de Existencia de Evasión (Teorema 3): Se prueba formalmente que para cualquier defensa que solo observe la salida, existen entradas adversarias que inducen colapso espectral y evaden la detección simultáneamente. Esto establece la insuficiencia fundamental de las defensas "output-only".
• Continuidad Lipschitz (Teorema 5): Se demuestra que el radio espectral es continuo respecto a los cambios en el paso de discretización, lo que permite establecer límites teóricos sobre la robustez del sistema.

B. Ataque Propuesto: HiSPA (Hidden State Poisoning via Spectral Attack)

• Enfoque: Un ataque basado en gradientes (Projected Gradient Descent) que optimiza una cadena de pensamiento (CoT) para minimizar directamente $\rho(\bar{A}_t)$ a lo largo de la secuencia.
• Objetivo: Reducir el radio espectral de ~0.98 a ~0.32, forzando al modelo a un régimen de alta contracción que destruye la retención de información a largo plazo.

C. Defensa: SpectralGuard

• Mecanismo: Un monitor en tiempo real que rastrea $\rho(\bar{A}_t)$ en todas las capas del modelo durante la inferencia.
• Implementación: Utiliza el método de la potencia (Power Method) con pocas iteraciones ($k=3$) para estimar el radio espectral de manera eficiente ($O(d_{state})$).
• Lógica de Bloqueo: Si el radio espectral estimado cae por debajo de un umbral crítico ($\rho_{min}$) dentro de una ventana deslizante, el sistema bloquea la generación de tokens y emite una alerta.
• Arquitectura: Se propone un clasificador logístico que utiliza características multivariadas (media, varianza y brecha espectral) de múltiples capas para mejorar la detección frente a atacantes adaptativos.

3. Contribuciones Clave

1. Teoría de Fundamentos Espectrales: Formalización matemática de cómo el radio espectral gobierna la memoria en SSMs y prueba de la imposibilidad de defenderse solo con la salida.
2. Demonstración del Ataque HiSPA: Construcción de un ataque que reduce la precisión en tareas de razonamiento entre un 42% y un 53% al colapsar la memoria, validando la teoría empíricamente.
3. SpectralGuard: Introducción de un sistema de defensa en tiempo real que:
   • Detecta ataques no adaptativos con un F1 = 0.961.
   • Mantiene un F1 = 0.842 incluso bajo el ataque adaptativo más fuerte (que intenta imitar estadísticas benignas).
   • Opera con una latencia sub-15ms por token, haciéndolo viable para producción.

4. Resultados Experimentales

Los experimentos se realizaron en modelos Mamba (desde 130M hasta 2.8B parámetros) y arquitecturas híbridas (Zamba2).

• Validación del Horizonte (Exp 1): Se observó una transición de fase aguda en $\rho_{critical} \approx 0.90$.
  • Si $\rho \ge 0.95$: Precisión > 80%.
  • Si $\rho < 0.85$: Precisión < 30%.
• Impacto del Ataque (Exp 2):
  • En tareas de recuperación asociativa, el ataque redujo la precisión de 72.3% a 19.8%.
  • El horizonte efectivo de memoria colapsó de ~1.17 millones de tokens a 45 tokens.
• Rendimiento de la Defensa (Exp 3):
  • SpectralGuard Multicapa: Logró un F1 de 0.961 (AUC 0.989) contra atacantes no adaptativos.
  • Resistencia Adaptativa: Incluso cuando el atacante intentó evadir el umbral de una sola capa, el uso de características de múltiples capas mantuvo un F1 de 0.842 (AUC 0.903).
• Generalización:
  • La defensa funcionó consistentemente en modelos de diferentes escalas (130M, 1.4B, 2.8B).
  • Se validó en arquitecturas híbridas (Zamba2), demostrando que el monitoreo espectral es aplicable más allá de los SSMs puros.
• Interpretabilidad Mecánica: El análisis por capas mostró que el ataque colapsa selectivamente las capas intermedias (4-10), creando una "firma" estructural que las defensas multicapa pueden detectar, mientras que el texto benigno mantiene un radio espectral estable en todas las capas.

5. Significado e Implicaciones

• Seguridad de IA Crítica: El trabajo demuestra que los SSMs, a pesar de su eficiencia, tienen una superficie de ataque única donde la degradación de capacidades es invisible para los filtros de salida. Esto es crucial para el despliegue de modelos en entornos de alto riesgo.
• Cambio de Paradigma en Defensa: Propone que la seguridad en modelos recurrentes debe pasar de monitorear la salida a monitorear la dinámica interna (estados ocultos). SpectralGuard ofrece una garantía de completitud condicional: si el ataque colapsa la memoria, inevitablemente colapsa el radio espectral.
• Viabilidad de Despliegue: Con un sobrecosto de inferencia de solo ~15% y latencia de <15ms por token, SpectralGuard es una capa de seguridad práctica y escalable, alineada con regulaciones como la Ley de IA de la UE que exigen robustez y trazabilidad.
• Relación con la Teoría de Control: El artículo conecta profundamente la seguridad de modelos de lenguaje con la teoría de control clásica (controlabilidad, estabilidad y radios espectrales), ofreciendo un lenguaje matemático riguroso para analizar la seguridad de los fundamentos recurrentes.

En conclusión, SpectralGuard establece que el monitoreo espectral no es solo una opción, sino una necesidad para garantizar la integridad de los modelos de espacio de estados, proporcionando la primera defensa mecanística contra ataques que destruyen silenciosamente la capacidad de razonamiento.