SpectralGuard: Detecting Memory Collapse Attacks in State Space Models

1. Il Problema: Vulnerabilità Architetturale negli SSM

Il lavoro identifica una vulnerabilità critica di sicurezza negli State Space Models (SSM), come Mamba, che stanno diventando popolari per la loro capacità di elaborare sequenze a tempo lineare.

• Meccanismo di Attacco: Gli SSM comprimono l'intera storia in uno stato ricorrente a bassa dimensionalità ($h_t$) aggiornato tramite un operatore di transizione discretizzato $\bar{A}_t = \exp(\Delta_t A)$. La capacità di memoria a lungo termine è governata dal raggio spettrale $\rho(\bar{A})$ di questo operatore.
• Collasso Spettrale: Un avversario può manipolare gli input (tramite Hidden State Poisoning) per guidare il raggio spettrale $\rho(\bar{A})$ verso zero. Questo causa un "collasso della memoria": la finestra di memoria effettiva crolla da milioni di token a poche decine, distruggendo silenziosamente la capacità di ragionamento del modello.
• Limitazione delle Difese Esistenti: Il paper dimostra teoricamente (Teorema 3) che le difese basate esclusivamente sull'output (come filtri di tossicità o analisi della perplexità) sono fondamentalmente insufficienti. Un attaccante può indurre il collasso della memoria mantenendo le distribuzioni di output superficialmente plausibili, rendendo l'attacco invisibile ai sistemi di monitoraggio esterni.

2. Metodologia e Framework Teorico

A. Teoria degli Orizzonti Spettrali

Gli autori derivano un limite teorico rigoroso per l'orizzonte di memoria effettivo ($H_{eff}$) in funzione del raggio spettrale $\rho(\bar{A})$, del numero di condizione $\kappa$ e della Gramiana di Controllabilità ($W_c$).

• Teorema 1: Dimostra che $H_{eff}$ è inversamente proporzionale a $\log(1/\rho)$. Una piccola diminuzione di $\rho$ (es. da 0.99 a 0.98) riduce drasticamente la capacità di memoria.
• Transizione di Fase: Esiste una soglia critica ($\rho_{critical} \approx 0.90$). Quando $\rho$ scende sotto questo valore, l'accuratezza del modello crolla da >80% a <30%.

B. Attacco HiSPA (Hidden State Poisoning via Spectral Attack)

Viene proposto un attacco basato su gradienti (HiSPA) che ottimizza le sequenze di prompt (Chain-of-Thought) per minimizzare $\rho(\bar{A})$.

• L'attaccante utilizza la discesa del gradiente per trovare token che riducono il passo di discretizzazione $\Delta_t$ in modo da spingere gli autovalori di $\bar{A}_t$ verso zero.
• L'obiettivo è collassare la memoria mantenendo l'output coerente con il contesto (bassa perplexità).

C. Difesa: SpectralGuard

Viene introdotto SpectralGuard, un monitor in tempo reale che opera direttamente sullo stato interno del modello.

• Funzionamento: Calcola il raggio spettrale $\rho(\bar{A}_t)$ per ogni token e per ogni layer del modello utilizzando il metodo delle potenze (con $k=3$ iterazioni per efficienza).
• Soglia di Blocco: Se il raggio spettrale scende sotto una soglia critica $\rho_{min}$ (es. 0.30) all'interno di una finestra temporale, il sistema blocca l'output e genera un allarme.
• Garanzie: Il Teorema 4 fornisce una garanzia di completezza condizionata: se un attacco efficace richiede necessariamente di abbassare $\rho$, SpectralGuard lo rileverà. Il Teorema 5 fornisce un certificato di robustezza Lipschitz, limitando la capacità dell'avversario di manipolare $\rho$ senza essere rilevato.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli Mamba (da 130M a 2.8B parametri) e su architetture ibride (Zamba2).

• Impatto dell'Attacco:

  • Gli attacchi HiSPA riducono il raggio spettrale medio da 0.98 a 0.32.
  • Questo provoca un crollo dell'accuratezza del 52.5 punti percentuali (da 72.3% a 19.8%) su compiti di ragionamento, recall associativo e generazione di codice.
  • L'orizzonte di memoria effettivo collassa da ~1.17 milioni di token a soli 45 token.

• Performance di SpectralGuard:

  • Attaccanti Non-Adattivi: Raggiunge un F1-score di 0.961 (AUC 0.989) con un tasso di falsi positivi molto basso (6%).
  • Attaccanti Adattivi: Anche contro attaccanti consapevoli della soglia che tentano di eludere il rilevamento (adattando i gradienti per mantenere $\rho$ vicino alla soglia), il sistema mantiene un F1-score di 0.842 (AUC 0.903) quando utilizza un monitoraggio multi-layer.
  • Monitoraggio Multi-Layer: L'analisi mostra che gli attacchi creano una "firma" strutturata specifica per i layer (collasso concentrato nei layer 4-10), rendendo il rilevamento multi-layer molto più robusto rispetto a quello su singolo layer.

• Efficienza e Scalabilità:

  • Latenza: L'overhead computazionale è inferiore a 15ms per token, rappresentando un aumento di throughput di circa il 15% rispetto al modello base, rendendolo fattibile per il deployment in produzione.
  • Generalizzazione: Il metodo funziona efficacemente su diverse scale di modelli (130M, 1.4B, 2.8B) e si trasferisce ad architetture ibride SSM-Attention (Zamba2), sebbene con valori assoluti di $\rho$ diversi a causa della presenza di meccanismi di attenzione.

4. Contributi Chiave

1. Teoria Fondamentale: Prima formalizzazione matematica del legame tra raggio spettrale e capacità di memoria negli SSM selettivi, dimostrando l'esistenza di difese basate solo sull'output.
2. Nuova Minaccia (HiSPA): Dimostrazione pratica di un attacco che distrugge le capacità di ragionamento manipolando gli stati interni senza alterare l'output visibile.
3. SpectralGuard: Introduzione di un meccanismo di difesa principiale, basato sul monitoraggio interno, che offre garanzie di completezza e soundness con costi computazionali trascurabili.
4. Validazione Causale: Esperimenti di intervento causale che confermano che forzare artificialmente $\rho$ a valori bassi degrada le prestazioni, isolando la causa del fallimento dal semplice rumore statistico.

5. Significato e Implicazioni

Questo lavoro cambia il paradigma di sicurezza per i modelli fondazionali ricorrenti (SSM):

• Sicurezza Interna: Dimostra che la sicurezza non può essere garantita solo monitorando l'output; è necessario monitorare la dinamica interna (stato nascosto) per rilevare attacchi di "negazione del servizio" (DoS) cognitivi.
• Conformità Normativa: SpectralGuard fornisce tracce interpretabili (log del raggio spettrale) che possono essere utilizzate per audit di sicurezza e conformità a normative come l'EU AI Act.
• Futuro della Ricerca: Stabilisce che il monitoraggio spettrale è un componente essenziale per il deployment sicuro di modelli ricorrenti, offrendo una protezione analoga al "gradient clipping" usato per la stabilità nell'addestramento, ma applicata alla fase di inferenza.

In sintesi, il paper evidenzia che la stessa proprietà che rende gli SSM potenti (la ricorsione controllata dallo stato) è anche il loro punto debole, e propone una soluzione matematica ed efficiente per blindare questa vulnerabilità.