SpectralGuard: Detecting Memory Collapse Attacks in State Space Models

Titel: SpectralGuard: Detectie van Geheugencollapse-aanvallen in State Space Models

Auteur: Davi Bonetto (Independent Researcher)
Datum: Maart 2026 (arXiv:2603.12414v1)

---

1. Het Probleem: Een Architecturale Kwetsbaarheid in SSMs

State Space Models (SSMs), zoals Mamba, bereiken lineaire tijdscomplexiteit voor sequentieverwerking door gebruik te maken van input-afhankelijke recurrentie. Hoewel dit efficiënt is, introduceert het mechanisme een kritieke veiligheidskwetsbaarheid die niet aanwezig is in Transformer-architecturen.

• De Kwetsbaarheid: SSMs comprimeren hun volledige geschiedenis in een laag-dimensionale recurrente toestand ($h_t$). Deze toestand wordt bij elke token vermenigvuldigd met een gediscretiseerde overgangsmatrix $\bar{A}_t = \exp(\Delta_t A)$.
• De Aanval (HiSPA): Een adversary kan via gradient-based manipulatie van de input (specifiek de stapgrootte $\Delta_t$) de spectrale straal $\rho(\bar{A}_t)$ van deze matrix naar nul duwen.
• Het Effect: Wanneer $\rho(\bar{A}_t)$ daalt (bijvoorbeeld van 0,98 naar 0,32), ondergaat het model een "spectrale collapse". Het effectieve gehevenvenster krimpt van miljoenen tokens naar slechts enkele tientallen.
• Het Gevaar: Dit gebeurt stil. De outputverdelingen blijven oppervlakkig plausibel, waardoor traditionele verdedigingen die alleen kijken naar de gegenereerde tekst (output-only defenses) de aanval niet detecteren. Het redeneervermogen van het model wordt echter volledig vernietigd.

2. Methodologie en Theoretisch Kader

Theoretische Fundamenten

De auteurs leiden een strikte bovengrens af voor het effectieve geheugenvenster ($H_{eff}$) als functie van de spectrale straal $\rho(\bar{A})$, de conditiegetal $\kappa$ en de Controllability Gramian ($W_c$).

• Theorema 1 (Spectral Horizon Bound): Toont aan dat als $\rho(\bar{A})$ daalt, $H_{eff}$ exponentieel krimpt. Er is een scherpe fase-overgang bij een kritieke drempel ($\rho_{critical} \approx 0,90$).
• Theorema 3 (Evasie-existentie): Bewijst dat voor elke verdediging die alleen op output kijkt, er adversarial inputs bestaan die spectrale collapse veroorzaken maar toch de detectie omzeilen. Dit komt omdat de interne compressie van de staat niet volledig waarneembaar is via de outputprojectie.

De Aanval: HiSPA (Hidden State Poisoning)

De auteurs construeren een gradient-based aanval (Project Gradient Descent) die specifiek optimaliseert om $\rho(\bar{A}_t)$ te minimaliseren via adversarial chain-of-thought prompts. De aanval houdt de output plausibel terwijl het interne geheugen wordt vernietigd.

De Verdediging: SpectralGuard

SpectralGuard is een real-time monitor die de spectrale stabiliteit direct in de interne dynamica van het model bewaakt.

• Methode: Het berekent per token en per laag de spectrale straal $\rho(\bar{A}_t)$ met behulp van de macht-methode (power method) met $k=3$ iteraties.
• Gating: Als $\rho(\bar{A}_t)$ onder een drempelwaarde ($\rho_{min}$) zakt binnen een glijdend venster, wordt de output geblokkeerd en een alarm geactiveerd.
• Efficiëntie: De berekening kost slechts $O(d_{state})$ per token per laag, wat een verwaarloosbare overhead introduceert.

3. Belangrijkste Bijdragen

1. Theoretisch Bewijs: Eerste mechanistische verklaring waarom SSMs kwetsbaar zijn voor geheugencollapse en bewijs dat output-only verdedigingen fundamenteel ontoereikend zijn.
2. HiSPA Aanval: Een demonstratie dat gradient-based prompts de spectrale straal kunnen verlagen van 0,98 naar 0,32, wat leidt tot een accuracy-daling van 42-53 procentpunten.
3. SpectralGuard: Een implementeerbare, real-time verdediging die interne dynamica monitort zonder de output te hoeven analyseren.

4. Resultaten en Experimenten

De resultaten zijn getest op Mamba-modellen (130M tot 2.8B parameters) en hybride systemen (Zamba2).

• Prestaties tegen Niet-Adaptieve Aanvallers:
  • F1-score: 0,961
  • AUC: 0,989
  • False Positive Rate (FPR): 0,060
• Prestaties tegen Adaptieve Aanvallers (die de drempel proberen te omzeilen):
  • Zelfs onder de sterkste adaptieve setting (waarbij de aanval probeert $\rho$ net boven de drempel te houden) behoudt SpectralGuard een F1-score van 0,842 (AUC 0,903).
• Latentie: De toegevoegde latency is < 15ms per token, wat de toepasbaarheid in productie garandeert.
• Cross-Architectuur: De methode werkt ook op hybride SSM-Attention systemen (Zamba2), hoewel de absolute $\rho$-waarden lager zijn door de aanwezigheid van attention-lagen.
• Causale Validatie: Experimenten waarbij $\rho$ direct werd "geclamped" (verlaagd) zonder het model opnieuw te trainen, bevestigden dat de daling van $\rho$ de oorzaak is van de prestatiedaling, en niet een correlatie.

Tabel: Impact van Spectrale Collapse op Taken

Taak	Benign Accuracy	Adversarial Accuracy	Daling
Associative Recall	72,3%	19,8%	-52,5 pp
Long-Context QA	68,4%	23,1%	-45,3 pp
Math Reasoning (GSM8K)	61,3%	18,7%	-42,6 pp
Code Gen (HumanEval)	48,0%	12,0%	-36,0 pp

5. Betekenis en Conclusie

Dit paper introduceert een paradigmaverschuiving in de beveiliging van recurrente foundation modellen:

1. Interne Monitoring is Noodzakelijk: Omdat SSMs informatie intern comprimeren, is het onmogelijk om veiligheidsproblemen alleen aan de hand van de output te detecteren.
2. Spectrale Stabiliteit als Metriek: De spectrale straal $\rho(\bar{A})$ fungeert als een monosemantische, interpreteerbare metriek die direct de redeneercapaciteit van het model voorspelt.
3. Productie-klaar: SpectralGuard biedt een lichtgewicht, wiskundig onderbouwde veiligheidslaag die de interne dynamica beschermt tegen manipulatie, vergelijkbaar met hoe gradient clipping stabiliteit in training garandeerde.

De auteurs concluderen dat de era van recurrente foundation modellen vereist dat we "recurrente waakzaamheid" toepassen: het continu monitoren van de interne spectrale eigenschappen om te voorkomen dat het model zijn eigen geheugen stilzwijgend vernietigt.