SpectralGuard: Detecting Memory Collapse Attacks in State Space Models

Título: SpectralGuard: Detecção de Ataques de Colapso de Memória em Modelos de Espaço de Estado

1. O Problema: Vulnerabilidade Arquitetural em SSMs

Os Modelos de Espaço de Estado (SSMs), como o Mamba, ganharam destaque por processar sequências com complexidade linear, superando os Transformers em contextos longos. No entanto, o artigo identifica uma vulnerabilidade crítica de segurança inerente à sua arquitetura:

• Mecanismo de Ataque: Diferente dos Transformers, que distribuem informações em uma cache explícita (KV Cache), os SSMs comprimem todo o histórico em um estado recorrente de baixa dimensão ($h_t$), atualizado multiplicativamente a cada token por um operador de transição discretizado ($\bar{A}_t = \exp(\Delta_t A)$).
• Colapso Espectral: Um adversário pode manipular a entrada para reduzir o raio espectral $\rho(\bar{A}_t)$ (o maior valor absoluto dos autovalores) do operador de transição. Quando $\rho$ é forçado a zero, a memória efetiva do modelo colapsa de milhões de tokens para apenas algumas dezenas.
• Invisibilidade: Este ataque destrói a capacidade de raciocínio do modelo de forma silenciosa. Como a distribuição de saída permanece superficialmente plausível (baixa perplexidade, sem palavras tóxicas), os sistemas de defesa baseados apenas na saída do modelo (output-only) não conseguem detectar a falha.

2. Metodologia e Framework Teórico

O trabalho estabelece uma base teórica e prática para entender e mitigar essa vulnerabilidade:

• Teoria do Horizonte Espectral (Teorema 1): Os autores derivam um limite superior rigoroso para o horizonte de memória efetivo ($H_{eff}$) em função do raio espectral $\rho(\bar{A})$, do número de condição $\kappa$ e da Gramiana de Controlabilidade. Eles provam que uma pequena queda em $\rho$ (ex: de 0.99 para 0.98) reduz $H_{eff}$ exponencialmente.
• Teorema de Existência de Evasão (Teorema 3): É provado que, para qualquer defesa que monitore apenas a saída (logits ou texto gerado), existem entradas adversariais que induzem o colapso espectral e, simultaneamente, passam despercebidas. Isso formaliza a impossibilidade de defesas puramente baseadas em saída contra esta classe de ataques.
• Ataque HiSPA (Hidden State Poisoning via Spectral Attack): Os autores implementam um ataque baseado em gradiente que otimiza prompts de "chain-of-thought" para minimizar $\rho(\bar{A}_t)$. O ataque força o modelo a entrar em um regime de alta contração, obliterando a informação do estado oculto.
• Defesa SpectralGuard: Um monitor em tempo real que rastreia a estabilidade espectral ($\rho(\bar{A}_t)$) através de todas as camadas do modelo durante a inferência. Se o raio espectral cair abaixo de um limiar crítico ($\rho_{min}$), o sistema bloqueia a geração do token.

3. Principais Contribuições

1. Fundamentos Teóricos: Prova formal de que a segurança de SSMs depende da monitorização interna, não apenas da saída, e estabelece a relação matemática entre o raio espectral e a capacidade de memória.
2. Demonstração de Ataque (HiSPA): Construção de um ataque que reduz o raio espectral de ~0.98 para ~0.32, degradando a precisão em tarefas de raciocínio em 42-53 pontos percentuais.
3. Solução Prática (SpectralGuard): Um detector de baixa latência (<15ms por token) que utiliza o método de potência (power method) para estimar $\rho$ em tempo real, alcançando alta precisão mesmo contra atacantes adaptativos.

4. Resultados Experimentais

Os experimentos foram realizados em modelos Mamba (de 130M a 2.8B parâmetros) e em arquiteturas híbridas (Zamba2):

• Correlação e Transição de Fase: Existe uma correlação forte ($r=0.49$) entre $\rho$ e a precisão da tarefa. Há uma transição de fase crítica em $\rho \approx 0.90$: acima disso, o modelo funciona bem (>80% de precisão); abaixo disso, a precisão colapsa (<30%).
• Desempenho do Ataque: O ataque HiSPA reduziu a precisão média de 72.3% (benigno) para 19.8% (adversarial) em tarefas de raciocínio matemático e geração de código, encolhendo o horizonte de memória de ~1,17 milhão de tokens para apenas 45 tokens.
• Eficácia da Defesa (SpectralGuard):
  • Atacantes Não-Adaptativos: F1-score de 0.961 (AUC 0.989).
  • Atacantes Adaptativos (que tentam burlar o limiar): O detector multi-camada mantém um F1-score de 0.842 (AUC 0.903), demonstrando robustez mesmo quando o atacante tenta imitar estatísticas benignas.
  • Latência: O overhead computacional é de apenas ~15% no throughput de inferência, tornando-o viável para produção.
• Validação Causal: Experimentos de intervenção direta (clamping de $\rho$) confirmaram que reduzir o raio espectral degrada o desempenho independentemente dos pesos do modelo, provando a causalidade do mecanismo.
• Generalização: A defesa funcionou eficazmente em modelos de diferentes escalas e em arquiteturas híbridas (SSM + Atenção), como o Zamba2.

5. Significado e Impacto

• Segurança de IA: O trabalho revela que SSMs, apesar de sua eficiência, possuem uma superfície de ataque única onde a "inteligência" do modelo pode ser desligada sem alterar o comportamento superficial.
• Mudança de Paradigma de Defesa: Demonstra que defesas baseadas em saída são insuficientes para modelos recorrentes modernos. A monitorização de estados internos (dinâmica espectral) é necessária e suficiente para garantir a segurança.
• Viabilidade de Implantação: O SpectralGuard oferece uma camada de segurança leve e interpretável, alinhada com regulamentações como o EU AI Act, permitindo auditoria forense de falhas de raciocínio.
• Compromisso (Trade-off) Inerente: O estudo mostra que existe um limite fundamental (fronteira de Pareto) para atacantes: tentar esconder o ataque (manter o texto "limpo") impede a causa do colapso de memória, e vice-versa.

Em resumo, o SpectralGuard estabelece que a vigilância sobre a dinâmica interna (raio espectral) é o mecanismo fundamental para proteger a capacidade de raciocínio de modelos de espaço de estado, oferecendo a primeira garantia de segurança mecanicista para essa classe de arquiteturas.