🤖 AI

Can Transformer Memory Be Corrupted? Investigating Cache-Side Vulnerabilities in Large Language Models

Este artigo introduz a Injeção de Tokens Maliciosos (MTI), um framework que demonstra que perturbar o cache de chave-valor durante a inferência pode corromper sistematicamente modelos de linguagem transformer, revelando a integridade do cache como uma vulnerabilidade crítica e anteriormente negligenciada na segurança de LLMs.

Autores originais: Elias Hossain, Swayamjit Saha, Somshubhra Roy, Ravi Prasad

Publicado 2026-02-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Elias Hossain, Swayamjit Saha, Somshubhra Roy, Ravi Prasad

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Modelo de Linguagem Grande (LLM) como um estudante brilhante e de raciocínio rápido fazendo uma prova longa. Para responder a uma pergunta, este estudante não olha apenas para a pergunta atual; eles precisam se lembrar de tudo o que escreveram até agora para manter sua resposta consistente. No mundo da IA, essa "memória" é chamada de KV Cache (Cache de Chave-Valor). É um rascunho digital onde o modelo armazena as partes mais importantes da conversa para que não precise reler o livro inteiro toda vez que quiser escrever a próxima palavra.

Este artigo, intitulado "Can Transformer Memory Be Corrupted?" (A memória do Transformer pode ser corrompida?), faz uma pergunta assustadora, mas simples: O que acontece se alguém rabiscar secretamente nesse rascunho enquanto o estudante faz a prova?

Aqui está a divisão de suas descobertas usando analogias do cotidiano:

1. A Fraqueza Oculta: O Rascunho "Invisível"

Normalmente, nos preocupamos com hackers alterando os livros didáticos do estudante (os dados de treinamento do modelo) ou enganando-o com uma pergunta estranha (injeção de prompt). Mas este artigo descobriu uma maneira diferente e mais sorrateira de quebrar o sistema.

Os pesquisadores perceberam que o "rascunho" (o KV Cache) é frequentemente deixado desprotegido. Mesmo que os livros e as perguntas do exame estejam trancados, um atacante que consiga entrar no computador que executa o modelo pode alterar sutilmente os números nesse rascunho.

A Analogia: Imagine um chef cozinhando um ensopado complexo. A receita está segura e os ingredientes são frescos. Mas se um sabotador entrar furtivamente e trocar silenciosamente uma pitada de sal por açúcar enquanto o chef está provando a panela, todo o prato pode dar errado, mesmo que o chef não tenha mudado a receita ou os ingredientes.

2. O Ataque: "Injeção de Token Malicioso" (MTI)

Os autores criaram uma ferramenta chamada MTI V.1 para testar isso. Eles não quebraram o modelo; eles apenas "deram um toque" na memória. Eles tentaram três formas principais de bagunçar o rascunho:

O Toque "Estático" (Ruído Gaussiano): Adicionar um pouco de estática aleatória ou ruído à memória, como aumentar levemente o volume de um rádio até que as palavras fiquem incompreensíveis.
O "Apagador" (Zerar): Apagar partes específicas da memória inteiramente, como usar um marcador vermelho em uma página de notas.
A "Torção" (Rotação): Virar a memória de lado. A informação ainda está lá, mas está apontando na direção errada, confundindo o entendimento do modelo.

3. Os Resultados: Pequenos Toques, Grandes Confusões

Os pesquisadores testaram isso em modelos de IA populares (como GPT-2 e LLaMA-2). Eles descobriram que até mudanças minúsculas, quase invisíveis, na memória causavam grandes problemas:

Confusão: O modelo começou a adivinhar palavras que não deveria. Ele tornou-se menos confiante e mais propenso a inventar fatos (alucinar).
Falha de Tarefa:
- Tarefas Simples: Quando perguntado se uma frase era feliz ou triste, o modelo ficou confuso e começou a errar.
- Tarefas Complexas: Quando perguntado para encontrar um fato específico em um documento longo (como uma pergunta de trivia), o modelo falhou completamente. Era como se o estudante tivesse esquecido como ler a pergunta inteira.
- O "Teste de Agente": Quando a IA estava agindo como um robô tentando planejar uma série de etapas (como reservar um voo), a corrupção da memória fez com que ela se perdesse e escolhesse as ações erradas.

4. O "Porquê": Como Isso se Espalha

O artigo explica a matemática por trás disso de forma simples: a IA decide qual palavra dizer a seguir olhando para sua memória. Se a memória estiver ligeiramente errada, a atenção da IA se desloca.

A Analogia: Imagine que você está tentando encontrar um amigo em uma sala lotada. Você olha para um mapa (a memória). Se alguém desenhar uma linha pequena e errada no mapa, você pode olhar para o canto errado. Uma vez que você olha para o canto errado, todo o seu plano para o resto da noite desmorona. O artigo prova que essas "linhas pequenas" no mapa podem matematicamente garantir que a atenção da IA seja desviada.

5. Podemos Consertar Isso? (As Defesas)

Os pesquisadores testaram algumas correções rápidas para ver se conseguiam impedir o ataque:

Limpar o Rascunho: Limpar a memória periodicamente.
Aleatorizar as Notas: Esconder partes da memória aleatoriamente para ver se o modelo ainda consegue adivinhar.
Suavizar o Ruído: Tirar a média dos números para remover a "estática".

O Veredito: Essas correções ajudaram um pouco, mas não foram uma cura mágica. Elas pararam o pior do dano, mas se o ataque fosse forte ou contínuo, o modelo ainda falhava. É como colocar um curativo em um corte; ajuda, mas não impede a faca de cortar mais fundo se o atacante continuar tentando.

A Conclusão

Este artigo não diz que a IA está quebrada ou que você deve parar de usá-la. Em vez disso, ele toca um sino de alerta para as pessoas que constroem e protegem sistemas de IA.

A Principal Lição: Fomos muito bons em proteger o "cérebro" da IA (os dados de treinamento) e sua "boca" (os prompts de entrada), mas ignoramos amplamente sua "memória de curto prazo" (o KV Cache). Se um atacante conseguir entrar no computador que executa a IA, ele pode corromper essa memória e tornar a IA não confiável, confusa ou perigosa, sem sequer alterar uma única linha de código.

Os autores estão pedindo um novo tipo de segurança que trate este "rascunho" como uma zona crítica de segurança que precisa ser guardada tão estritamente quanto o resto do sistema.

Resumo Técnico: Investigando Vulnerabilidades de Cache em Grandes Modelos de Linguagem

Declaração do Problema
Embora os Grandes Modelos de Linguagem (LLMs) estejam sendo cada vez mais protegidos por salvaguardas ao nível do prompt e alinhamento durante o treinamento, seu estado interno de inferência permanece uma superfície de ataque subexaminada. Especificamente, o cache de Chave-Valor (KV), que armazena representações de atenção intermediárias para acelerar a decodificação autorregressiva, introduz uma memória interna persistente que influencia diretamente as previsões futuras. Diferente da injeção de prompt (que opera na interface de entrada) ou do envenenamento de pesos (que requer acesso durante o treinamento), as perturbações de lado de cache operam inteiramente após a tokenização e o embedding. Esses ataques contornam filtros de nível de entrada e verificações de alinhamento ao modificar vetores de chave armazenados em cache, potencialmente enviesando distribuições de atenção e propagando erros através de previsões subsequentes sem alterar os parâmetros do modelo ou os prompts de entrada.

Metodologia: O Framework MTI V.1
Para investigar esta vulnerabilidade, os autores introduzem o MTI V.1 (Injeção de Token Malicioso), um framework modular que formaliza perturbações de lado de cache. O framework trata o cache KV como uma fronteira de robustez distinta e define um modelo de ameaça onde um adversário com acesso em tempo de inferência pode perturbar chaves em cache em camadas e passos de tempo selecionados sem modificar entradas ou pesos.

O framework caracteriza as perturbações ao longo de três eixos:

Magnitude da Corrupção: A força da perturbação injetada.
Frequência de Injeção: Com que frequência as perturbações são aplicadas ao longo dos passos de decodificação.
Posicionamento de Camada: Quais camadas do transformer são alvo.

O estudo emprega três mecanismos de corrupção canônicos:

MTI-Gaussian: Injeta ruído estocástico aditivo (amostrado de uma distribuição Gaussiana) nas chaves em cache.
MTI-Zeroing: Remove chaves em cache inteiramente, simulando uma exclusão catastrófica.
MTI-Rotation: Aplica transformações ortogonais às chaves em cache, alterando o alinhamento angular com as queries enquanto preserva a magnitude do vetor.

Adicionalmente, uma variante otimizada (Algoritmo 1) é usada empiricamente para computar perturbações que maximizam um objetivo adversarial via ascensão de gradiente, embora isso seja distinto das perturbações não adaptativas e limitadas por norma usadas na análise teórica.

Análise Teórica
O artigo fornece uma análise teórica delimitando como perturbações de cache com norma limitada se propagam através de mecanismos de atenção.

Limite de Perturbação-para-Logit: O desvio nos scores de atenção escala linearmente tanto com a magnitude da perturbação ( $\epsilon$ ) quanto com a norma da query ( $\|q_t\|_2$ ). O desvio resultante nos logits não normalizados é limitado por $\|\Delta z_t\|_2 \leq \|q_t\|_2 \cdot \epsilon$ .
Estabilidade Softmax: Sob suposições de logits limitados, o mapeamento softmax é Lipschitz contínuo. Isso permite a tradução de desvios de logit em mudanças controladas na distribuição de atenção e nas probabilidades de saída.
A análise estabelece que a corrupção de cache limitada induz desvios limitados nas distribuições de atenção e nos logits do próximo token, caracterizando tendências de sensibilidade de pior caso.

Resultados Experimentais
O framework foi avaliado nos modelos GPT-2 Medium, LLaMA-2 7B e Gemma-7B em diversos benchmarks, incluindo classificação de sentimento (SST-2), resposta de perguntas extrativa (SQuAD, HotpotQA), sumarização (CNN/DailyMail) e pipelines de raciocínio agêntico.

Efeitos ao Nível de Token: As perturbações de cache induzem desvios distributivos (medidos por divergência KL) uma ordem de magnitude maiores que a variação estocástica. Por exemplo, a corrupção baseada em rotação no GPT-2 resultou em uma divergência KL de 0,57 e uma queda de 16,7% na precisão Top-1.
Degradação de Tarefas Downstream: A sensibilidade varia conforme a tarefa. Enquanto o SST-2 mostrou robustez moderada, o SQuAD (QA extrativa) exibiu falha catastrófica, com pontuações F1 colapsando de 77,4 para 7,2 sob as mesmas perturbações. Isso sugere que tarefas que exigem alinhamento preciso de tokens e raciocínio de contexto longo são altamente sensíveis.
Geração Aumentada por Recuperação (RAG): Perturbações aplicadas ao contexto recuperado degradaram significativamente a fidelidade de fundamentação e aumentaram as taxas de alucinação, indicando que pipelines de RAG são criticamente dependentes da integridade do cache na etapa de evidência.
Pipelines Agênticos: Em frameworks do tipo ReAct e AutoGPT, o raciocínio de loop fechado mostrou resiliência parcial a perturbações leves, embora essa robustez fosse limitada a regimes suaves.
Estudos de Ablação: A vulnerabilidade é governada pela interação entre posicionamento de camada, força de perturbação e persistência temporal. Camadas de nível médio foram encontradas como consistentemente mais vulneráveis do que as camadas iniciais ou profundas. A corrupção contínua causou maior degradação do que cronogramas intermitentes, indicando que as perturbações de cache são estatais e se acumulam ao longo do tempo.
Defesas: Defesas leves (Reset de Cache, Randomização de Máscara de Dropout, Suavização de Atenção) foram avaliadas. Embora tenham preservado a precisão basal sob perturbações leves com overhead de tempo de execução mínimo, foram insuficientes como salvaguardas isoladas contra corrupção persistente ou forte.

Significância e Alegações
O artigo postula que a corrupção de cache em tempo de inferência representa uma ameaça sistemática à confiabilidade, calibração e fundamentação de pipelines modernos de LLM. As principais contribuições incluem:

Formalização de um Modelo de Ameaça: Identificação da integridade do cache KV como uma fronteira de robustez crítica e pouco explorada, e a formalização da perturbação de lado de cache como um modelo de ameaça principiológico para IA confiável.
Limites Teóricos: Fornecimento de limites teóricos que caracterizam como a corrupção de cache limitada se propaga para distribuições de atenção e logits de saída.
Evidência Empírica: Demonstração de que as perturbações de cache induzem desvios distributivos e falhas de tarefas em modelagem de linguagem, RAG e raciocínio agêntico, mesmo quando prompts e pesos permanecem inalterados.
Utilidade Diagnóstica: Sugestão de que perturbações de cache controladas podem servir não apenas como um modelo de ameaça, mas também como uma ferramenta diagnóstica para analisar a sensibilidade de atenção e a dinâmica interna do modelo.

Os autores concluem que, embora defesas simples ofereçam mitigação parcial, mecanismos explícitos de integridade de cache ou estratégias de monitoramento são necessários para um deployment robusto. O trabalho posiciona a integridade do cache em tempo de inferência como uma "fronteira de robustez de primeira classe" para pesquisas futuras em IA confiável, enfatizando que estas descobertas caracterizam uma fronteira de robustez em vez de afirmar a explorabilidade universal em todos os cenários de deployment.