🤖 AI

Governing the KV Cache: Preventing Timing Side-Channel Leakage in Multi-Tenant LLM Inference

Este artigo apresenta o KVGov, uma camada de governança que previne ataques de canal lateral de tempo em inferências de LLM multi-inquilino ao isolar criptograficamente as chaves de cache KV entre inquilinos por meio de salting por principal e um escalonador de auditoria, eliminando assim o vazamento entre inquilinos enquanto preserva 93% da eficiência do cache de prefixo.

Autores originais: Tejasvi C. Addagada

Publicado 2026-08-11

📖 9 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tejasvi C. Addagada

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma biblioteca tecnológica e movimentada onde um bibliotecário mágico (a IA) pode responder a qualquer pergunta que você tenha. Para ser super rápido, esse bibliotecário mantém uma "folha de referência" com os começos de histórias mais comuns bem em cima de sua mesa. Se você fizer uma pergunta que começa com as mesmas palavras de outra pessoa, o bibliotecário não precisa reler o livro inteiro; ele apenas dá uma olhada na folha de referência e vai direto para a resposta. Isso é incrivelmente eficiente, economizando enormes quantidades de tempo. No entanto, em uma biblioteca movimentada com muitas pessoas diferentes (inquilinos) usando a mesma mesa, uma pessoa sorrateira poderia descobrir o que os outros estão lendo. Eles não precisariam ver o livro; eles apenas observariam quanto tempo leva para o bibliotecário encontrar a resposta. Se o bibliotecário pegar a resposta instantaneamente, o sorrateiro sabe: "Ah, eles devem ter perguntado sobre a mesma história que eu acabei de perguntar!". Se o bibliotecário tiver que caminhar até as prateleiras do fundo, significa que a história é nova. Ao cronometrar esses pequenos atrasos, um ator mal-intencionado poderia reconstruir os segredos privados ou os comandos (prompts) de outras pessoas, transformando um recurso de velocidade em uma falha de segurança.

Este artigo aborda exatamente esse problema no mundo dos Grandes Modelos de Linguagem (LLMs), os chatbots de IA super inteligentes que usamos hoje. Esses modelos usam um "cache KV" (a folha de referência) para acelerar as respostas, lembrando-se de partes anteriores de uma conversa. O autor descobriu que, em ambientes compartilhados, esse truque de velocidade cria um "canal lateral de tempo" (timing side channel) — um sinal secreto escondido em quanto tempo as coisas levam. Ele descobriu que três grupos diferentes de hackers já mostraram como usar esse sinal para roubar comandos privados com quase 100% de sucesso. O artigo propõe um novo sistema chamado KVGov para corrigir isso. Em vez de apenas tentar esconder o tempo (o que é difícil), o KVGov muda as regras do jogo para que a folha de referência seja completamente diferente para cada usuário. É como dar a cada visitante da biblioteca sua própria tinta invisível e única, que torna sua folha de referência específica ilegível para qualquer outra pessoa. O autor mostra, através de simulações e testes de hardware real, que este método interrompe todos os três tipos de ataques em seu rastilho, mantendo a biblioteca rápida o suficiente para ser útil. Eles também introduzem um sistema de "segurança inteligente" que sabe exatamente quem observar mais de perto, e calculam um ponto de inflexão onde se torna mais seguro parar de compartilhar a folha de referência inteiramente.

O Grande Assalto ao Cache

Pense na memória da IA como um quadro branco gigante e compartilhado. Quando você faz uma pergunta à IA, ela escreve as partes principais da sua frase no quadro para não ter que recalculá-las se você fizer uma pergunta semelhante mais tarde. Este é o cache KV. Em uma configuração multi-tenant (onde muitas empresas ou usuários diferentes compartilham o mesmo servidor de IA), todos compartilham este quadro branco para economizar tempo.

O problema é que o quadro branco é óbvio demais. Se um usuário sorrateiro (o atacante) perguntar "Qual é a capital da França?" e a IA responder instantaneamente, o atacante sabe: "Oh, alguém deve ter perguntado isso recentemente!". Se a IA demorar, o atacante sabe: "Ninguém perguntou isso ainda". Ao tentar milhares de perguntas diferentes e cronometrar as respostas, o atacante pode mapear exatamente o que outras pessoas estão perguntando, mesmo que não consiga ver as respostas em si. Isso é chamado de ataque de canal lateral de tempo (timing side-channel attack).

O artigo destaca três formas específicas pelas quais hackers usaram isso:

PROMPTPEEK: O hacker adivinha uma lista de possíveis perguntas e cronometra todas elas. Se o tempo deles coincidir com o padrão da vítima, eles sabem exatamente o que a vítima perguntou.
EarlyBird: O hacker tenta adivinhar a pergunta da vítima palavra por palavra. Se a IA for rápida, ele sabe que adivinhou a palavra certa.
InputSnatch: Este é para perguntas estruturadas, como preencher um formulário. O hacker conhece o modelo (ex: "Mostrar transações para a conta [NÚMERO]") e apenas testa diferentes números até que a IA seja rápida, revelando o número da conta secreto.

O autor testou isso em hardware real (uma GPU NVIDIA A100) e descobriu que a diferença de tempo é enorme: uma requisição "fria" (informação nova) levou 149,6 milissegundos, enquanto uma requisição "em cache" (informação reutilizada) levou apenas 32,8 milissegundos. Essa é uma razão de 0,22, o que é um sinal massivo e fácil de detectar para um hacker.

A Solução: KVGov e a Tinta Mágica

O artigo apresenta o KVGov, uma nova camada de segurança que atua como um porteiro. Seu principal truque é o isolamento de namespace com chave HMAC.

Imagine que cada usuário na biblioteca tem um carimbo único e secreto (um "sal/salt"). Quando o bibliotecário escreve uma pergunta no quadro branco, ele primeiro carimba a pergunta com a tinta secreta do usuário. Mesmo que duas pessoas façam exatamente a mesma pergunta, a tinta faz com que a entrada no quadro pareça completamente diferente para todos os outros.

Como funciona: O sistema pega o ID do usuário e uma chave secreta para criar um código único. Esse código é misturado na primeiríssima etapa da criação da chave de cache.
O Resultado: Se um hacker tentar adivinhar o que uma vítima perguntou, o carimbo secreto dele não corresponderá ao da vítima. A tentativa do hacker sempre parecerá um "erro" (lento) porque o código dele não coincide com o código da vítima no quadro. O sinal de tempo desaparece.

O autor realizou 1.000 tentativas simuladas e descobriu que este "sal de HMAC" sozinho foi suficiente para reduzir a taxa de sucesso do ataque de 100% para 0% para todos os três tipos de ataques. Foi a única parte de seu sistema que era estritamente necessária; as outras partes apenas adicionavam camadas extras de segurança.

Mantendo a Biblioteca Rápida (O Truque da Fronteira)

Você pode pensar: "Se todos tiverem seu próprio quadro branco secreto, a biblioteca não ficará lenta?". Se fizéssemos com que cada usuário tivesse um quadro totalmente separado, perderíamos o benefício de velocidade de compartilhar perguntas comuns (como "Olá, como vai você?").

O artigo oferece uma correção inteligente chamada Salting de Fronteira (Boundary Salting).
Imagine uma história onde as primeiras 2.000 palavras são iguais para todos (o preâmbulo compartilhado) e apenas as últimas 100 palavras são diferentes (a parte privada).

Jeito antigo: Carimbar a história inteira com tinta secreta. Ninguém consegue compartilhar as primeiras 2.000 palavras.
Jeito KVGov: Deixar as primeiras 2.000 palavras sem carimbo para que todos possam compartilhá-las. Carimbar apenas a primeira palavra onde as histórias divergem.
A Recompensa: Isso mantém 93% do benefício de velocidade, enquanto mantém as partes privadas secretas. O autor estima que, com uma introdução compartilhada de 2.000 palavras e uma cauda privada de 119 palavras, o sistema ainda seria incrivelmente rápido (cerca de 41,2 ms para a parte privada), retendo a maior parte da eficiência.

O Segurança Inteligente: ORIGAMI

Mesmo com a tinta mágica, o autor quis garantir que ninguém estivesse tentando agir de forma sorrateira. Eles criaram o ORIGAMI, um agendador de auditoria inteligente.

Pense no gerente da biblioteca tendo um orçamento limitado de seguranças. Eles não podem vigiar todo mundo o tempo todo. O ORIGAMI usa uma estratégia matemática (chamada abordagem de Stackelberg water-filling) para decidir quem vigiar.

A Lógica: Se um usuário é muito valioso (alto risco) e tem um histórico de comportamento suspeito, ele recebe mais seguranças. Se um usuário é de baixo risco, ele recebe menos.
O Resultado: Em simulações com 10 inquilinos e uma mistura realista de tipos de usuários (um "coeficiente de Gini" de 0,63), este agendamento inteligente reduziu o sucesso esperado do atacante em 12,6% em comparação com apenas escolher pessoas aleatórias para vigiar.

Quando Parar de Compartilhar

Finalmente, o artigo faz uma grande pergunta: "Quando é melhor parar de compartilhar o quadro branco inteiramente?".

Eles usaram um conceito chamado Estabilidade Evolutiva para encontrar um ponto de inflexão. Eles modelaram uma população de usuários onde alguns compartilham o cache (rápido, mas arriscado) e outros não (lento, mas seguro).

A Descoberta: Se a porcentagem de hackers no sistema ultrapassar 31,6%, torna-se matematicamente melhor para todos pararem de compartilhar o cache e voltarem a ter seus próprios quadros privados. Abaixo desse número, compartilhar ainda é a estratégia vencedora. Isso dá aos gerentes de biblioteca uma regra clara: se você suspeita que mais de cerca de 1 em cada 3 usuários são atores mal-intencionados, pare de compartilhar o cache.

O Que Isso Não Faz

O artigo é muito claro sobre o que ele não resolve.

Não impede que hackers roubem o cérebro da IA (os pesos do modelo).
Não impede que hackers enganem a IA para dizer coisas ruins (injeção de prompt).
Não corrige "caches semânticos" (onde a IA combina ideias em vez de palavras exatas). Para esses, você precisaria de um tipo diferente de trava.
O ataque EarlyBird (adivinhar palavra por palavra) é majoritariamente bloqueado por novos motores de IA que usam "blocos" maiores de palavras, mas o autor alerta que, para formulários estruturados (como números de conta), o tamanho do bloco não importa — o vazamento de tempo ainda está lá.

A Conclusão

O autor provou que o aumento de velocidade que amamos na IA vem com um custo oculto: um sinal de tempo que vaza informações privadas. Ele mostrou que apenas esconder o sinal não é suficiente; você tem que quebrar o vínculo entre o usuário e o cache. Ao usar uma "tinta mágica" criptográfica (sal de HMAC) e aplicá-la apenas onde os segredos começam, o KVGov interrompe os vazamentos completamente, mantendo a IA rápida. É uma vitória para a privacidade que não exige desacelerar o futuro da IA.

Resumo Técnico: Governando o Cache KV (KVGov)

1. Declaração do Problema

Motores de inferência de Grandes Modelos de Linguagem (LLMs) modernos (ex: vLLM, SGLang) utilizam caches de Chave-Valor (KV) para armazenar estados de atenção de prefixos de tokens previamente computados. Este mecanismo permite uma otimização significativa de throughput ao evitar a recomputação de prefixos compartilhados, reduzindo o Tempo de Primeiro Token (TTFT) de centenas de milissegundos para dezenas de milissegundos.

Em implantações multi-tenant, este cache é compartilhado entre todos os locatários (tenants) para maximizar as taxas de acerto (hit rates). No entanto, o artigo identifica uma vulnerabilidade crítica: a distinção entre um acerto de cache (cache hit) e uma falha de cache (cache miss) é observável como um sinal de temporização. Como as chaves de cache são atualmente computadas exclusivamente sobre sequências de tokens sem vinculá-las ao principal requerente, um locatário adversário pode sondar o cache para reconstruir os prompts privados de outro locatário.

Três famílias independentes de ataques exploram este canal lateral de temporização:

PROMPTPEEK (Wu et al., 2025): Utiliza a digitalização (fingerprinting) de TTFT através de um vocabulário conhecido para correlacionar vetores de temporização com impressões digitais pré-computadas da vítima, alcançando até 100% de Taxa de Sucesso de Ataque (ASR) em caches de árvore radix.
EarlyBird (Song et al., 2024): Reconstrói prompts token a token ao observar acertos de cache com granularidade de um único token (tamanho de bloco=1). Embora o vLLM 0.26.0 tenha removido o tamanho de bloco=1, o artigo argumenta que esta proteção falha contra prompts estruturados por templates, onde o espaço de busca é limitado pelo domínio do campo em vez do vocabulário completo.
InputSnatch (Zheng et al., 2024b): Alveja tanto caches de prefixo quanto caches semânticos. Contra caches de prefixo, reconstrói prompts estruturados campo a campo; contra caches semânticos, explora espaços de embedding via agrupamento hierárquico (hierarchical clustering).

A causa raiz é a ausência de isolamento de namespace por principal no cálculo da chave de cache.

2. Metodologia: O Framework KVGov

O autor apresenta o KVGov, uma camada de governança unificada projetada para eliminar a causa raiz destes ataques sem modificar os pesos do modelo ou os pipelines de geração.

2.1 Isolamento de Namespace com Chave HMAC

O mecanismo central vincula a resolução do cache ao principal autenticado.

Mecanismo: Um sal (salt) por principal $\sigma_p$ é derivado usando uma função HMAC: $\sigma_p = \text{HMACK}(\text{secret}, \text{principal id})$ .
Implementação: Este sal sementiza a cadeia de hash de blocos. Para um tamanho de bloco $B$ , o primeiro hash de bloco torna-se $h_0 = H(\sigma_p \parallel \text{tokens}_{0..B-1})$ . Os blocos subsequentes encadeiam a partir desta raiz.
Efeito: Como o sal é derivado de um segredo do lado do servidor desconhecido pelo adversário, as chaves de cache para a mesma sequência de tokens tornam-se criptograficamente disjuntas entre diferentes principais. As sondagens de um adversário nunca atingirão as entradas de cache de uma vítima, resultando em um padrão de temporização de "todos-MISS" independentemente do estado real do cache da vítima.

2.2 Salting de Fronteira (Otimização de Eficiência)

Para abordar a potencial perda de eficiência de cache entre os principais, o artigo propõe o Boundary Salting (Salting de Fronteira).

Conceito: Em vez de saltear a raiz da cadeia (o que isolaria cada bloco), o sal é injetado apenas na fronteira de divergência ( $k$ ) onde o preâmbulo compartilhado termina e o conteúdo privado começa.
Lógica: Os blocos $0 $a$ k-1$ (preâmbulo compartilhado) permanecem globalmente roteáveis e compartilhados. Os blocos $k$ em diante são criptograficamente isolados.
Benefício: Isto retém o benefício do cache de prefixo para a parte compartilhada dos prompts (ex: instruções do sistema) enquanto evita a fuga de temporização para a parte privada. O artigo estima que isto retém ~93% do benefício do cache de prefixo.

2.3 ORIGAMI: Agendador de Auditoria de Stackelberg

Para detectar comportamentos de sondagem anômalos, o KVGov incorpora o ORIGAMI, um agendador de auditoria baseado na teoria dos jogos de Stackelberg.

Mecanismo: Ele aloca um orçamento de auditoria finito entre os locatários usando um algoritmo dual de "preenchimento de água" (water-filling).
Objetivo: Minimizar a utilidade esperada do adversário auditando locatários com o maior "valor em risco" ( $v_i$ ) em proporção ao seu risco, em vez de auditar aleatoriamente.
Resultado: A solução equaliza o ganho do adversário entre os alvos auditados, impedindo que eles se foquem em locatários de alto valor não monitorados.

2.4 Análise de Estabilidade Evolutiva

O artigo modela a seleção do escopo do cache (global vs. efêmero) como um jogo evolutivo.

Descoberta: Identifica um ponto de inflexão em 31,6% de prevalência de adversários. Abaixo deste limiar, o cache global é evolutivamente estável; acima dele, o cache efêmero (isolado) torna-se a estratégia estável.

3. Principais Contribuições

Defesa Unificada: O KVGov é o primeiro sistema a derrotar simultaneamente todas as três famílias de ataques (PROMPTPEEK, EarlyBird e InputSnatch) ao abordar a causa raiz (falta de isolamento de namespace) em vez de apenas ofuscar a temporização.
Mecanismo Necessário e Suficiente: Um estudo de ablação demonstra que o HMAC-salt sozinho é o componente necessário e suficiente para a garantia de privacidade, reduzindo a ASR para 0% em todos os ataques. Outros componentes (injeção de ruído, controle de admissão) fornecem defesa em profundidade, mas não são estritamente necessários para a correção criptográfica central.
Validação de Hardware: O artigo confirma a existência do canal lateral de temporização em hardware real (NVIDIA A100, vLLM 0.26.0, Qwen2.5-7B), medindo uma razão de TTFT frio/cacheado de 0,22 (bem abaixo do limiar de violação de 0,40). O canal também foi replicado em um stack independente (Apple M4, llama.cpp) com uma razão de 0,093.
Juízes Determinísticos: A avaliação substitui juízes baseados em heurísticas de LLM por juízes determinísticos específicos de ataque (correlação de Pearson, sobreposição exata de tokens, taxa de recuperação de tokens), garantindo 100% de precisão no modelo de ataque simulado.
Preservação de Eficiência: A abordagem de "Boundary Salting" demonstra que isolamento e eficiência de cache não são mutuamente exclusivos; injetar o sal na fronteira de divergência retém a maior parte dos benefícios de reuso de prefixo.

4. Resultados

Taxa de Sucesso de Ataque (ASR): Sob a defesa KVGov (especificamente o HMAC-salt), a ASR para PROMPTPEEK, EarlyBird e InputSnatch cai para 0,0% em simulação.
Defesas Parciais: O esvaziamento de fronteira de sessão (uma defesa parcial) deixa o PROMPTPEEK com 19,5% de ASR e o InputSnatch com 9,8% de ASR, demonstrando a insuficiência de um simples esvaziamento (flushing).
Performance do ORIGAMI: Em cargas de trabalho empresariais com alta heterogeneidade de valor (Gini = 0,63), o ORIGAMI alcança uma redução de 12,6% na utilidade esperada do adversário em comparação com a auditoria aleatória.
Sobrecarga (Overhead): A sobrecarga criptográfica da derivação do HMAC-salt é insignificante (~1,3 µs por requisição), representando menos de 0,005% da latência de TTFT cacheada.
Estabilidade Evolutiva: Simulações confirmam que o cache global domina quando a prevalência de adversários é inferior a 31,6%, enquanto o cache efêmero prevalece acima deste limiar.

5. Significância e Alegações

O artigo afirma que o KVGov altera fundamentalmente a postura de segurança da inferência de LLM multi-tenant, mudando de ofuscação (que é frágil e frequentemente ineficaz contra prompts estruturados) para o isolamento criptográfico.

Eliminação da Causa Raiz: Ao vincular as chaves de cache aos principais autenticados via hashing resistente a colisões, o artigo argumenta que o oráculo de temporização é efetivamente removido. As sondagens de um adversário não podem mais resolver para as entradas de uma vítima, tornando o sinal de temporização não informativo.
Escalabilidade: A defesa é leve e pode ser implantada junto com motores existentes (vLLM, SGLang) sem exigir mudanças na arquitetura subjacente do modelo ou nos mecanismos de atenção.
Perspectiva de Governança: O artigo enquadra a gestão de cache não apenas como uma otimização de infraestrutura, mas como um problema de governança. Ele fornece critérios quantitativos (o ponto de inflexão de 31,6%) e ferramentas algorítmicas (ORIGAMI) para que operadores tomem decisões informadas sobre o escopo do cache com base em seu cenário de ameaças.

O autor nota explicitamente limitações: a defesa cobre caches de prefixo com chaves de hash, mas requer uma instanciação diferente (particionamento de índice) para caches semânticos. Além disso, embora o salting de fronteira seja teoricamente eficiente, sua medição de ponta a ponta em motores de produção é identificada como trabalho futuro.