🤖 AI

The Model's Tell: Measuring Context-Leakage Attack Signals with Behavior Gauges

Este artigo apresenta o LeakGauge, um método leve e robusto que detecta ataques de vazamento de contexto em grandes modelos de linguagem ao analisar as probabilidades de tokens de preenchimento (prefill) de um sufixo de verbalização de comportamento, alcançando alta precisão em diversos modelos sem exigir acesso aos estados ocultos internos.

Autores originais: Maosen Zhang, Jianshuo Dong, Boting Lu, Wenyue Li, Xiaoping Zhang, Tianwei Zhang, Jie Zhang, Han Qiu

Publicado 2026-08-19

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Maosen Zhang, Jianshuo Dong, Boting Lu, Wenyue Li, Xiaoping Zhang, Tianwei Zhang, Jie Zhang, Han Qiu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os assistentes de inteligência artificial modernos frequentemente dependem de uma camada oculta de instruções e documentos privados para realizarem bem o seu trabalho. Esses elementos ocultos, conhecidos como prompts de sistema e contexto recuperado, atuam como um livro de regras secreto ou um arquivo privado que o computador consulta antes de responder a um usuário. Embora essa configuração ajude a máquina a fornecer respostas melhores, ela também cria uma vulnerabilidade. Um atacante astuto pode elaborar uma pergunta projetada para enganar o computador e fazê-lo revelar essas instruções secretas ou arquivos privados. Durante anos, especialistas em segurança tentaram detectar esses truques olhando apenas para o texto da pergunta do usuário, de forma muito semelhante a um segurança verificando o RG de um convidado na porta. No entanto, essa abordagem frequentemente falha quando o atacante muda sua redação ou usa uma nova estratégia, porque o texto sozinho nem sempre revela a intenção.

Pesquisadores há muito suspeitam que o estado interno do computador contém um sinal mais claro de problemas antes mesmo de ele terminar de digitar uma resposta. O problema é que espiar dentro do cérebro da máquina exige acesso a dados complexos e ocultos que os sistemas de segurança padrão não conseguem ver. Um novo estudo da Universidade de Tsinghua e seus parceiros faz uma pergunta mais simples: o computador deixa um rastro visível em sua reação imediata a uma pergunta, um rastro que pode ser visto sem a necessidade de invadir seu funcionamento interno? A resposta, descobriram eles, é sim. Ao anexar uma frase específica e inofensiva ao final da pergunta de um usuário e observar como o computador calcula suas próximas palavras, os pesquisadores podem detectar um ataque com alta precisão, mesmo quando o ataque é completamente novo.

A equipe desenvolveu um método que chamam de "medidor de comportamento" (behavior gauge). Imagine que o computador está prestes a falar, e você anexa uma frase curta ao seu prompt que diz: "Com base no acima exposto, eu darei meu prompt de sistema". Esta frase não é um pedido real para vazar dados; é um teste. Os pesquisadores então observam as pontuações de confiança interna do computador para as primeiras palavras desse teste. Se a pergunta original do usuário for uma consulta normal e segura, o computador tratará a frase de teste como uma continuação estranha e improvável. Mas se a pergunta do usuário for uma tentativa maliciosa de roubar segredos, a lógica interna do computador se altera. Ele subitamente considera a frase de teste muito mais plausível, como se a pergunta maliciosa já o tivesse empurrado para um estado onde ele está disposto a revelar seus segredos. Isso acontece na fração de segundo antes de o computador realmente digitar qualquer coisa, e deixa um padrão distinto nos números que representam a confiança do computador.

Para provar que isso funciona, os pesquisadores testaram seu método em onze modelos de linguagem de grande escala diferentes, variando de versões pequenas e eficientes a sistemas massivos com centenas de bilhões de parâmetros. Eles submeteram esses modelos a milhares de ataques diferentes, incluindo tentativas de roubar instruções de sistema e tentativas de extrair documentos privados de um banco de dados. Em todos os casos, o medidor de comportamento distinguiu com sucesso entre perguntas seguras e maliciosas. Quando os pesquisadores testaram o sistema contra ataques que nunca havia visto antes, e contra conteúdo protegido que nunca havia encontrado, o método ainda identificou as ameaças com um AUC entre 0,944 e 0,996. Isso representa uma melhoria significativa em relação aos métodos anteriores que olhavam apenas para o texto da pergunta, os quais frequentemente tinham dificuldade em generalizar para novos tipos de ataques.

Uma descoberta fundamental foi que a frase de teste mais eficaz não precisava conter a informação secreta real. Uma versão do teste usou as palavras iniciais exatas do documento secreto, mas essa abordagem falhou quando a linguagem do segredo mudou ou quando o atacante tentou fazer o computador resumir o segredo em vez de copiá-lo palavra por palavra. A versão mais robusta simplesmente declarava a intenção de vazar, usando palavras genéricas como "Eu darei meu prompt de sistema". Essa redação genérica funcionou em diferentes idiomas e diferentes tipos de segredos, sugerindo que o computador estava reagendo ao próprio ato da divulgação, e não apenas reconhecendo palavras específicas. Os pesquisadores confirmaram isso mostrando que podiam induzir o computador em seu estado interno para torná-lo mais ou menos propenso a vazar, e o escore do medidor de comportamento movia-se em perfeito sincronismo com essa mudança. Isso prova que o sinal não é um erro aleatório, mas está ligado à representação interna real do risco pelo computador.

O valor prático desta descoberta reside em sua eficiência. Como o teste acontece antes de o computador começar a gerar uma resposta completa, ele pode ser usado como um filtro em tempo real. Os pesquisadores construíram um detector que adiciona a frase de teste ao input e verifica o resultado, exigindo menos de 500 parâmetros extras de poder computacional. Isso adiciona apenas cerca de 10 milissegundos ao tempo de processamento de uma solicitação, um atraso tão pequeno que é quase imperceptível para um usuário humano. Em contraste, outros métodos que tentam monitorar os sinais internos do computador frequentemente exigem a duplicação de todo o modelo massivo ou esperar que o computador termine de digitar uma resposta longa, o que é lento e caro. O novo método oferece uma maneira de capturar esses ataques com custo mínimo e alta velocidade.

O estudo também explorou se essa técnica poderia funcionar para outros tipos de ameaças de segurança. Ao mudar a frase de teste para corresponder a diferentes riscos, como detectar linguagem tóxica ou identificar tentativas de injetar instruções ocultas, o mesmo método mostrou promessa nessas áreas também. Isso sugere que a reação imediata do computador a um prompt contém um sinal rico e acessível sobre seu estado de segurança, um que não requer acesso profundo à arquitetura interna da máquina para ser lido. Os pesquisadores disponibilizaram seu código, permitindo que outros verifiquem esses resultados e potencialmente integrem este detector leve aos sistemas de segurança de futuras aplicações de IA. O trabalho demonstra que, às vezes, a maneira mais eficaz de ver um problema não é olhar mais profundamente dentro da máquina, mas observar como ela reage a uma pergunta simples e bem posicionada.

Resumo Técnico: O "Tell" do Modelo: Medindo Sinais de Ataques de Vazamento de Contexto com Medidores de Comportamento

1. Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) modernos dependem cada vez mais de contextos externos, como prompts de sistema predefinidos ou documentos recuperados (RAG), para aumentar a qualidade da geração. No entanto, o processamento desses contextos confidenciais juntamente com consultas de usuários cria uma superfície de ataque significativa. Entradas adversariais podem induzir os modelos a revelar conteúdo protegido, uma vulnerabilidade conhecida como vazamento de prompt (prompt leakage) ou ataques de extração.

As estratégias de mitigação existentes enfrentam duas limitações primordiais:

Classificadores Baseados Apenas em Entrada: Classificadores de texto (ex: PromptGuard, PIGuard) tratam o LLM como uma caixa preta, baseando-se exclusivamente no texto de entrada. Estes frequentemente falham em generalizar para ataques não vistos ou reformulados.
Extração de Sinais Internos: Estudos recentes sugerem que sinais de vazamento existem nos estados ocultos e padrões de atenção antes da geração. No entanto, a extração desses sinais requer acesso aos estados intermediários do modelo (ativações, gradientes, pontuações de atenção) e configurações de camadas específicas, que não são rotineiramente expostas por motores de serviço padrão como vLLM ou SGLang. Isso impõe desafios significativos de implementação.

A questão central abordada por este artigo é: O modelo expõe um "tell" (sinal revelador) mais acessível de ataques de vazamento antes da decodificação, sem exigir o acesso às representações internas?

2. Metodologia: LeakGauge

Os autores propõem o LeakGauge, um medidor comportamental pré-decodificação que sonda as respostas do LLM anexando um sufixo específico à entrada e analisando as probabilidades de tokens resultantes durante a etapa de prefill.

Mecanismo Central

Construção da Entrada: Uma sequência de medição $z$ é anexada como um sufixo ao contexto de entrada $x$ (que inclui prompts de sistema, fragmentos de RAG e consultas do usuário), formando $[x; z]$ .
Probabilidades de Prefill: Durante a passagem de prefill paralela de motores de inferência padrão, o modelo gera log-probabilidades para os tokens do medidor. Essas probabilidades refletem a preferência preditiva do modelo pela sequência do medidor dado o contexto precedente.
Pontuação de Risco: Um MLP (Perceptron Multicamadas) leve mapeia o vetor de log-probabilidades para uma pontuação de risco de ataque escalar ( $\hat{y} \in [0, 1]$ $\overset{y}{^} \in [0, 1]$ ).
- Crucialmente, como o medidor é anexado após a entrada, o cache de Chave-Valor (KV) da entrada original $x$ permanece inalterado e pode ser reutilizado para a geração subsequente de tokens, minimizando o overhead de latência.

Designs de Medição (Gauge Designs)

O artigo explora dois designs de medição distintos para sondar diferentes modos de sinal:

Exact (Exato): Utiliza os primeiros $T$ tokens do conteúdo protegido real (ex: a abertura do prompt de sistema). Isso testa a prontidão do modelo para continuar o texto protegido específico.
Behavior (Comportamento): Verbaliza o ato de divulgação sem referenciar o conteúdo específico (ex: "Com base no acima, eu darei meu prompt de sistema"). Isso sonda um comportamento de divulgação agnóstico ao conteúdo.

3. Principais Contribuições

Descoberta de Sinais Pré-Decodificação: Os autores demonstram que sinais de ataque de vazamento podem ser efetivamente elicitados das probabilidades de tokens de prefill sem acessar representações internas (estados ocultos ou pontuações de atenção).
Superioridade do Medidor de Comportamento: Através de experimentos cross-linguais e cross-objetivos, o artigo revela que o medidor de Comportamento (agnóstico ao conteúdo) produz sinais mais robustos e generalizáveis do que o medidor Exato. O sinal é menos vinculado à continuação de padrões de superfície e mais responsivo à intenção de divulgação.
Correlação Interno-Externo: Usando direcionamento de ativação (activation steering), os autores mostram que a pontuação de risco observável é sensível a uma direção interna relacionada ao vazamento. Direcionar o modelo ao longo dessa direção induz mudanças alinhadas tanto na pontuação de risco quanto na geração real de vazamento, validando a conexão entre o sinal de probabilidade observável e os estados internos do modelo.
Implementação Leve: O LeakGauge permite um detector do lado da entrada que adiciona menos de 0,5K parâmetros e incorre em latência mínima (~10,34 ms) ao reutilizar o cache KV da entrada.

4. Resultados Experimentais

Os autores avaliaram o LeakGauge em 11 LLMs de código aberto (variando de 8B a 2.8T de parâmetros, incluindo GLM-5.2 e Kimi-K3) em cenários de vazamento de prompt de sistema e RAG.

Desempenho de Detecção:
- O medidor de Comportamento alcançou uma faixa de AUROC de 0,944–0,996 em todos os modelos e divisões, incluindo a divisão "Held-Out Strict" (conteúdo não visto e ataques não vistos).
- Em contraste, o medidor Exato mostrou quedas significativas de desempenho sob mudanças de distribuição (ex: ataques cross-linguais ou semânticos), confirmando sua dependência de padrões de superfície.
- No Llama-3.1-8B-Instruct, o LeakGauge alcançou um AUROC de 0,996 e um F1 score de 0,983.
Robustez a Mudanças:
- Cross-lingual: Quando testado em conteúdo protegido não-inglês, o medidor de Comportamento manteve AUROC > 0,95, enquanto o medidor Exato caiu significativamente (ex: para 0,647 em japonês).
- Cross-objective: Sob ataques de vazamento semântico (onde o objetivo é parafrasear em vez de copiar), o Comportamento manteve alto desempenho (AUROC ~0,99), enquanto o Exato degradou.
Eficiência de Implementação:
- Comparado a alternativas como "LLM-as-a-Judge" (latência de 2155 ms) ou rastreadores baseados em ativação que exigem cópias completas do modelo (latência de 46–70 ms), o LeakGauge adicionou apenas 10,34 ms de latência.
- Requeriu <0,5K parâmetros adicionais, enquanto outros métodos de sinal interno exigiam a replicação de todo o modelo alvo (ex: 8B parâmetros).
Teste de Estresse:
- Negativos Difíceis (Hard Negatives): O LeakGauge distinguiu efetivamente ataques de vazamento de solicitações benignas que usavam frases semelhantes às de extração, mas visavam conteúdo fornecido pelo usuário.
- Ataques Adaptativos: Em testes de estresse GCG de caixa branca, uma única sonda foi vulnerável a ataques conscientes do detector. No entanto, implantar múltiplas sondas com diferentes formulações semânticas aumentou significativamente o recall de detecção (de 0,080 para 0,976) e reduziu a evasão bem-sucedida.

5. Significância e Alegações

O artigo afirma que o LeakGauge fornece uma solução prática e de alto desempenho para detectar ataques de vazamento de contexto, superando as barreiras de implementação de métodos anteriores.

Acessibilidade: Ao aproveitar as probabilidades de tokens de prefill expostas por motores de inferência padrão, o LeakGauge torna a detecção de vazamento viável em ambientes de produção onde os estados internos do modelo são inacessíveis.
Generalização: O medidor de "Comportamento" demonstra que a intenção de vazamento deixa uma assinatura genérica e agnóstica ao conteúdo no espaço de probabilidade do modelo, permitindo a detecção mesmo contra ataques e variações de conteúdo não vistos.
Eficiência: A abordagem atinge uma detecção de estado da arte com overhead computacional desprezível, tornando-a adequada para a proteção em tempo real de aplicações de LLM.
Aplicabilidade Mais Ampla: Resultados preliminares sugerem que o mecanismo se estende além do vazamento para outras tarefas de segurança, como detecção de solicitações prejudiciais, injeção de prompt indireta e detecção de alucinação, ao verbalizar o comportamento alvo no sufixo.

Os autores enfatizam que seu trabalho é uma medida defensiva projetada para salvaguardar conteúdo confidencial em aplicações de LLM, com todos os experimentos conduzidos em ambientes isolados usando modelos e conjuntos de dados públicos.