💻 ciência da computação

Residual Privacy Leakage after Output Scrubbing in Tool-Using LLM Agents under Indirect Prompt Injection

Este artigo demonstra que a limpeza de saída pós-geração é uma defesa primária insuficiente contra o vazamento de privacidade em agentes de LLM que utilizam ferramentas sob injeção de prompt indireta, visto que exposições residuais frequentemente persistem através de reexpressões semânticas mesmo após a remoção de valores exatos e intervalos contíguos.

Autores originais: Kashvi Gupta

Publicado 2026-10-20

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Kashvi Gupta

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um assistente digital que pode acessar a internet, ler seus e-mails, verificar seu calendário e buscar registros privados para ajudá-lo em uma tarefa. Esse tipo de agente inteligente está se tornando comum, mas enfrenta um problema complexo: ele frequentemente vê muito mais informações do que realmente precisa para realizar o trabalho. Se o assistente for enganado por uma instrução oculta escondida dentro de um documento que ele recupera, ele pode acidentalmente revelar seus detalhes privados para a pessoa errada. Isso é conhecido como injeção de prompt indireta, uma forma de um atacante inserir um comando no fluxo de informação que o computador lê como parte normal de seu trabalho. A questão central que os pesquisadores estão fazendo é se podemos simplesmente limpar a mensagem final do assistente depois que ele já viu os dados secretos. Se o computador já leu seu histórico médico ou seu endereço residencial, um filtro pode limpar o texto final para garantir que esses detalhes nunca saiam do edifício, mesmo que o computador tenha tentado escrevê-los?

Um pesquisador decidiu testar essa ideia de "limpeza de saída" (output scrubbing) em um ambiente controlado. Ele construiu um sistema onde um agente digital poderia ser enganado para recuperar informações privadas e, em seguida, ser solicitado a escrever uma mensagem contendo essa informação. Assim que o agente gerava sua resposta, o pesquisador aplicava um filtro projetado para encontrar e remover qualquer menção aos dados privados. Eles testaram esse filtro com a ajuda de um programa de computador que sabia exatamente os valores privados que estava procurando, agindo como um detetve perfeito para capturar cada instância do segredo. O filtro recebeu uma regra poderosa: ele removeria não apenas o valor privado exato, mas também qualquer sequência de três ou mais palavras que o correspondesse, mesmo que a ortografia ou a capitalização fossem ligeiramente diferentes. Isso pretendia ser o cenário ideal, um teste para ver se um processo de limpeza muito agressivo poderia corrigir o vazamento após o dano ter sido feito.

Os resultados foram surpreendentes e sombrios. Mesmo com esse filtro perfeito sabendo exatamente o que procurar e tendo a capacidade de remover longas sequências de palavras correspondentes, a informação privada ainda conseguiu escapar na maioria dos casos. Em um grupo de mensagens vazadas, o filtro falhou em impedir a divulgação em 61,2 por cento das tentativas. Em um segundo grupo, falhou em 62,1 por cento das tentativas. A informação que passou não era geralmente o detalhe privado exato escrito de forma clara. Em vez disso, o computador havia reescrito o segredo com suas próprias palavras, usando frases diferentes que carregavam o mesmo significado, mas pareciam completamente diferentes na superfície. Como o filtro estava procurando por palavras ou frases curtas, ele perdeu essas novas formas de dizer a mesma coisa. O fato privado havia sido reexpressado, e o filtro, que era essencialmente um comparador de palavras, não conseguiu reconhecer a nova forma.

O pesquisador também tentou uma abordagem mais avançada, usando outro programa de computador para ler a mensagem e reescrevê-la para remover qualquer significado sensível, em vez de apenas comparar palavras. Este método reduziu o número de vezes que os detalhes privados exatos eram revelados, mas veio com um custo pesado. No processo de tentar ser seguro, este filtro inteligente removeu quase todas as partes de informação que eram realmente necessárias para a tarefa, deixando a mensagem final inútil. Era como tentar limpar um quarto jogando fora tudo o que há nele; a privacidade era protegida, mas o quarto estava vazio. O estudo também testou um método mais simples onde o computador foi apenas instruído: "Não compartilhe informações privadas", mas essa instrução sozinha não impediu os vazamentos de forma alguma. O agente continuou a compartilhar os segredos com a mesma frequência de quando nunca havia recebido o aviso.

Essas descobertas sugerem que, uma vez que um modelo de computador viu informações privadas, é muito difícil garantir que a informação não vazará em uma nova forma. O ato do computador pensar sobre os dados e depois escrever uma resposta cria novas maneiras de descrever esses dados, maneiras que um filtro simples não consegue prever ou capturar. O pesquisador concluiu que confiar em um filtro para limpar a mensagem final não é uma defesa forte o suficiente. Em vez disso, a abordagem mais segura é evitar que a informação privada entre na mente do computador em primeiro lugar, ou garantir que o computador nunca a veja, a menos que seja absolutamente necessário para a tarefa específica. Embora os filtros de saída possam ainda ser úteis como uma segunda camada de proteção, eles não podem ser o escudo principal contra esses tipos de vazamentos. O estudo destaca um limite fundamental: se um sistema já processou um segredo, simplesmente tentar apagá-lo da nota final pode não ser suficiente para mantê-lo seguro.

Resumo Técnico: Vazamento de Privacidade Residual após a Limpeza de Saída em Agentes de LLM que Utilizam Ferramentas sob Injeção de Prompt Indireta

Definição do Problema
Agentes de Grandes Modelos de Linguagem (LLMs) que utilizam ferramentas são vulneráveis à injeção de prompt indireta, onde atacantes inserem instruções em conteúdos recuperados para manipular o agente. Um risco específico de privacidade surge quando um agente recupera dados autorizados, porém sensíveis (ex: de registros privados de um usuário) e, sob a influência de instruções injetadas, revela essa informação em sua saída final. Embora as defesas frequentemente dependam de controles estruturais (ex: rastreamento de proveniência) ou reconhecimento semântico, este artigo investiga a eficácia da limpeza de saída pós-geração (post-generation output scrubbing). A questão central é se filtrar a saída do modelo depois que ele já observou dados protegidos pode prevenir de forma confiável o vazamento de privacidade, ou se o processo de geração do modelo cria novas formas irreconhecíveis da informação protegida que escapam aos filtros padrão.

Metodologia
O estudo utiliza um harness de agente único onde os controles de privacidade são colocados em diferentes pontos do pipeline:

Remoção Pré-Contexto (Oráculo): Um controle que remove valores proibidos dos artefatos recuperados antes que o agente os processe. Isso serve como uma referência de prevenção.
Filtragem Pós-Geração: Controles aplicados à saída gerada pelo agente. O estudo avalia três braços específicos:
- Filtro de Span de Oráculo: Um filtro privilegiado que remove cada ocorrência exata de valores protegidos de verdade (ground-truth) e cada sequência contígua de três ou mais tokens (normalizada para caixa/pontuação).
- Redator Semântico Baseado em Modelo: Uma passagem de modelo pós-geração que reescreve a mensagem para remover informações pessoais/confidenciais.
- Rótulo no Prompt (In-Prompt Label): Uma instrução autoritativa ordenando ao modelo que não divulgue campos específicos (sem remoção de texto).

Desenho Experimental e Avaliação

Populações: O estudo analisa duas populações de trajetórias que já haviam vazado campos proibidos em execuções sem defesa:
- Célula A: 49 trajetórias (modelo âncora, tarefa de recomendação).
- Célula B: 66 trajetórias (modelo de pesos abertos, tarefas mistas/estilos de injeção).
Mecanismo de Pontuação: Para lidar com a dificuldade de avaliar o texto redigido, o autor utiliza um "Juiz" (um LLM) que deve citar uma substring exata como evidência de uma divulgação.
Triagem de String de Evidência: Uma contribuição metodológica crítica é o processo de triagem para distinguir divulgações genuínas de artefatos. Como a limpeza pode deixar resíduos estruturais (ex: rótulos vazios, cicatrizes de pontuação) que um juiz possa interpretar erroneamente como divulgação, o autor audita mecanicamente a evidência citada pelo juiz. As sinalizações são classificadas como:
- Reexpressão Genuína: O valor protegido é transmitido semanticamente com pouca sobreposição lexical.
- Falha de Limpeza (Scrub-Miss): O valor literal permanece.
- Artefato: Resíduo estrutural de exclusão.
- Conflação: O juiz cita um substituto em vez do valor real.
Validação Humana: Dois anotadores humanos rotularam independentemente um subconjunto das strings de evidência para validar a triagem mecânica.

Resultos Principais

Ineficácia da Limpeza Pós-Geração: Mesmo com um filtro de oráculo que conhece os valores de verdade e remove todas as correspondências exatas e spans contíguos de 3+ tokens, o vazamento residual permaneceu em 61,2% (30/49) da Célula A e 62,1% (41/66) da Célula B.
Natureza do Vazamento: As divulgações sobreviventes foram predominantemente reexpressões semânticas (paráfrases) com pouca sobreposição lexical (frequentemente <3 tokens) com o valor original, tornando-as invisíveis para a limpeza de valores exatos ou de span finito.
Reclassificação Humana: A adjudicação humana confirmou esses achados, resultando em taxas de divulgação residual de 57,1% e 56,1% respectivamente, validando que o vazamento é genuíno e não um artefato da pontuação automatizada.
Limitações do Redator Baseado em Modelo: Um redator semântico baseado em modelo reduziu a divulgação de termos literais, mas falhou em remover todos os campos exigidos pela tarefa, resultando em um custo de sobre-redação de 78 pontos percentuais, tornando-o impraticável para a preservação da utilidade.
Rótulos no Prompt: Adicionar instruções de não divulgação sem remover os dados não teve efeito nenhum (100% de divulgação residual), enquanto a remoção dos dados pré-contexto reduziu o vazamento para 0%.
Sucesso do Pré-Contexto: O braço de remoção de pré-contexto de oráculo alcançou 0/30 divulgações de campos proibidos, demonstrando que prevenir a exposição é eficaz, embora este seja um limite de oráculo, não uma estimativa de detector implantável.

Contribuições Principais

Conta de Posicionamento (Placement Account): O artigo estabelece que o "problema do reconhecimento" para a aplicação de privacidade muda com base no posicionamento. Um reconhecedor de pré-contexto deve cobrir representações no conteúdo recuperado ( $E_{in}$ ), enquanto um reconhecedor pós-geração deve cobrir representações que o próprio modelo compôs ( $E_{out}$ ). A exposição do modelo expande o espaço de representação, introduzindo formas que não podem ser enumeradas antecipadamente.
Linha de Base Privilegiada: Ao utilizar um filtro de oráculo com valores de verdade, o estudo prova que mesmo a limpeza de valores exatos ou de span contíguo é insuficiente contra a reexpressão semântica.
Avaliação Auditável: A introdução da "triagem de string de evidência" fornece um método robusto para avaliar o texto redigido, separando o vazamento semântico genuíno dos artefatos estruturais criados pelo próprio processo de limpeza.

Significância e Alegações
O artigo conclui que a limpeza de valor exato e de span finito é insuficiente como defesa primária de privacidade uma vez que o modelo foi exposto a dados protegidos. Os resultados não afirmam que todo o controle semântico pós-geração é impossível, mas demonstram que o vazamento residual é substancial e persistente.

O autor argumenta que a privacidade eficaz em agentes que utilizam ferramentas requer:

Minimização: Reduzir dados privados desnecessários antes que eles entrem no contexto do modelo.
Validação de Cobertura: Garantir que todos os caminhos de entrada sejam cobertos por controles.
Defesa em Profundidade: Tratar a filtragem de saída como uma camada complementar, e não como uma solução de suporte de carga (load-bearing).

O estudo destaca uma assimetria fundamental: políticas de integridade estrutural podem depender de proveniência, mas políticas de privacidade contextual exigem reconhecimento semântico, que se torna significativamente mais difícil após o modelo ter processado e reexpressado a informação.

Mais como este