Resumo Técnico: PIIGuard

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) modernos equipados com capacidades de navegação (via MCPs, chamadas de ferramentas ou interfaces web) criam um vetor de ataque inovador para a coleta de Informações Pessoalmente Identificáveis (PII). Ataques podem submeter consultas em busca de contato a um assistente habilitado para navegação, que então busca HTML bruto de páginas web-alvo e reproduz PII (nomes, números de telefone, e-mails, endereços) de forma literal em sua resposta.

As defesas existentes são principalmente implantadas nas camadas de modelo, serviço ou agente (por exemplo, filtros em tempo de execução, prompts mascarados), exigindo acesso privilegiado que os proprietários comuns de páginas web não possuem. Defesas em nível de página que existem (por exemplo, substituição de caracteres ou Injeção de Prompt Indireta básica) frequentemente falham contra ataques avançados onde o atacante emprega um LLM "sanitizador" auxiliar para pré-processar e remover conteúdo suspeito do HTML buscado antes que o modelo-alvo o processe. Este artigo aborda a lacuna em defesas em nível de página capazes de resistir tanto ao acesso direto ao HTML quanto à sanitização adversária.

Metodologia: PIIGuard

O PIIGuard é um mecanismo de defesa em nível de página que incorpora fragmentos HTML ocultos otimizados (Injeções de Prompt Indiretas, ou IPI) ao DOM de uma página web. Esses fragmentos são projetados para desviar o LLM da divulgação literal ou reconstrutível de PII de contato. O sistema opera por meio de um pipeline evolutivo de cinco etapas:

1. Seleção de Sementes: Inicializa um conjunto de candidatos com instruções de defesa diversas e escritas manualmente, associadas a slots de inserção permitidos (por exemplo, after, footer, meta, contact_block).
2. Pontuação Baseada em Regras: Avalia candidatos usando uma métrica de vazamento rápida e baseada em regras ($\ell_R$) que compara campos extraídos com a verdade fundamental. Em configurações de ataque avançadas, essa pontuação agrega o pior caso de vazamento em ambos os caminhos de HTML bruto e sanitizado.
3. Classificação por Utilidade Composta: Os candidatos são classificados não apenas pelo vazamento médio, mas por uma função de utilidade composta ($U$) que prioriza:
   • Supressão completa (vazamento zero em todos os campos).
   • Vazamento médio baixo.
   • Robustez (fração de páginas com vazamento mínimo).
4. Mutação Evolutiva: Um LLM-alvo atua como mutador, reescrevendo o texto das instruções, substituindo slots ou hibridizando pais de alto desempenho para gerar novos candidatos. Este loop itera para minimizar o vazamento baseado em regras.
5. Avaliação de Recuperabilidade Baseada em Juiz: Os sobreviventes finais passam por uma avaliação rigorosa usando um LLM "Juiz". Esta etapa testa a recuperabilidade semântica: mesmo que a PII não esteja explicitamente presente, o Juiz consegue reconstruir os identificadores originais a partir da resposta do modelo? Apenas fragmentos que passam nos critérios baseados em regras e baseados em juiz são selecionados.

O framework suporta dois cenários de ataque distintos:

• Ataque Básico: O modelo busca HTML bruto diretamente.
• Ataque Avançado: Um LLM sanitizador do lado do atacante pré-processa o HTML para remover injeções suspeitas antes que o modelo-alvo o leia. O PIIGuard co-otimiza fragmentos para sobreviver a essa sanitização.

Contribuições Principais

1. Expansão do Modelo de Ameaça: O artigo é o primeiro a caracterizar sistematicamente um cenário de ataque avançado onde o atacante usa um sanitizador LLM para limpar o HTML buscado, um modelo de ameaça anteriormente não abordado por defesas em nível de página.
2. Framework PIIGuard: Uma defesa inovadora em nível de página que utiliza um pipeline evolutivo de cinco etapas (seleção de sementes, pontuação baseada em regras, classificação composta, mutação por LLM e reavaliação baseada em juiz) para gerar instruções ocultas otimizadas.
3. Protocolo de Avaliação em Duas Etapas: Um método de validação rigoroso que combina correspondência rápida de campos baseada em regras com uma avaliação de recuperabilidade semântica mais lenta e baseada em juiz, para garantir que as defesas previnam tanto a exposição direta quanto a reconstrução.
4. Validação Sob Estresse: Avaliação em três condições realistas:
   • HTML Direto: Entrada de HTML bruto no modelo.
   • Modo URL: Implantação no mundo real via sites estáticos acessados através de interfaces de navegação padrão.
   • Modo Sanitizador: Pré-processamento por um filtro LLM do lado do atacante.

Resultados Experimentais

O sistema foi avaliado em três modelos-alvo: GPT-5.4-nano, Claude-haiku-4.5 e DeepSeek-chat.

• Sucesso da Defesa: Sob acesso direto ao HTML, o PIIGuard alcançou uma Taxa de Sucesso de Defesa (DSR) de pelo menos 97,0% (frequentemente 100,0%) em todos os modelos e posições de inserção para métricas baseadas em regras e baseadas em juiz.
• Utilidade Benigna: A defesa não degradou a capacidade do modelo de responder a perguntas benignas (por exemplo, tarefas NewsQA), com métricas de utilidade (MAF1, BCR) permanecendo comparáveis às bases de referência sem defesa.
• Robustez ao Sanitizador: No cenário de ataque avançado, a robustez variou conforme a posição de inserção. O slot footer_notice provou ser o mais estável, alcançando até 86,00% de DSR contra vários prompts de sanitizador, enquanto contact_block e bio_tail mostraram menor resiliência.
• Implantação via URL: Quando implantado como sites estáticos ao vivo acessados por ferramentas de navegação, o desempenho permaneceu alto para a posição footer, mas degradou-se significativamente para a posição meta, indicando que as cadeias de ferramentas de navegação podem remover estruturalmente certos locais de injeção.
• Transferência entre Modelos: Fragmentos otimizados para Claude-haiku-4.5 (um modelo altamente compliant com instruções) generalizaram-se bem para outros modelos, sugerindo que restrições de otimização mais rigorosas produzem defesas mais robustas.

Significado e Alegações

O artigo argumenta que proprietários de páginas web podem mitigar efetivamente o vazamento de PII implantando fragmentos HTML leves e otimizados sem exigir cooperação dos provedores de modelos.

• Mudança no Paradigma de Defesa: O PIIGuard demonstra que defesas do lado da página podem ir além da simples ofuscação (que falha contra reconstrução semântica) para o direcionamento ativo do comportamento do modelo via Injeção de Prompt Indireta.
• Capacidade do Modelo como Aliada: Contrariando a intuição de que modelos mais capazes são mais difíceis de defender, os resultados sugerem que modelos mais capazes (por exemplo, GPT-5.4-mini vs. GPT-5.4-nano) seguem instruções injetadas com mais confiabilidade, tornando-os defensores mais fortes quando o PIIGuard é implantado.
• Limitações e Trabalho Futuro: Os autores reconhecem que a sobrevivência ao sanitizador é atualmente uma "afirmação de existência positiva" em vez de uma garantia universal, pois o espaço de prompts de sanitizador é aberto. Eles também observam que as avaliações atuais dependem de juízes de modelo único e sites estáticos sintéticos, sugerindo que trabalhos futuros devem explorar ensembles de múltiplos juízes e implantações no mundo real.

No geral, o PIIGuard posiciona fragmentos do lado da página como uma camada de defesa prática e de primeira linha que complementa salvaguardas em nível de sistema, oferecendo aos proprietários de conteúdo um mecanismo unilateral para proteger informações de contato na era dos LLMs habilitados para navegação.