Resumo Técnico: PARSE – Sanitização de Recuperação Consciente de Proveniência para Agentes de LLM de Domínio Profissional

Declaração do Problema

Agentes de Large Language Model (LLM) empresariais frequentemente recuperam documentos de fontes não confiáveis (ex: uploads de clientes, APIs de terceiros). Este caminho de recuperação é vulnerável a injeção de prompt, onde adversários inserem instruções maliciosas dentro do conteúdo recuperado para sequestrar o comportamento do agente. Uma variante específica e desafiadora, a injeção camuflada por domínio, incorpora objetivos maliciosos utilizando vocabulário profissional e linguagem de autoridade (ex: "a gestão acredita", "a Empresa deverá") para mimetizar conteúdo legítimo.

O artigo identifica uma lacuna crítica nas avaliações de defesa atuais: as defesas existentes são validadas primariamente em benchmarks sintéticos compostos por cenários de injeção curtos e atômicos. Esses benchmarks falham em capturar a complexidade dos documentos empresariais reais, que são mais longos, densos e intercalam afirmações fatuais com enquadramentos autoritários. Os autores demonstram que as defesas eficazes em dados sintéticos, como o paráfrase, não generalizam para documentos profissionais reais. De fato, a paráfrase não mostrou redução estatisticamente significativa na taxa de sucesso de ataque em documentos reais, enquanto degradou significativamente a utilidade do conteúdo recuperado.

Metodologia: A Arquitetura PARSE

Os autores introduzem o PARSE (Sanitização de Recuperação Consciente de Proveniência), um pipeline de sanitização consciente do domínio e preservador de fatos que opera em tempo de inferência sem exigir treinamento de modelo. O sistema baseia-se inteiramente em chamadas de API de LLM e consiste em seis componentes:

1. Classificador de Domínio: Identifica o domínio do documento (financeiro, jurídico, médico, científico ou DevOps) para ativar listas de permissão (allowlists) de vocabulário de autoridade específicos do domínio.
2. Portão de Diretividade (Inovação Principal): Pontua o documento (0–1) com base na presença de afirmações de autoridade, recomendações ou instruções.
   • Roteamento: Documentos com pontuação abaixo de 0,5 (59% dos documentos empresariais reais) são roteados para um caminho de paráfrase simples leve.
   • Tratamento de Alto Risco: Documentos com pontuação de 0,5 ou superior passam pelo pipeline completo do PARSE, concentrando o custo computacional no conteúdo de alto risco.
3. Combinador de Marcadores-Extrator (Tagger-Extractor): Uma única chamada de LLM realiza simultaneamente:
   • Rotula sentenças como factuais, diretivas ou híbridas.
   • Pontua a probabilidade de injeção (0–1) usando allowlists específicas do domínio para evitar falsos positivos em linguagem de autoridade legítima (ex: o "deverá" jurídico ou "o tratamento resultou em" médico).
   • Extrai uma lista estruturada de fatos das sentenças factuais.
4. Parafraseador Consciente de Estrutura: Reescreve o documento com base nos scores de injeção. Sentenças com scores altos recebem neutralização agressiva, enquanto sentenças de baixo risco são preservadas. Crucialmente, esta etapa opera sob uma restrição rígida: todos os fatos extraídos no Passo 3 devem aparecer na saída.
5. Verificador de Consistência: Verifica se cada fato extraído está presente na saída parafraseada. Se um fato estiver ausente, o sistema aciona uma única tentativa de reprocessamento com restrições explícitas para recuperar a informação faltante. Este mecanismo de ciclo fechado distingue o PARSE da paráfrase de ciclo aberto.
6. Construtor de Saída: Retorna o documento sanitizado junto com um traço de proveniência (scores por sentença, rótulos, fatos extraídos e cobertura) para auditoria.

Configuração Experimental

Os autores construíram um Benchmark de Documentos Reais compreendendo 122 tarefas em cinco domínios profissionais:

• Financeiro: Seções MD&A do SEC EDGAR 10-K.
• Jurídico: Regras finais do Federal Register.
• Médico: Resumos de RCT do PubMed.
• Científico: Resumos de arXiv cs.AI/LG/CL.
• DevOps: Postmortems do GitHub.

Cada tarefa pareia um documento real com um payload camuflado por domínio visando um objetivo malicioso específico. O estudo avaliou oito condições: baseline (sem defesa), spotlighting, sandwiching, paráfrase, Llama Guard, PARSE completo e duas variantes de ablação (parse_fast e parse_domain_conditional).

Resultados Principais

A avaliação mediu a Taxa de Sucesso de Ataque (ASR) e a Utilidade (conclusão bem-sucedida da tarefa legítima).

• Desempenho do PARSE: O PARSE alcançou o menor ASR (15,6%) entre todas as condições, mantendo alta utilidade (86,9%). Isso representa uma redução de 38% no ASR em comparação ao baseline (25,4%). O resultado é estatisticamente significativo ($p=0,014$) com poder adequado ($n=122 > n_{min}=103$) e um tamanho de efeito Cohen's $h$ de $-0,245$.
• Falha da Paráfrase: A paráfrase, a defesa mais forte em benchmarks sintéticos, não mostrou melhoria estatisticamente significativa em documentos reais ($p=0,500$, $h=-0,019$). Ela reduziu o ASR em apenas 0,8 pontos percentuais (para 24,6%) enquanto degradou a utilidade em 9 pontos percentuais (para 82,8%).
• Trade-off do Llama Guard: Embora o Llama Guard tenha alcançado um ASR baixo (18,9%), sofreu um custo de utilidade inaceitável (64,8%), tornando-o inadequado para sistemas de recuperação de produção onde a preservação da conclusão de tarefas legítimas é crítica.
• Eficácia do Portão de Diretividade: O portão roteou com sucesso 59% dos documentos para o caminho leve, reduzindo o overhead computacional. Documentos jurídicos e médicos apresentaram os scores de diretividade mais altos, alinhando-se com sua natureza prescritiva.
• Insights de Ablação:
  • parse_fast (colapsando o pipeline em uma única chamada) resultou em um ASR pior (32,8%) do que o baseline, confirmando a necessidade da análise estruturada de múltiplas etapas e das restrições de extração de fatos.
  • parse_domain_conditional (roteamento baseado no domínio em vez de diretividade) teve um desempenho inferior (22,1% ASR) ao PARSE completo, destacando que o risco é uma propriedade de documentos individuais, não apenas de domínios.

Significância e Alegações

O artigo afirma que o PARSE é a única defesa avaliada que alcança tanto uma redução estatisticamente significativa na taxa de sucesso de ataque quanto utilidade próxima ao baseline em documentos empresariais reais.

Os autores enfatizam três contribuições principais:

1. Benchmark de Documentos Reais: Fornecer um framework de avaliação rigoroso usando documentos profissionais reais (SEC filings, Federal Register, etc.) em vez de proxies sintéticos.
2. Falha de Generalização: Demonstrar que os resultados de benchmarks sintéticos (especificamente a eficácia da paráfrase) não generalizam para contextos empresariais do mundo real, servindo como um alerta contra a dependência de rankings de benchmarks atuais para decisões de implantação.
3. Inovação Arquitetônica: Introduzir um pipeline consciente de domínio e preservador de fatos com um portão de diretividade que equilibra segurança e utilidade sem exigir o retreinamento do modelo.

O artigo conclui que os profissionais devem avaliar as defesas em documentos reais correspondentes ao domínio e recomenda a implantação do PARSE durante a ingestão de documentos para amortizar os custos, observando um custo aproximado de $0,01 por documento nos preços atuais de API.