Resumo Técnico: Rastreamento de Respostas Alvo em Corpora de Recuperação Envenenados via Atribuição de Influência de Tokens

Declaração do Problema

Sistemas de Geração Aumentada por Recuperação (RAG), embora melhorem os Grandes Modelos de Linguagem (LLMs) com conhecimento externo, são vulneráveis a ataques de envenenamento de corpus. Nesses ataques, adversários injetam documentos enganosos no corpus de recuperação para manipular a saída do LLM em direção a uma resposta alvo específica e errônea. Os métodos de detecção existentes geralmente dependem de classificadores auxiliares ou verificação adicional baseada em LLM (por exemplo, consultar um modelo separado para verificar saídas). Essas abordagens introduzem um overhead computacional substancial e custos de manutenção, tornando-as impraticáveis para muitas implantações empresariais que exigem mecanismos de defesa leves e em tempo real.

Metodologia: Estrutura TRACE

Os autores propõem o TRACE, uma estrutura de detecção leve que identifica ataques de envenenamento rastreando tokens relacionados à resposta através da atribuição de influência de tokens. Diferente de métodos que classificam documentos como benignos ou maliciosos, o TRACE analisa a mecânica interna do LLM alvo para identificar os tokens que exercem a maior influência nas previsões. A estrutura opera em duas fases distintas:

Fase 1: Busca de Palavras-Chave

1. Cálculo de Influência: Para cada documento recuperado, o sistema calcula pontuações de influência ao nível de token via retropropagação (backpropagation). A string alvo é uma afirmação predefinida (ex: "Sim, a resposta é:"). A influência de um embedding de token $x_i$ é calculada como a norma quadrada do gradiente do log-probabilidade da afirmação em relação a esse token: $\|\nabla_{x_i} \log P_\theta(y|x_{1:n})\|^2$.
2. Filtragem: O sistema extrai os $k_1$ tokens mais influentes, excluindo estritamente pontuação, palavras frequentes (stopwords) e tokens já presentes na consulta do usuário para reduzir o ruído.
3. Construção de Frases: Índices contíguos de alta influência são concatenados em frases candidatas.
4. Filtragem de Consenso: Essas frases são agregadas em todos os documentos recuperados. Uma frase é admitida no conjunto de palavras-chave candidatas $K$ apenas se ela ocorrer em um número de documentos que atenda a um limiar $a_1$. Isso isola o payload malicioso consolidado sincronizado através do corpus envenenado.

Fase 2: Verificação Secundária

1. Reavaliação Direcionada: Para cada palavra-chave candidata $p \in K$, o sistema reavalia os documentos recuperados. Diferente da Fase 1, a própria frase candidata $p$ é definida como a previsão alvo para calcular novos gradientes de influência de nível de token.
2. Identificação de Gatilhos: O algoritmo identifica os $k_2$ tokens mais influentes dentro de cada documento que correspondem à frase candidata.
3. Verificação Final: Esses tokens são agregados, e um token é adicionado ao conjunto alvo final $T$ apenas se ele aparecer como um gatilho de alta influência em pelo menos $a_2$ documentos distintos.
4. Flag de Detecção: Se o conjunto alvo final $T$ não estiver vazio, o corpus recuperado é marcado como envenenado.

Principais Contribuições

1. Estrutura Leve: O TRACE introduz um mecanismo de detecção que não requer classificadores auxiliares e não requer verificação adicional de LLM, reduzindo significativamente o overhead computacional.
2. Paradigma de Atribuição de Tokens: O artigo propõe uma abordagem de detecção inovadora que identifica o envenenamento ao rastrear tokens recorrentes de alta influência através de documentos recuperados, ligando diretamente a influência do token às previsões do modelo.
3. Revelação da Resposta Alvo: Além da mera detecção, o TRACE demonstra a capacidade de revelar respostas alvo especificadas pelo atacante com baixo custo computacional, fornecendo inteligência acionável para análise defensiva.

Resultados Experimentais

Os autores avaliaram o TRACE em três benchmarks de QA (Natural Questions, HotpotQA, MS-MARCO) usando seis LLMs diversos (Llama-3.1-8B, Gemma-3-4b, Qwen-3.5-4B, Vicuna-7b, Mistral-7B e Phi-4-mini) contra a linha de base de ataque PoisonedRAG.

• Desempenho de Detecção: O TRACE alcançou consistentemente uma Taxa de Verdadeiros Positivos (TPR) acima de 90% em quase todos os modelos avaliados. No modelo Phi-4-mini, assegurou uma TPR média de 98,87%.
• Controle de Falsos Positivos: Ao ajustar os hiperparâmetros, a estrutura suprimiu a Taxa de Falsos Positivos (FPR) abaixo de 10% em cenários benignos, demonstrando controle robusto sobre alarmes falsos.
• Identificação da Resposta Alvo: A estrutura identificou com sucesso a resposta alvo do atacante em aproximadamente 90% dos casos nos datasets NQ e MS-MARCO, e mais de 70% no HotpotQA.
• Eficiência: Comparado ao RAGForensics (uma linha de base que utiliza verificação baseada em LLM), o TRACE alcançou desempenho de detecção superior com tempo de execução significativamente menor (ex: ~1,0s vs ~9,0s por pergunta para Llama-3.1-8B).

Significância e Alegações

O artigo afirma que o TRACE oferece uma defesa de primeira linha em tempo real para pipelines de RAG. Sua significância reside em:

• Zero Conhecimento Prévio: Diferente das defesas reativas que exigem conhecer a resposta alvo para verificar saídas, o TRACE identifica os tokens da resposta alvo antes da geração, sem conhecimento prévio do ataque.
• Viabilidade Operacional: Ao eliminar a necessidade de treinar modelos auxiliares ou realizar inferência repetida de LLM, o TRACE aborda as restrições práticas de implantação empresarial.
• Transparência: A capacidade de revelar os tokens específicos que impulsionam a previsão maliciosa permite que organizações interceptem saídas maliciosas e mitiguem riscos reputacionais.

Os autores reconhecem limitações, observando que o método depende da recorrência estatística das respostas alvo e pode ser menos sensível a ataques envolvendo muito poucos documentos envenenados. No entanto, eles argumentam que tais injeções esparsas reduzem inerentemente a taxa de sucesso do ataque (ASR), tornando o TRACE um filtro eficaz para tentativas de envenenamento de alto impacto. O trabalho é apresentado estritamente como uma ferramenta defensiva para avaliação de segurança, sem a liberação de novos mecanismos de ataque ou datasets.