Resumo Técnico: Pode Alcançar o Gerador? Investigando a Sobrevivência de Ataques de Injeção de Prompt em Cenários RAG Realistas

1. Formulação do Problema

Pesquisas recentes em Otimização de Motores Generativos (GEO) demonstraram que ataques de injeção de prompt podem manipular as saídas de Modelos de Linguagem de Grande Escala (LLM) para priorizar produtos específicos, com taxas de sucesso relatadas tão altas quanto 80%. No entanto, os autores argumentam que essas avaliações anteriores dependem de um protocolo de "Contexto Congelado" (FC) que é fundamentalmente irrealista para sistemas implantados. No protocolo FC, assume-se que o documento atacado é automaticamente recuperado e passado diretamente para o gerador, contornando inteiramente as etapas de recuperação e reclassificação.

Em pipelines de Geração Aumentada por Recuperação (RAG) do mundo real, uma edição adversária no conteúdo de um documento altera suas propriedades semânticas e lexicais. Essa modificação pode fazer com que o documento falhe na recuperação pelo recuperador inicial ou seja filtrado por um reclassificador antes mesmo de atingir o gerador. A questão central de pesquisa é saber se os ataques GEO podem sobreviver ao pipeline completo de três etapas (Recuperador $\to$ Reclassificador $\to$ Gerador) ou se sua eficácia é um artefato de protocolos de avaliação simplificados.

2. Metodologia

Os autores propõem e avaliam um pipeline RAG realista, de ponta a ponta, com três etapas:

1. Recuperador: Um recuperador esparsos (BM25) ou denso (BAAI/bge-large-en-v1.5) que classifica todo o corpus.
2. Reclassificador: Um reclassificador baseado em lista por LLM (Qwen3-8B usando a estratégia RankGPT) que reordena os $n$ (10) candidatos recuperados no topo.
3. Gerador: Um LLM (Qwen3-8B) que gera uma resposta com base nos $k$ (5) candidatos reclassificados no topo, produzindo $m$ (3) recomendações de produtos.

Configuração Experimental

• Conjunto de Dados: Corpus de busca de produtos Amazon ESCI (localidade dos EUA), filtrado para 1.294 consultas com $\ge$40 produtos anotados para refletir a escala do comércio eletrônico.
• Alvos de Ataque: Documentos no Rank 6 (primeiro a ser descartado pelo reclassificador) e Rank 10 (último visto pelo reclassificador) da linha de base não atacada.
• Métodos de Ataque: Sete ataques de três categorias foram avaliados:
  • Substituição de Instrução (IOA): Sufixos fixos (ex: esquema DCH).
  • Baseado em LLM: Otimização iterativa usando um LLM auxiliar (CORE-Review, CORE-Reason, TAP).
  • Baseado em Gradiente: Otimização de tokens de caixa branca (RAF, SRP, STS).
• Protocolos de Avaliação:
  • Contexto Congelado (FC): Método de trabalhos anteriores (contorna recuperação/reclassificação).
  • Ponta a Ponta (E2E): O corpus atacado é reindexado e o pipeline completo é executado.
• Métricas:
  • Sobrevivência na Recuperação ($S_r$): O documento atacado entra no top-10 do reclassificador?
  • Exposição na Reclassificação ($E_\rho$): Ele entra no top-5 de entrada do gerador?
  • Sucesso na Geração ($S_g$): O produto-alvo aparece na recomendação final top-3?
• Avaliação de Defesa: Testaram-se guardas prontos (Llama-Guard, QwenGuard, Prompt-Guard) e um Prompt-Guard leve ajustado finamente em um pequeno conjunto de dados (104 consultas).

3. Principais Descobertas e Resultados

3.1 Protocolos Anteriores Exageram a Eficácia

O protocolo de Contexto Congelado infla significativamente o sucesso do ataque. Quando o pipeline completo é considerado:

• A recuperação atua como um filtro: Em média, ~20% dos documentos de ataque falham em ser recuperados de todo. Ataques de Substituição de Instrução (IOA) sofrem mais, com a sobrevivência na recuperação caindo para ~59% porque seus sufixos injetados diluem o conteúdo relevante para a consulta.
• A reclassificação remodela os resultados: O reclassificador filtra ou promove ainda mais documentos. Embora possa impulsionar alguns ataques em ~16,5% via promoção de rank, a subsequente truncagem para o top-5 de entrada para o gerador mitiga muitos ataques.

3.2 A Eficácia do Ataque Ponta a Ponta é Altamente Variável

Sob o pipeline E2E, o desempenho do ataque colapsa para a maioria dos métodos:

• Ataques baseados em gradiente (RAF, SRP, STS): Estes falham completamente, com taxas de sucesso ($S_g$) caindo abaixo de 2%. Eles são otimizados para o objetivo do gerador, mas degradam a correspondência lexical/semântica do documento para o recuperador e o reclassificador.
• Substituição de Instrução (IOA): O sucesso cai de altas taxas FC para ~14,7% E2E devido à falha na recuperação.
• Ataques baseados em LLM (CORE-Review, CORE-Reason, TAP): Estes são os únicos métodos que permanecem eficazes ponta a ponta.
  • CORE-Reason é único: Ele vê na verdade um aumento de ~4% no sucesso sob E2E em comparação com FC. Sua estratégia de otimização inclui a consulta do usuário várias vezes, o que melhora a sobrevivência na recuperação e é ativamente promovido pelo recuperador denso.
  • CORE-Review e TAP mantêm taxas de sucesso de ~46% e ~40% respectivamente, mas ainda sofrem quedas significativas em comparação com FC.

3.3 Viés de Posição e Preferências de Etapa

O estudo revela vieses de posição opostos entre as etapas:

• Reclassificador: Prefere ataques colocados mais tarde na entrada (Rank 10 > Rank 6).
• Gerador: Prefere ataques colocados mais cedo na entrada (Rank 6 > Rank 10), consistente com fenômenos de "perdido no meio".
  Isso sugere que uma análise de etapa única perde dinâmicas críticas onde um ataque pode ter sucesso em uma etapa, mas falhar em outra devido à posição de entrada.

3.4 Defensibilidade

• Guardas prontos (Llama-Guard, QwenGuard) falham em generalizar, frequentemente tendo altas Taxas de Falsa Descoberta (FDR) ou perdendo ataques sofisticados baseados em LLM (CORE-Review/Reason).
• Ajuste Fino Leve: Um modelo Prompt-Guard ajustado finamente em apenas 104 consultas de treinamento (ataque/limpo balanceado 1:1) alcançou detecção quase perfeita (97,3% F1) em todos os tipos de ataque, incluindo os mais eficazes ponta a ponta. Isso indica que os ataques sobreviventes expõem um esquema aprendível.

4. Significado e Alegações

O artigo afirma que o cenário de ameaça percebido dos ataques de injeção de prompt GEO é mais estreito do que anteriormente relatado.

• Modelo de Ameaça Revisado: A maioria dos ataques existentes (baseados em gradiente e substituição de instrução) é ineficaz em cenários RAG realistas porque não consegue sobreviver às etapas de recuperação e reclassificação.
• Necessidade de Avaliação E2E: Os autores argumentam que futuras pesquisas em GEO devem adotar protocolos de avaliação ponta a ponta. Confiar em suposições de contexto congelado leva a falsos alarmes quanto à robustez do sistema.
• Detectabilidade: Mesmo os ataques que sobrevivem ao pipeline completo (otimizações de prompt baseadas em LLM) seguem esquemas de otimização que são facilmente detectáveis com dados mínimos, sugerindo que defesas robustas são viáveis sem comprometer a utilidade do sistema.

O estudo conclui que, embora os ataques GEO permaneçam uma preocupação, as vulnerabilidades específicas dependem altamente do método de ataque e da arquitetura do pipeline, e a "sobrevivência" de um ataque através do pipeline RAG completo é a métrica crítica para avaliar o risco no mundo real.