Hidden-in-Plain-Text: A Benchmark for Social-Web Indirect Prompt Injection in RAG

Resumo Técnico: Hidden-in-Plain-Text: Um Benchmark para Injeção de Prompt Indireta de Redes Sociais em RAG

Declaração do Problema
Sistemas de geração aumentada por recuperação (RAG) dependem cada vez mais de conteúdo gerado por usuários na Web e em redes sociais para fundamentar as respostas de Modelos de Linguagem de Grande Escala (LLMs). Embora isso aumente a cobertura e o frescor das informações, expande significamente a superfície de ataque. O artigo identifica duas ameaças primárias:

1. Injeção de Prompt Indireta (IPI): Instruções maliciosas incorporadas em conteúdo de terceiros (ex: spans HTML ocultos, CSS fora da tela, texto alt, atributos ARIA ou caracteres de largura zero) que são executadas quando o conteúdo é recuperado e processado pelo LLM.
2. Envenenamento de Recuperação (Retrieval Poisoning): Manipulação adversária do índice de recuperação ou do próprio recuperador para enviesar o ranking dos resultados, garantindo que o conteúdo malicioso surja nos resultados top-$k$.

Benchmarks existentes carecem frequentemente de um foco compacto e centrado na Web que cubra os "carregadores" (mecanismos HTML/Markdown/Unicode) específicos que sobrevivem aos pipelines de ingestão, nem avaliam suficientemente mitigações práticas e de baixo custo.

Metodologia: OpenRAG-Soc
Os autores introduzem o OpenRAG-Soc, um benchmark reprodutível e um ambiente de teste projetado para avaliar sistemas RAG sob essas ameaças. O framework opera sobre um pacote de dados discreto contendo 6.200 páginas de estilo social.

• Design do Corpus: O conjunto de dados inclui cinco carregadores específicos conhecidos por sobreviver à ingestão: spans ocultos, CSS fora da tela, texto alt, atributos ARIA e caracteres de largura zero. O corpus é dividido em variantes visíveis e ocultas/fora da tela, com cada página possuindo um contraparte de payload/controle. Também inclui negativos difíceis (hard negatives) e uma pequena fatia de camadas de texto de PDF/SVG.
• Arquitetura do Pipeline: O ambiente implementa um pipeline ingestão → recuperação → geração.
  • Recuperadores: Suporta recuperadores esparsos (BM25) e densos (ex: E5, BGE) intercambiáveis.
  • Geração: Utiliza vários LLMs (Llama-3, Mistral, Qwen) com um template de prompt de "sem novas instruções do contexto".
  • Defesas: O sistema integra mitigações implantáveis:
    1. Sanitização: Sanitização de HTML/Markdown para neutralizar construtos ocultos/fora da tela.
    2. Normalização: Normalização Unicode (NFKC) para remover caracteres de largura zero e confusos (confusable characters).
    3. Gating de Atribuição (Attribution-Gating): Uma estratégia de prompting que exige citações inline para cada sentença, restringindo as respostas aos spans recuperados.
• Métricas:
  • Taxa de Sucesso de Ataque (ASR): A fração de consultas onde o modelo segue uma instrução injetada.
  • Deslocamento de Ranking (Rank Shift): Mudanças no Reciprocal Rank Médio (MRR) e no nDCG normalizado sob condições de envenenamento.
  • Utilidade e Latência: Taxas de capacidade de resposta (answerability), consistência de atribuição e overhead de latência ponta a ponta.

Resultos Principais
A avaliação através de recuperadores esparsos e densos produz os seguintes achados:

• Eficácia das Defesas: A configuração "Todas as Defesas" (Sanitização + Normalização + Atribuição) alcança consistentemente o menor ASR em todos os carregadores, reduzindo o ASR médio macro de ~24,9% (Vanilla) para ~4,7%.
  • A Sanitização é mais eficaz contra carregadores HTML/Markdown (ex: reduzindo o ASR de Hidden Spans de 34,0% para 12,3%).
  • A Normalização é crítica para ataques de largura zero (reduzindo o ASR de 23,2% para 7,8%).
  • O Gating de Atribuição reduz significativamente o ASR para imperativos visíveis (uma redução de 78% nesse bucket específico).
• Impacto do Envenenamento: À medida que o orçamento de veneno aumenta, a qualidade do ranking degrada. No entanto, a combinação de Sanitização e Normalização amortece essa degradação tanto para BM25 quanto para recuperadores densos.
• Utilidade e Latência: As defesas incorrem em custos de utilidade desprezíveis. A capacidade de resposta cai apenas cerca de 1,8–2,2 pontos percentuais sob configurações de Sanitização+Normalização. O overhead de latência é mínimo: a Sanitização adiciona ~3,1% (mediana) ao tempo do pipeline, enquanto a Normalização adiciona <0,5%.
• Robustez: A ordem de defesa (Todas as Defesas > Sanitizado > Normalizado > Vanilla) mantém-se verdadeira mesmo sob prompts de red-team adaptativos e através de diferentes tamanhos de LLM (8B a 70B) e tipos de recuperador.

Significância e Alegações
O artigo posiciona o OpenRAG-Soc como uma ferramenta centrada no praticante que complementa estudos existentes de segurança de agentes e jailbreak. Sua principal significância reside em:

1. Padronização: Fornece uma avaliação padronizada e de ponta a ponta, desde a ingestão até a geração, permitindo comparações "maçãs com maçãs" entre diferentes carregadores e defesas.
2. Praticidade: Foca em mitigações de baixo custo e implantáveis (sanitização, normalização, atribuição) que podem ser integradas imediatamente em fluxos de trabalho RAG voltados para a web sem exigir o retreinamento do modelo.
3. Visão Holística: Ao parear métricas de sucesso de injeção com deslocamentos de ranking de recuperação e trade-offs de utilidade/latência, oferece uma visão abrangente do cenário de risco para sistemas RAG baseados em conteúdo da web social.

Os autores concluem que práticas simples de higiene combinadas com prompting de atribuição podem reduzir significavelmente o seguimento de instruções e melhorar a proveniência com overhead inconsequente, permitindo a implantação mais segura de sistemas RAG fundamentados em conteúdo gerado pelo usuário.