Resumo Técnico: Através da Lente do Furtivo: Defesas Conscientes de Atenção Contra Envenenamento em RAG

Declaração do Problema

Sistemas de Geração Aumentada por Recuperação (RAG), que integram Modelos de Linguagem de Grande Escala (LLMs) com bases de conhecimento externas, são vulneráveis a ataques de corrupção de recuperação. Nesses ataques, adversários injetam passagens envenenadas na base de conhecimento (por exemplo, por meio de páginas da Wikipedia ou redes sociais manipuladas) para corromper o contexto recuperado. Mesmo com baixas taxas de corrupção (por exemplo, uma passagem envenenada entre dez), ataques existentes como o PoisonedRAG podem manipular com sucesso a resposta do LLM para uma resposta-alvo.

O desafio central abordado neste artigo é o furtividade. Embora os ataques existentes alcancem altas taxas de sucesso, os autores argumentam que eles não são projetados para serem furtivos. Para sobrepor o consenso das passagens benignas, as passagens adversárias devem influenciar desproporcionalmente o processo de inferência do LLM. Essa exigência inerente cria uma "marca maliciosa" detectável nos estados internos do modelo, especificamente na distribuição dos pesos de atenção. O artigo postula que as defesas atuais frequentemente ignoram esses sinais intermediários, confiando em vez disso em semântica de superfície ou perplexidade, que são menos eficazes contra envenenamento sofisticado.

Metodologia

1. Formalização da Furtividade: O Jogo SADG

Os autores formalizam o conceito de furtividade por meio do Jogo de Distinguibilidade de Ataque Furtivo (SADG). Neste jogo de segurança, um defensor tenta distinguir entre um conjunto recuperado benigno e um corrompido (contendo até uma fração $\epsilon$ de passagens envenenadas). Um ataque é considerado $\tau$-furtivo se a vantagem do defensor em distinguir os conjuntos for de no máximo $\tau$. O artigo argumenta que ataques de baixa corrupção bem-sucedidos falham inerentemente neste teste porque concentram influência em um pequeno subconjunto de passagens, criando uma anomalia estatística detectável.

2. Pontuação de Atenção de Passagem Normalizada (NPAS)

Para quantificar a influência de passagens individuais na resposta gerada, o artigo introduz a Pontuação de Atenção de Passagem Normalizada (NPAS).

• Mecanismo: O método agrega pesos de atenção das camadas e cabeças do decodificador do LLM. Para uma passagem recuperada $z_t$, soma-se as pontuações de atenção de todos os tokens de resposta gerados para os tokens mais atendidos (top-$\alpha$) dentro de $z_t$.
• Normalização: A pontuação é normalizada pela atenção total em todas as $k$ passagens recuperadas para permitir a comparação entre diferentes consultas e modelos.
• Racional: Em cenários benignos, a atenção é distribuída relativamente uniformemente entre as passagens relevantes. Em ataques de envenenamento bem-sucedidos, o modelo concentra a atenção pesadamente na passagem envenenada (especificamente em tokens que correspondem ao alvo adversário), resultando em uma distribuição de alta variância da NPAS.

3. Filtro de Variância de Atenção (Filtro AV)

Aproveitando a observação de que conjuntos envenenados exibem alta variância na NPAS, os autores propõem o Filtro de Variância de Atenção (Filtro AV).

• Processo: O filtro remove iterativamente a passagem com a maior NPAS do conjunto recuperado.
• Condição de Parada: O processo continua até que a variância das pontuações NPAS restantes caia abaixo de um limiar $\delta$ ou que o número de passagens removidas atinja o orçamento de corrupção $\epsilon$.
• Implementação: Para mitigar viés posicional (efeitos de recência), as passagens são reordenadas por sua NPAS antes da filtragem. O limiar $\delta$ é estimado a partir de dados limpos (média + 1 desvio padrão).

4. Ataques Adaptativos

Para testar os limites dessa defesa, os autores desenvolvem ataques adaptativos que otimizam a furtividade. Usando metodologias de jailbreak (estendendo GCG e AutoDAN), esses ataques minimizam uma função de perda composta:
$$L_t = L_1 + \lambda \cdot L_2$$
Onde $L_1$ é a perda de entropia cruzada para a resposta-alvo (eficácia) e $L_2$ é a variância da NPAS (furtividade). Isso força o atacante a encontrar passagens envenenadas que induzam a resposta-alvo sem criar uma assinatura de atenção de alta variância.

Contribuições Principais

1. Formalização da Furtividade: Introdução do SADG para definir e medir rigorosamente a furtividade de ataques de envenenamento em RAG.
2. Métrica NPAS: Desenvolvimento da Pontuação de Atenção de Passagem Normalizada para quantificar a influência passagem-resposta, demonstrando que ela se torna distorcida sob corrupção.
3. Defesa Filtro AV: Proposta de um filtro leve baseado em variância de atenção que distingue e remove passagens corrompidas de forma confiável sem alterar o pipeline de inferência.
4. Avaliação Abrangente: Experimentos extensivos em 4 conjuntos de dados, 5 LLMs e 5 tipos de ataque, incluindo o desenvolvimento de ataques adaptativos para sondar os limites da defesa.
5. Aplicabilidade Caixa-Branca/Caixa-Preta: Demonstração de que a defesa funciona em configurações de caixa-branca (acesso direto aos internals do modelo) e caixa-preta (usando um modelo de código aberto auxiliar para aproximar sinais de atenção).

Resultados

• Capacidade de Detecção (RQ1): O defensor utilizando variância de NPAS ($D_{AV}$) identifica com sucesso conjuntos corrompidos em ataques existentes com uma taxa de vitória média de 0,78 no SADG, superando significativamente o palpite aleatório.
• Robustez (RQ2): O Filtro AV melhora significativamente a precisão robusta (RACC) em comparação com as linhas de base.
  • Alcança até 23% de precisão superior em relação às defesas de linha de base em configurações benignas.
  • Sob ataque, produz até 20% de RACC superior em relação a linhas de base como Certified Robust RAG (Palavra-chave/Decodificação).
  • Reduz a Taxa de Sucesso do Ataque (ASR) do RAG vanilla (que pode atingir ~88% em alguns conjuntos de dados) para uma média de 6,6% no RQA-MC, comparável ou superior a métodos robustos existentes.
• Limites de Ataques Adaptativos (RQ3): Ataques adaptativos podem contornar o Filtro AV, alcançando uma ASR de até 35%. No entanto, isso vem a um custo proibitivo:
  • Requerem acesso total aos internals do modelo e à base de conhecimento.
  • Envolvem otimização específica da consulta, aumentando o tempo de execução em aproximadamente $10^3$ a $10^4$ vezes em comparação com ataques padrão (por exemplo, ~18.000 segundos por consulta).
  • Os autores concluem que estes representam um limite teórico extremo, em vez de uma ameaça prática.

Significado e Alegações

O artigo alega que furtividade e eficácia são fundamentalmente trade-offs no envenenamento de RAG. Para manipular com sucesso uma resposta com uma minoria de passagens envenenadas, um adversário deve exercer influência desproporcional, o que deixa uma assinatura detectável nos pesos de atenção.

• Eficácia da Defesa: O Filtro AV oferece uma defesa prática e de baixa sobrecarga que preserva a utilidade dos sistemas RAG (queda mínima na precisão limpa) enquanto mitiga efetivamente os ataques atuais de baixa furtividade.
• Limitações: A defesa depende de suposições específicas: a corrupção deve ser uma minoria ($\epsilon < 0,5$), o conhecimento correto deve ser representado de forma redundante em passagens benignas, e o ataque deve visar o conteúdo da resposta (não o estilo ou vazamento de dados).
• Perspectiva Futura: Embora ataques adaptativos mostrem que a furtividade pode ser melhorada, eles permanecem computacionalmente caros e intensivos em recursos. O artigo sugere que alcançar uma furtividade verdadeira e eficiente no envenenamento de RAG permanece um desafio aberto significativo, e defesas de tempo polinomial como o Filtro AV são atualmente suficientes para cenários práticos.

Os autores enfatizam que sua contribuição dupla (defesa e ataque adaptativo) visa impulsionar o desenvolvimento de sistemas RAG mais robustos, expondo as vulnerabilidades atuais e o alto custo de superá-las.