Resumo Técnico: Ataques de Caixa-Preta Agnósticos à Consulta "Alguém Escondeu Isso!" em Sistemas de Recuperação Baseados em LLM

1. Formulação do Problema

O artigo aborda as vulnerabilidades de segurança de sistemas de Recuperação Baseada em Modelos de Linguagem de Grande Escala (LLMR), que servem como espinhas dorsais para Geração Aumentada por Recuperação (RAG), Recuperação de Informação (IR) e Memória de Agentes. Embora pesquisas existentes tenham demonstrado que o LLMR é suscetível a ataques adversariais via injeções em nível de token, os métodos atuais sofrem de duas limitações críticas quanto à aplicabilidade no mundo real:

1. Suposições de Caixa-Branca: A maioria dos ataques existentes requer acesso total aos parâmetros ou à arquitetura do modelo vítima.
2. Conhecimento da Consulta: Os métodos existentes frequentemente presumem que o atacante conhece a consulta específica do usuário ou tem acesso ao corpus de documentos da vítima.

Em cenários práticos de caixa-preta, os atacantes geralmente carecem de conhecimento sobre o modelo vítima, o corpus de documentos oculto e as consultas específicas do usuário (que são geradas após o ataque). Além disso, os atacantes geralmente possuem capacidades limitadas, como um usuário normal (por exemplo, um contribuidor da Wikipedia) que pode apenas ler e editar ligeiramente um documento.

O Problema Central: Um atacante pode esconder com sucesso um documento específico da vítima de um recuperador baseado em LLM em um cenário de caixa-preta completa? O atacante deve manipular o documento (via injeção de token) sem conhecer o modelo vítima, a consulta do usuário ou o corpus completo, de modo que o documento deixe de aparecer nos resultados dos top-$k$ para qualquer consulta relevante.

2. Metodologia

Os autores propõem um método de Ataque de Caixa-Preta Agnóstico à Consulta que gera tokens de injeção transferíveis usando um LLM substituto. A metodologia é construída sobre um framework teórico e um mecanismo de aprendizado adversarial.

2.1 Framework Teórico: Recuperador $\epsilon$-$p_\epsilon$-Preciso

Os autores primeiro estabelecem uma definição teórica para quantificar o comportamento dos recuperadores de LLM. Eles definem um Recuperador $\epsilon$-$p_\epsilon$-Preciso como um sistema onde, para uma distribuição de tópicos dada, uma fração $p_\epsilon$ de contextos dentro do mesmo tópico possui similaridades de embedding que são pelo menos $\epsilon$ maiores do que as similaridades entre contextos de tópicos diferentes.

• Verificação Empírica: Experimentos usando Análise de Componentes Principais (PCA) em embeddings de 24 tópicos confirmam que os LLMs agrupam naturalmente contextos do mesmo tópico no espaço de embedding, validando a suposição de que os recuperadores exibem essa propriedade.

2.2 Transferibilidade via Otimização Min-Max

Para realizar um ataque de caixa-preta, o método utiliza um modelo substituto ($g$) para aproximar o modelo vítima ($f$). O ataque é formulado como um problema min-max:

• Objetivo: Minimizar a similaridade entre o documento perturbado $d'$ e a consulta $q$.
• Desafio: Como $q$ é desconhecida, os autores aproximam o alvo maximizando a similaridade entre $d'$ e um conjunto de consultas amostradas $X$ dentro do mesmo tópico.
• Teorema 3.2 (Transferibilidade): Os autores provam que, se o modelo substituto $g$ for $\epsilon_g$-$p_{g\epsilon}$-Preciso, e o ataque otimizar $d'$ de modo que sua similaridade com as consultas amostradas seja menor que a similaridade mínima dentro do cluster de tópicos, então $d'$ provavelmente será empurrado para fora dos resultados top-$k$ para o modelo vítima $f$ (assumindo que $f$ também seja preciso).

2.3 Aprendizado Adversarial Documento-Consulta (DQ-A)

Para resolver o problema min-max sem conhecer a consulta real, os autores propõem um framework de aprendizado Adversarial Documento-Consulta (DQ-A):

1. Amostragem de Consulta: Um LLM "casual" de terceiros gera $N$ consultas potenciais diversas ($S$) relacionadas ao tópico do documento da vítima.
2. Otimização Adversarial:
   • Otimização do Documento: Os tokens injetados no documento da vítima são otimizados para minimizar a similaridade com as consultas amostradas.
   • Otimização da Consulta: As consultas amostradas são otimizadas para maximizar a similaridade com o documento da vítima (atuando como um gerador de "negativo difícil").
3. Diferença de População: Em vez de usar taxas de aprendizado para equilibrar os loops interno (consulta) e externo (documento), o método usa uma diferença de população. Ele otimiza um conjunto de $N$ consultas diversas contra um único documento, simulando o efeito de uma taxa de aprendizado maior para o lado da consulta.

2.4 Estratégia de Substituto de Embeddings de Palavras

Uma inovação técnica chave é o uso de embeddings de palavras (a saída da primeira camada de embedding) em vez dos estados ocultos finais (bloco transformador final) como substituto para o aprendizado adversarial.

• Racional: Achados empíricos sugerem que otimizar distâncias nas camadas rasas (embeddings de palavras) produz ataques mais eficazes e transferíveis nos embeddings finais de recuperação do que otimizar diretamente as camadas profundas. Isso é atribuído ao alto número de parâmetros dos LLMs, onde perturbações em camadas rasas têm uma influência mais robusta no espaço de representação final.

3. Contribuições Principais

1. Framework de Ataque de Caixa-Preta: O artigo apresenta o primeiro método completo de ataque de caixa-preta para LLMR que não requer conhecimento do modelo vítima, do corpus de documentos ou das consultas do usuário. Ele simula um atacante realista capaz apenas de editar documentos.
2. Fundação Teórica: Estabelece um framework teórico (Recuperador $\epsilon$-$p_\epsilon$-Preciso) e fornece evidências empíricas de que os embeddings de LLM agrupam por tópico, o que é a base para provar a transferibilidade do ataque.
3. Mecanismo de Aprendizado DQ-A: Os autores introduzem um mecanismo de aprendizado adversarial inovador que otimiza conjuntamente documentos da vítima e consultas amostradas usando uma abordagem baseada em população para lidar com desafios de otimização não convexa.
4. Estratégia de Substituto: O artigo identifica e valida que o uso de embeddings de palavras como substituto para treinamento adversarial melhora significativamente a transferibilidade do ataque em comparação com o uso de estados ocultos finais.
5. Transferibilidade Zero-Shot: O método demonstra que tokens injetados em um documento podem degradar simultaneamente o desempenho de recuperação em vários recuperadores de LLM diferentes (por exemplo, Qwen, Mistral, Jina, Gemma) sem retreinamento ou ajuste específico do modelo.

4. Resultados Experimentais

O método foi avaliado em conjuntos de dados de referência (Economia, Psicologia, Biologia, Robótica) do benchmark BRIGHT contra sete recuperadores de LLM populares (incluindo Qwen-1.5, SFR-Mistral, E5-Mistral, Embedding-Gemma, Jina, Granite e Qwen3).

• Impacto no Desempenho: O ataque proposto (DQ-A) superou consistentemente as linhas de base existentes (GCG, PRADA, Poisoned-RAG).
  • Alcançou uma queda média de desempenho de 2%–10% em Recall@25 e 1%–7% em Recall@50 na maioria dos modelos.
  • Em casos específicos (por exemplo, conjunto de dados de Robótica no Qwen1.5), o ataque causou uma queda de 8% no Recall@50, representando uma redução de ~30% no desempenho original do modelo.
• Estudos de Ablação:
  • Aprendizado Adversarial: A remoção da otimização adversarial de consultas (S-GCG) resultou em sucesso de ataque significativamente menor, validando o design DQ-A.
  • Camada de Substituto: O uso de embeddings de palavras (DQ-A) superou o uso de estados ocultos finais (DQ-A-H) na maioria dos cenários.
  • Tamanho da Amostragem: Aumentar o número de consultas amostradas ($|S|$) melhorou o desempenho até um certo ponto (cerca de 10), após o qual retornos decrescentes foram observados.
  • Posição de Injeção: Os ataques foram mais eficazes quando os tokens foram injetados no início ou no fim do documento, sendo o meio menos eficaz, alinhando-se com os mecanismos de atenção dos transformadores.
• Robustez: O ataque permaneceu eficaz mesmo quando o recuperador foi emparelhado com um modelo de reranking, pois o ataque filtra o documento do conjunto de candidatos antes que o reranker possa agir.

5. Significado e Alegações

O artigo afirma que seu trabalho revela um modo de falha crítico e previamente pouco explorado em sistemas de recuperação baseados em LLM.

• Relevância do Mundo Real: Ao operar sob restrições estritas de caixa-preta (sem conhecimento de consulta, sem acesso ao modelo), o ataque destaca uma vulnerabilidade que existe em cenários de implantação prática, como wikis públicas ou fóruns de discussão onde o conteúdo pode ser editado por usuários não confiáveis.
• Implicações Mais Amplas: Os autores observam que as questões de robustez identificadas podem não apenas decorrer de ataques maliciosos, mas também podem surgir de edições de documentos benignas ou não intencionais no mundo real. Se atualizações de conteúdo padrão puderem inadvertidamente empurrar documentos para fora de clusters de recuperação, a confiabilidade dos sistemas LLMR é fundamentalmente desafiada.
• Lacuna de Defesa: O artigo afirma explicitamente que os mecanismos de defesa existentes (focados em detecção de envenenamento de corpus ou reranking pós-recuperação) são insuficientes para este tipo de ataque de "diminuição". Ele pede novas estratégias de defesa que se concentrem em construir mecanismos de recuperação robustos em si mesmos, em vez de apenas detectar saídas envenenadas.

Os autores mantêm um tom modesto, reconhecendo que, embora o ataque seja eficaz, ele destina-se a caracterizar vulnerabilidades do sistema para informar o desenvolvimento de sistemas mais robustos, em vez de promover o uso adversarial. Eles também observam que impulsionar documentos específicos usando uma versão invertida do ataque é possível, mas atualmente limitado em eficácia.