Unsupervised Corpus Poisoning Attacks in Continuous Space for Dense Retrieval

Resumo Técnico: Ataques de Envenenamento de Corpus Não Supervisionados no Espaço Contínuo para Recuperação Densa

1. Problema e Contexto

O artigo aborda a vulnerabilidade dos sistemas de Recuperação Densa (Dense Retrieval) a ataques de envenenamento de corpus (corpus poisoning). Neste cenário, um adversário injeta um pequeno número de documentos maliciosamente gerados no corpus de busca para comprometer o desempenho do algoritmo de classificação (ranking).

O objetivo do atacante é promover documentos não informativos (sem sentido para o usuário) para as posições mais altas dos resultados de busca, fazendo com que o usuário os encontre e os considere inúteis.

O trabalho identifica e visa superar duas limitações críticas na literatura atual:

1. Discrepância de Espaço: Métodos anteriores (como HotFlip) realizam substituições de palavras no espaço lexical discreto (troca de tokens), enquanto a recuperação densa opera no espaço de embeddings contínuo. Isso cria uma desconexão entre a otimização do ataque e o mecanismo de recuperação.
2. Suposição de Conhecimento Prévio: A maioria dos ataques assume que o adversário conhece a distribuição de consultas (queries) alvo. O artigo propõe um cenário mais realista e desafiador: ataque não supervisionado, onde o adversário não tem conhecimento prévio sobre as consultas, baseando-se apenas no documento alvo.

2. Metodologia

Os autores propõem um método de ataque que opera diretamente no espaço de embeddings contínuo, utilizando dois componentes principais: um Modelo de Reconstrução e um Modelo de Perturbação.

• Condições para o Sucesso do Ataque:

  • Similaridade de Embedding: O documento adversarial ($\tilde{d}$) deve ser geometricamente muito próximo do documento alvo ($d$) no espaço de embeddings para garantir uma classificação alta.
  • Irrelevância Semântica: O documento adversarial deve parecer sem sentido ou irrelevante para um humano (baixa sobreposição de tokens com o original).

• Componentes do Modelo:

  1. Modelo de Reconstrução ($R$): Um modelo treinado para recuperar o texto original a partir dos embeddings contextuais de nível de token gerados pelo codificador de recuperação ($E$). Ele permite mapear perturbações no espaço contínuo de volta para o espaço de texto.
  2. Modelo de Perturbação ($\phi$): Uma rede neural leve (MLP de 3 camadas) que recebe o embedding do documento original e gera um embedding adversarial.

• Processo de Otimização:
  O modelo de perturbação é treinado para minimizar uma função de perda combinada ($L_{Attack}$):

  • Minimização de MSE (Mean Squared Error): Garante que o embedding adversarial seja o mais próximo possível do embedding original (mantendo a similaridade de ranking).
  • Maximização de Entropia Cruzada (CE): Garante que os tokens previstos para o documento adversarial sejam o mais diferentes possível dos tokens originais (maximizando a dissimilaridade semântica).
  • A função de perda é definida como: $L_{Attack} = L_{MSE} - \min(L_{CE}, \lambda)$, onde $\lambda$ é um hiperparâmetro que controla o nível de dissimilaridade.

• Geração do Texto: Após a otimização no espaço contínuo, o embedding adversarial é passado pelo Modelo de Reconstrução para gerar o texto final, que é então injetado no corpus.

3. Contribuições Principais

1. Ataque no Espaço Contínuo: Primeira abordagem que realiza a busca de perturbação adversarial diretamente no espaço de embeddings, alinhando a otimização do ataque com o mecanismo de recuperação densa.
2. Cenário Não Supervisionado: Elimina a necessidade de conhecimento prévio sobre as consultas, tornando o ataque mais aplicável a cenários do mundo real.
3. Eficiência e Velocidade: O método é significativamente mais rápido que os métodos baseados em substituição de palavras (como HotFlip). Gera exemplos adversariais em menos de 2 minutos por documento, sendo 4 vezes mais rápido que a implementação mais rápida existente na literatura.
4. Baixa Perplexidade (Imperceptibilidade): Os documentos gerados possuem uma distribuição de probabilidade mais próxima do texto natural (baixa perplexidade), tornando-os mais difíceis de detectar por filtros baseados em perplexidade, mesmo sendo semanticamente sem sentido.

4. Resultados Experimentais

Os experimentos foram conduzidos em conjuntos de dados in-domain (TREC DL 19/20, MS MARCO) e out-of-domain (NQ, Quora, FiQA, Touché-2020) utilizando modelos de estado da arte (SimLM, Contriever, E5, etc.).

• Ataque Top-1 (White-box e Black-box):

  • Eficácia: O método proposto alcança taxas de sucesso (ASR - Attack Success Rate) comparáveis ou superiores aos métodos HotFlip em ataques white-box.
  • Transferência (Black-box): Em cenários onde o modelo alvo é desconhecido, o método proposto demonstra melhor transferibilidade do que o HotFlip, mantendo altas taxas de sucesso ao atacar modelos como DPR, ColBERTv2 e RankLLaMA.
  • Velocidade: Redução drástica no tempo de computação (4x mais rápido).
  • Perplexidade: Os documentos adversariais gerados pelo método proposto têm perplexidade significativamente menor (ex: ~189 vs ~6000 no HotFlip para TREC DL 19), indicando maior fluidez e dificuldade de detecção.

• Ataque de Envenenamento de Corpus:

  • O método foi testado injetando documentos adversariais baseados em clusters do corpus. O desempenho foi consistente com os resultados do ataque Top-1, superando métodos aleatórios e mantendo eficácia comparável ao HotFlip com muito menos custo computacional.

• Avaliação Humana e por LLM:

  • Tanto avaliadores humanos quanto LLMs (GPT-4o-mini) confirmaram que os documentos gerados pelo método proposto são semanticamente irrelevantes (respondem "Não" a perguntas de relevância), satisfazendo a condição de sucesso do ataque.

5. Significado e Implicações

• Vulnerabilidade dos Modelos Densos: O estudo demonstra que os modelos de recuperação densa mais modernos são altamente vulneráveis a ataques que exploram a geometria do espaço de embeddings, mesmo sem conhecimento das consultas.
• Desafio de Detecção: A capacidade de gerar texto "sem sentido" que ainda assim possui baixa perplexidade (parece natural estatisticamente) representa um novo desafio para sistemas de segurança, pois filtros baseados em fluidez de texto podem falhar.
• Treinamento Adversarial: Devido à eficiência do método, os autores sugerem seu uso para gerar grandes volumes de dados negativos para treinamento adversarial, demonstrando que isso pode melhorar a robustez dos modelos de recuperação (redução de 7,9% na taxa de sucesso do ataque após o treino).

Em suma, o artigo estabelece um novo paradigma para ataques de recuperação densa, demonstrando que a otimização direta no espaço contínuo é não apenas mais eficiente, mas também mais eficaz e difícil de detectar do que as abordagens baseadas em substituição de tokens discretos.