One Word is Enough: Minimal Adversarial Perturbations for Neural Text Ranking

Resumo Técnico: Uma Palavra é Suficiente: Perturbações Adversárias Mínimas para Classificação de Texto Neural

Enunciado do Problema
Modelos de Classificação Neural (NRMs), particularmente aqueles baseados em arquiteturas Transformer como BERT e T5, estabeleceram um desempenho de estado da arte em tarefas de busca e classificação. No entanto, pesquisas anteriores demonstraram sua vulnerabilidade a perturbações adversárias — modificações de texto pequenas e cuidadosamente elaboradas que alteram os resultados de classificação sem mudar significativamente o significado percebido por humanos. Ataques existentes, como o PRADA, frequentemente dependem de manipulações de múltiplas palavras, treinamento de modelos substitutos ou edições extensas de texto, levantando questões sobre a necessidade de tal complexidade. Este estudo investiga se os NRMs são vulneráveis a perturbações ainda mais mínimas e conscientes da consulta (query-aware): especificamente, se inserir ou substituir uma única palavra é suficiente para promover o ranking de um documento alvo.

Metodologia
Os autores propõem um framework de ataque adversarial mínimo centrado no conceito de "centro da consulta" (query center). Este é definido como o token no vocabulário de embeddings mais próximo do centroide do embedding semântico da consulta do usuário. A estratégia de ataque envolve identificar este centro da consulta e inseri-lo ou substituí-lo dentro de um documento alvo em uma posição estrategicamente escolhida.

O artigo introduz três variantes específicas para determinar a posição ideal para esta perturbação de uma única palavra:

1. one_word_start: Um método heurístico que insere o centro da consulta no início do documento, aproveitando a conhecida sensibilidade posicional dos classificadores baseados em BERT aos tokens iniciais.
2. one_word_sim: Um método de substituição heurística que substitui o token do documento semanticamente mais similar (mas não idêntico) ao centro da consulta pelo próprio centro da consulta.
3. one_word_best_grad: Um método de caixa branca (white-box) guiado por gradiente. Ele calcula a norma do gradiente de uma perda hinge de par (pairwise hinge loss) em relação aos embeddings de entrada de cada token. As top-$k$ posições com as maiores normas de gradiente são identificadas, e o centro da consulta é inserido na posição que gera o maior aumento de pontuação.

Principais Contribuições

• Framework de Perturbação Mínima: O estudo demonstra que uma modificação de uma única palavra, guiada pelo centro da consulta, é suficiente para alterar significativamente os resultados de classificação em fortes classificadores neurais.
• Novas Métricas de Diagnóstico: Além das taxas de sucesso agregadas, os autores introduzem:
  • Porcentagem de Perturbação (PP): Mede a porcentagem média de tokens modificados para quantificar a minimalidade do ataque.
  • Taxa de Sucesso de Intervalo (ISR): Analisa o sucesso do ataque através de intervalos de classificação específicos (por exemplo, ranks 11–20, 21–30) para identificar vulnerabilidades específicas dentro da lista classificada.
• Identificação da "Zona Goldilocks": Através da análise de ISR, o artigo revela que documentos classificados em posições intermediárias (aproximadamente ranks 40–80) são os mais vulneráveis a estes ataques mínimos, enquanto documentos no topo do ranking estão frequentemente saturados em pontuações de relevância e documentos no final do ranking estão semanticamente distantes demais para se beneficiarem de uma única inserção.

Resultados Experimentais
Experimentos foram conduzidos nos conjuntos de dados TREC-DL 2019 e 2020 usando dois classificadores amplamente utilizados: BERT-base-mdoc-BM25 e monoT5-base-MSMARCO. Os métodos propostos foram avaliados contra o PRADA sob condições de caixa branca idênticas para garantir a justiça.

• Taxa de Sucesso (SR): A abordagem one_word_best_grad alcançou uma taxa de sucesso de até 91% no TREC-DL 2019 e 87% no TREC-DL 2020 para o classificador BERT, modificando menos de dois tokens por documento em média.
• Similaridade Semântica: Os documentos perturbados mantiveram alta similaridade de cosseno (aprox. 0,97–0,98) com o texto original, superando significativamente o PRADA, que apresentou pontuações de similaridade mais baixas (indicando perturbações maiores).
• Eficiência: Embora o PRADA tenha alcançado taxas de sucesso ligeiramente superiores em alguns casos, ele exigiu substancialmente mais edições (Porcentagem de Perturbação de ~12–13% vs. ~1,5% para o método proposto). As heurísticas propostas (one_word_start e one_word_sim) também alcançaram taxas de sucesso não negligenciáveis (30–60%) com uma mudança de uma única palavra.
• Aumento de Rank e Pontuação: As edições mínimas resultaram em aumentos competitivos de rank e pontuação em relação ao PRADA, confirmando que pequenos desvios semânticos podem alterar significativamente a confiança do modelo.

Significância e Alegações
O artigo afirma que estas descobertas destacam um risco prático em pipelines de recuperação neural de múltiplos estágios: mesmo taxas de sucesso moderadas (em torno de 50%) com edições mínimas e semanticamente plausíveis podem deslocar documentos para estágios de recuperação mais altos devido à poda agressiva de candidatos. A descoberta da "zona Goldilocks" sugere que a robustez é distribuída de forma desigual através da lista classificada, uma nuance não capturada por métricas agregadas isoladamente. Os autores concluem que estes resultados motivam o desenvolvimento de arquiteturas de classificação mais robustas e defesas contra perturbações mínimas e semanticamente alinhadas. O trabalho futuro é proposto para estender estas estratégias para configurações de caixa preta (black-box), classificadores recentes baseados em LLM e tarefas relacionadas, como busca conversacional e recomendação.