The Vulnerability of LLM Rankers to Prompt Injection Attacks

Título: A Vulnerabilidade de Classificadores (Rankers) de LLM a Ataques de Injeção de Prompt

1. Problema Investigado

Os Grandes Modelos de Linguagem (LLMs) tornaram-se componentes fundamentais nos sistemas de Recuperação de Informação (RI), atuando frequentemente como reclassificadores (re-rankers) de alta performance. No entanto, pesquisas recentes (especificamente Qian et al., 2025) identificaram uma vulnerabilidade crítica: injeção de prompt de "jailbreak" embutida em documentos candidatos pode manipular as decisões de classificação do LLM.

O problema central é que, em tarefas de comparação de múltiplos documentos, os LLMs podem ser enganados por instruções adversariais simples inseridas no texto dos documentos, fazendo com que o modelo ignore as instruções originais de relevância e promova o documento atacado. Embora os riscos de segurança sejam conhecidos, a extensão dessa vulnerabilidade através de diferentes famílias de modelos, arquiteturas, escalas e cenários do mundo real permanecia pouco explorada.

2. Metodologia

Os autores realizaram um estudo empírico abrangente, dividindo a investigação em duas tarefas complementares para conectar a vulnerabilidade intrínseca do modelo ao impacto operacional no sistema de busca:

• Tarefa 1: Avaliação de Vulnerabilidade de Preferência (Intrínseca)

  • Objetivo: Medir a suscetibilidade do modelo a mudar sua preferência de classificação.
  • Métrica: Taxa de Sucesso do Ataque (ASR - Attack Success Rate).
  • Protocolo: Reprodução rigorosa dos experimentos de Qian et al. [2025] e expansão para novas dimensões.
  • Variáveis Testadas:
    • Paradigmas de Classificação: Pairwise (par a par), Listwise (lista completa) e Setwise (seleção de conjunto).
    • Tipos de Ataque:
      1. Hijacking de Objetivo de Decisão (DOH): Instruir o modelo a escolher o documento atacado como o mais relevante.
      2. Hijacking de Critério de Decisão (DCH): Redefinir os critérios de relevância para priorizar a presença de um marcador no documento.
    • Fatores Expandidos: Escala do modelo (de 0.6B a 70B parâmetros), sensibilidade à posição do prompt (início vs. fim do documento), divergência arquitetural (Decoder-only vs. Encoder-Decoder vs. MoE) e robustez entre domínios (TREC-DL vs. BEIR).

• Tarefa 2: Avaliação de Vulnerabilidade de Classificação (Operacional)

  • Objetivo: Quantificar o impacto real na qualidade da recuperação de informações.
  • Métrica: Degradação do nDCG@10 (Normalized Discounted Cumulative Gain).
  • Protocolo: Um pipeline de recuperação em duas etapas (BM25 para geração de candidatos + LLM para reclassificação). Os prompts de ataque foram injetados em documentos não relevantes, e mediu-se a queda na qualidade da lista final de resultados.

3. Principais Contribuições e Descobertas

O estudo confirma, refina e descobre novos limites sobre a vulnerabilidade dos LLMs:

A. Escalabilidade da Vulnerabilidade (Scaling Law)

• Confirmação: Modelos maiores e mais capazes tendem a ser mais vulneráveis a ataques de hijacking de decisão, contradizendo a intuição de que maior capacidade implica maior robustez.
• Nuance: O comportamento de escalonamento não é uniforme. Enquanto a família Gemma-3 mostra um aumento monotônico na vulnerabilidade, a família Qwen3 apresenta trajetórias mais irregulares, com o modelo menor (0.6B) sendo excepcionalmente vulnerável em certos cenários.

B. Sensibilidade à Posição (Position Sensitivity)

• Refutação: Contrariando o estudo original que sugeria que a posição era irrelevante, este trabalho demonstra que a posição da injeção é criticamente importante.
• Descoberta: Em classificações Setwise, prompts injetados no final do documento (back-of-passage) causam significativamente mais danos (maior ASR e maior degradação de nDCG) do que no início. Isso é atribuído ao viés de "recência" (recency bias) comum em arquiteturas decoder-only.

C. Divergência Arquitetural (O Maior Descoberta)

• Resiliência dos Encoder-Decoder: Modelos com arquitetura Encoder-Decoder (ex: Flan-T5) exibem uma resiliência intrínseca extraordinária.
  • Apresentam taxas de sucesso de ataque (ASR) ordens de magnitude menores (média de ~3%) comparados aos modelos decoder-only.
  • Sofrem degradação de nDCG@10 negligenciável ou até nula sob ataque.
  • Causa Provável: O codificador bidirecional permite uma integração semântica global, mitigando o viés de recência, e o pré-treinamento com corrupção de faixas (span corruption) pode ajudar a detectar inconsistências contextuais.
• Arquitetura MoE: Modelos Mixture-of-Experts (MoE) comportam-se de forma semelhante aos modelos decoder-only densos, não oferecendo proteção adicional.

D. Robustez entre Domínios

• A vulnerabilidade é uma propriedade intrínseca do modelo, generalizando-se bem entre domínios gerais (TREC-DL) e especializados (BEIR: biomedicina, fact-checking, etc.).
• Existe uma correlação forte ($r = 0.969$) entre o desempenho em domínios gerais e específicos.
• Fatores do conjunto de dados, como o comprimento do texto e a granularidade dos níveis de relevância, modulam a vulnerabilidade (documentos mais curtos tendem a ser mais vulneráveis devido ao efeito de diluição textual menor).

4. Resultados Quantitativos Chave

• ASR (Taxa de Sucesso): Em modelos decoder-only grandes (ex: LLaMA-3.3-70B), a ASR pode atingir quase 100% em cenários Pairwise e Setwise.
• Degradação de nDCG@10: Sob ataque, a qualidade da classificação cai drasticamente (queda média de ~55% na performance relativa), muitas vezes ficando abaixo da performance de um simples retriever BM25 sem reclassificação.
• Flan-T5: Mantém nDCG@10 estável mesmo sob ataque, demonstrando que a arquitetura é um fator determinante para a segurança.

5. Significado e Implicações

Este trabalho é fundamental para a segurança de sistemas de RI baseados em IA:

1. Limites de Segurança: Define claramente que a escolha da arquitetura (Encoder-Decoder vs. Decoder-only) é tão crucial quanto a escolha do modelo em termos de segurança contra injeção de prompt.
2. Mitigação: Sugere que o uso de modelos Encoder-Decoder ou a implementação de mecanismos que mitiguem o viés de recência são estratégias viáveis para construir sistemas de recuperação mais robustos.
3. Avaliação Realista: Demonstra que métricas de vulnerabilidade intrínseca (ASR) não capturam totalmente o dano operacional; a avaliação deve incluir métricas de qualidade de ranking (nDCG) em pipelines completos.
4. Cenários de Ataque: Os autores alertam que os cenários testados (injeção em todos os documentos não relevantes) são extremos, mas servem como um limite superior de risco, indicando a necessidade de defesas proativas em sistemas de produção.

O código e os resultados adicionais foram disponibilizados publicamente para facilitar a reprodução e o desenvolvimento de futuras defesas.