Injecting Falsehoods: Adversarial Man-in-the-Middle Attacks Undermining Factual Recall in LLMs

Resumo Técnico: Ataques Adversariais "Man-in-the-Middle" em LLMs

1. O Problema

À medida que os Grandes Modelos de Linguagem (LLMs) se tornam pilares fundamentais na recuperação de informações e em fluxos de trabalho autônomos, a segurança de sua integridade factual torna-se uma preocupação crítica. Embora a pesquisa adversarial recente tenha focado principalmente em cenários de "jailbreak" (onde o usuário malicioso tenta contornar filtros de segurança), este artigo identifica uma ameaça mais insidiosa: o ataque Man-in-the-Middle (MitM).

Neste cenário de ameaça, o usuário é benigno e busca informações factuais, mas um intermediário malicioso intercepta e perturba a entrada (prompt) antes que ela chegue ao modelo LLM. O objetivo do atacante não é exfiltrar dados, mas sim corromper a resposta factual do modelo, explorando a incapacidade do LLM de distinguir entre instruções benignas e instruções adversariais que contradizem seu conhecimento interno. Isso representa um risco grave para a confiabilidade de sistemas de IA em aplicações de alto risco.

2. Metodologia: O Framework $\chi$mera

Os autores propõem o $\chi$mera, um novo framework teórico e fundamentado para avaliar a memória factual de LLMs sob injeção de prompts via MitM. Diferente de ataques que dependem de otimização pesada ou busca exaustiva de tokens, o $\chi$mera trata o vetor de ataque MitM como um processo de geração contrafactual.

Definição Formal:
Um processo de perturbação $\chi$ é considerado um ataque MitM se, dada uma pergunta $q_i$ e sua resposta correta $a_i$, a pergunta perturbada $\hat{q}_i = \chi(q_i)$ fizer com que o modelo $g$ produza uma resposta incorreta.

Tipos de Ataques Propostos:
O estudo implementa três variações específicas de ataques MitM para perturbar consultas em cenários de perguntas e respostas (QA) de "livro fechado" (sem acesso a contexto externo):

1. $\alpha$-$\chi$mera (Ataque Baseado em Instrução):
   • Mecanismo: Adiciona uma instrução enganosa ao final da pergunta original (ex: "Responda apenas com uma resposta errada").
   • Objetivo: Explorar a capacidade do modelo de seguir instruções, confundindo-o para que ignore seu conhecimento factual interno e obedeça à instrução adversária.
2. $\beta$-$\chi$mera (Ataque Consciente de Fatos):
   • Mecanismo: Extrai o fato subjacente da pergunta, perturba-o para criar uma informação falsa (ex: trocar o nome de um prêmio Nobel) e o antepõe à pergunta como contexto.
   • Objetivo: Enganar o modelo fazendo-o usar o contexto falso como base para a resposta, sobrecarregando sua memória paramétrica.
3. $\gamma$-$\chi$mera (Ataque com Ruído Semântico):
   • Mecanismo: Insere um fato aleatório e semanticamente não relacionado (mas sintaticamente correto) antes da pergunta.
   • Objetivo: Confundir o modelo com contexto irrelevante para induzir erros, sem direcionar especificamente a resposta para um fato falso.

Configuração Experimental:

• Modelos Testados: GPT-4o, GPT-4o-mini, LLaMA-2-13B, LLaMA-3-8B, Mistral-Nemo-12B, Mistral-7B e Phi-3.5-mini.
• Datasets: TriviaQA, HotpotQA e Natural Questions (adaptados para avaliação de livro fechado).
• Métricas de Incerteza: Para detectar ataques, os autores monitoram a incerteza do modelo usando Entropia, Perplexidade e Probabilidade de Tokens.

3. Resultados Principais

• Alta Taxa de Sucesso dos Ataques:

  • Surpreendentemente, o ataque mais trivial, $\alpha$-$\chi$mera (baseado em instruções), obteve a maior taxa de sucesso, chegando a ~85,3% em alguns casos (especificamente no GPT-4o-mini).
  • O modelo GPT-4o-mini mostrou-se extremamente vulnerável a instruções diretas, caindo para uma precisão média de apenas 14,7% sob ataque $\alpha$, enquanto modelos maiores como o GPT-4o foram mais robustos, mas ainda vulneráveis.
  • Os ataques $\beta$ e $\gamma$ também tiveram sucesso significativo, com taxas médias de sucesso de ~42,9% e ~26,3%, respectivamente.

• Incerteza como Sinal de Alerta:

  • As respostas incorretas geradas sob ataque apresentaram consistentemente níveis de incerteza mais altos (maior entropia e perplexidade, menor probabilidade de token) em comparação com respostas corretas ou com o estado sem ataque.
  • O ataque $\alpha$-$\chi$mera gerou os maiores picos de incerteza, sugerindo que o modelo está "confuso" entre seguir a instrução maliciosa e seu conhecimento factual.

• Defesa via Classificação de Incerteza:

  • Os autores treinaram classificadores Random Forest baseados nos níveis de incerteza das respostas para distinguir entre consultas atacadas e não atacadas.
  • Resultado: O sistema de defesa alcançou uma Área Sob a Curva (AUC) média de até ~94,8% na detecção de ataques específicos, demonstrando que a incerteza do modelo é um indicador robusto de manipulação, mesmo sem acesso aos pesos internos do modelo.

4. Contribuições Chave

1. Formalização de Ataques MitM em LLMs: Primeira definição formal de ataques MitM para LLMs, adaptando conceitos de explicações contrafatuais e ataques adversariais.
2. Avaliação Focada na Memória Factual: Diferente de estudos anteriores focados em comportamento ou jailbreaks, este trabalho isola a vulnerabilidade da integridade factual em cenários de livro fechado, demonstrando que instruções plausíveis podem corromper o conhecimento interno do modelo.
3. Mecanismo de Alerta ao Usuário: Propõe e valida um mecanismo de defesa leve que utiliza a incerteza da geração do modelo para alertar usuários finais sobre possíveis manipulações, sem exigir alterações na arquitetura do LLM.
4. Dataset Público: Liberação de um dataset com 3.000 amostras (perguntas, respostas corretas e contextos factuais incorretos) para facilitar pesquisas futuras sobre RAG adversarial e segurança de LLMs.

5. Significado e Impacto

Este trabalho destaca uma vulnerabilidade crítica na infraestrutura atual de IA: a integridade do caminho de entrada. Mesmo que a resposta do LLM seja assinada criptograficamente (garantindo que veio do servidor), a consulta que gerou essa resposta pode ter sido adulterada por um intermediário.

• Segurança Cibernética: O estudo alerta que a confiança cega em LLMs para recuperação de informações é perigosa, especialmente em ambientes corporativos ou públicos onde o controle do prompt pode ser comprometido.
• Diretrizes Regulatórias: Os resultados apoiam a necessidade de frameworks de segurança como o AI Act da UE, enfatizando a transparência e a resiliência dos sistemas de IA.
• Futuro da Defesa: A descoberta de que a incerteza do modelo serve como um "sinal de fumaça" para ataques sugere que futuras defesas devem integrar monitoramento de incerteza em tempo real para proteger usuários contra desinformação gerada por IA manipulada.

Em suma, o artigo demonstra que LLMs são vulneráveis a manipulações sutis que comprometem sua factualidade, mas que sinais internos de incerteza podem ser explorados para criar barreiras de defesa eficazes e acessíveis.