DECEIVE-AFC: Adversarial Claim Attacks against Search-Enabled LLM-based Fact-Checking Systems

1. O Problema

Os sistemas de verificação de fatos (Fact-Checking) baseados em Grandes Modelos de Linguagem (LLMs) com capacidade de busca na web representam um avanço significativo na luta contra a desinformação. Diferente dos sistemas tradicionais baseados em Redes Neurais Profundas (DNN) que dependem de repositórios estáticos, os sistemas baseados em LLMs recuperam evidências dinamicamente da internet, permitindo maior atualidade e cobertura.

No entanto, a robustez desses sistemas contra ataques adversariais é insuficientemente compreendida. Ataques existentes focam em manipulação de evidências (que exige controle sobre fontes de dados) ou em perturbações superficiais de caracteres (que são facilmente filtradas por LLMs). O artigo identifica uma lacuna crítica: a falta de ataques de afirmação adversária (adversarial claim attacks) eficazes contra sistemas de verificação de fatos habilitados para busca, que consigam enganar o sistema sem alterar o significado factual da afirmação original e sem acesso aos modelos internos (cenário black-box).

2. Metodologia: DECEIVE-AFC

Os autores propõem o DECEIVE-AFC, um framework de ataque baseado em agentes projetado para explorar vulnerabilidades em sistemas de verificação de fatos habilitados para busca. O framework opera sob um modelo de ameaça realista onde o atacante só tem controle sobre a entrada (a afirmação) e não conhece os mecanismos internos do sistema.

O framework consiste em três componentes principais:

A. Estratégias de Ataque no Nível da Afirmação

O DECEIVE-AFC formaliza estratégias que visam diferentes estágios do pipeline de verificação:

1. Engano do Motor de Busca (Search Engine Misguidance): Altera sutilmente propriedades léxicas e estruturais da afirmação (ex.: introdução de sinônimos de baixa frequência, referências não padrão a entidades, injeção de informações redundantes) para que o LLM gere consultas de busca inadequadas, resultando na recuperação de evidências irrelevantes ou de baixa qualidade.
2. Disrupção do Raciocínio do LLM: Introduz complexidade sintática, negações duplas ou frases condicionais para confundir o processo de raciocínio do modelo, dificultando a associação correta entre as evidências recuperadas e a afirmação central.
3. Escalada de Complexidade Estrutural: Transforma afirmações factuais simples (de um único passo) em problemas de raciocínio multi-hop, forçando o sistema a realizar múltiplas etapas de busca e inferência, aumentando a probabilidade de erro em algum elo da cadeia.

B. Avaliação de Validade do Ataque

Para garantir que o ataque seja realista e sutil, o framework impõe restrições rigorosas:

• Preservação do Conteúdo Factual: A afirmação adversária deve manter a mesma intenção factual e veracidade da original (sem "drift" semântico).
• Validação Semântica: Uso de medidas de similaridade semântica e Inferência de Linguagem Natural (NLI) para garantir que a afirmação modificada não se torne contraditória ou irrelevante.
• Justificativa Coerente: O ataque deve induzir o sistema a gerar justificativas que pareçam relevantes, evitando detecção humana óbvia.

C. Framework de Refinamento Baseado em Agentes

O processo de geração de ataques é automatizado através de um ciclo fechado envolvendo:

• Gerador de Afirmações: Cria e refina candidatos a afirmações adversárias.
• Módulo Vítima (Surrogate): Um sistema de verificação de fatos substituto que simula o comportamento do alvo para testar as afirmações.
• Avaliador de Ataque: Analisa se o veredito mudou e se a justificativa gerada é coerente.
• Guarda Semântica: Verifica se a alteração manteve a semântica original.
• Planejador de Ataque: Decide dinamicamente a trajetória do ataque (continuar refinamento, mudar de estratégia ou encerrar) com base no feedback.

3. Resultados Principais

Os autores avaliaram o DECEIVE-AFC em três sistemas reais de verificação de fatos baseados em LLM (HiSS, LEMMA e DEFAME) utilizando o conjunto de dados MOCHEG.

• Desempenho de Ataque: O framework reduziu a precisão de verificação dos sistemas-alvo de 78,7% para 53,7%.
• Taxa de Sucesso do Ataque (ASR): O DECEIVE-AFC alcançou uma ASR de 36,6% no modelo substituto e taxas superiores a 18-31% nos sistemas reais, superando significativamente as linhas de base existentes (como perturbações fonéticas, troca de caracteres e homoglyphs), que tiveram ASRs inferiores a 12%.
• Transferibilidade: As afirmações adversárias geradas demonstraram alta capacidade de transferência entre diferentes sistemas de verificação de fatos.
• Análise de Justificativas: Ataques bem-sucedidos resultaram em justificativas com baixa similaridade lexical e semântica em relação aos casos benignos, indicando que o ataque alterou fundamentalmente o processo de raciocínio e uso de evidências, e não apenas a superfície do texto.
• Estudo de Ablação: A remoção do "Guarda Semântico" aumentou a taxa de inversão de rótulos, mas diminuiu drasticamente a taxa de sucesso final (devido à invalidação semântica), provando que a restrição semântica é crucial para a eficácia do ataque.

4. Contribuições Chave

1. Novo Framework de Ataque: Proposição do DECEIVE-AFC, o primeiro framework baseado em agentes para ataques de afirmação adversária contra sistemas de verificação de fatos habilitados para busca.
2. Estratégias Específicas: Formalização de estratégias de ataque que exploram vulnerabilidades específicas do pipeline de busca e raciocínio de LLMs, indo além das manipulações de caracteres.
3. Validação de Vulnerabilidade: Demonstração empírica de que, apesar de suas capacidades avançadas de raciocínio, os sistemas de verificação de fatos baseados em LLMs são vulneráveis a afirmações cuidadosamente construídas que manipulam indiretamente a recuperação de evidências.
4. Diretrizes de Mitigação: Identificação de que ataques bem-sucedidos não dependem de erros óbvios de raciocínio, mas de desvios sutis na interpretação e recuperação de dados.

5. Significado e Implicações

O estudo revela que a integração de ferramentas de busca na web em LLMs não garante imunidade contra desinformação. Ataques que preservam a semântica, mas distorcem a intenção de busca ou sobrecarregam o raciocínio, podem levar a sistemas de verificação a emitirem falsas negativas ou positivas com justificativas plausíveis.

Isso representa um risco severo, pois tais erros são mais difíceis de detectar do que falhas óbvias. O trabalho sugere que a defesa futura deve incluir:

• Ajuste Fino (Fine-tuning): Treinar modelos com pares de afirmações benignas e adversárias para reconhecer padrões de perturbação.
• Validação Intermediária: Implementar mecanismos de validação nas etapas de geração de consultas e recuperação de evidências para identificar fontes ou consultas suspeitas antes da conclusão final.

Em suma, o DECEIVE-AFC expõe uma vulnerabilidade crítica na infraestrutura emergente de verificação de fatos, destacando a necessidade de desenvolver sistemas mais robustos e seguros contra manipulações linguísticas sofisticadas.