🤖 AI

GPE: Evaluating Robust Evidence Aggregation for Fact Verification under Controllable GEO-Style Poisoning

Este artigo introduz o GPE, um benchmark e framework de avaliação multi-domínio projetado para avaliar a robustez de sistemas de verificação de fatos contra envenenamento por Otimização de Motores Generativos (GEO) ao controlar fontes de evidência e proporções de ataque, revelando vulnerabilidades críticas e compensações não detectáveis em ambientes limpos.

Autores originais: Zhaoqi Wang, Zijian Zhang, Xiaomei Yuan, Pengtao Kou, Jiamou Liu, Zhen Li, Liehuang Zhu

Publicado 2026-07-24

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zhaoqi Wang, Zijian Zhang, Xiaomei Yuan, Pengtao Kou, Jiamou Liu, Zhen Li, Liehuang Zhu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a internet como uma biblioteca enorme e movimentada, onde os livros estão sendo constantemente reescritos por uma multidão caótica. Nesta biblioteca, a Inteligência Artificial (IA) atua como um bibliotecário superinteligente que não apenas memoriza fatos, mas sai para buscar os livros mais recentes para responder às suas perguntas. É assim que a IA moderna funciona: ela usa a "geração aumentada por recuperação", o que significa que ela pesquisa na web informações frescas para fundamentar suas respostas. Mas aqui está o problema: e se alguém entrar sorrateiramente na biblioteca e trocar os livros reais por livros falsos que parecem e soam exatamente como os reais? Este é o perigo do "envenenamento de GEO". Assim como um agente mal-intencionado pode tentar enganar um mecanismo de busca para mostrar suas notícias falsas primeiro, eles podem inundar a biblioteca com mentiras convincentes projetadas especificamente para enganar o bibliotecário de IA. A grande questão para os cientistas é: se a biblioteca estiver cheia dessas falsificações astutas, a IA ainda conseguirá dizer a verdade ou será enganada a acreditar que os livros falsos são reais?

Este é exatamente o problema abordado por um novo estudo chamado GPE (Avaliação de Envenenamento de Otimização de Motores Generativos). Os pesquisadores construíram uma "academia de treinamento" especial para a verificação de fatos da IA, projetada para testar o quão bem esses bibliotecários digitais conseguem detectar mentiras quando as evidências que encontram estão contaminadas. Em vez de apenas perguntar: "A IA consegue encontrar a resposta certa?", eles perguntaram: "A IA consegue encontrar a resposta certa quando 33%, 67% ou até 100% das evidências que ela encontra foram secretamente envenenadas?". Eles criaram um conjunto de dados massivo cobrindo seis mundos diferentes: política, fofocas de celebridades, ciência, medicina, história e vida cotidiana. Para cada afirmação, eles reuniram evidências reais e, em seguida, injetaram diferentes tipos de "veneno" — alguns eram artigos falsos fluentes, outros eram artigos de notícias reais com fatos cruciais trocados e alguns eram até instruções dizendo à IA para ignorar a verdade.

Os resultados foram um pouco um alerta. O estudo descobriu que até os modelos de IA mais inteligentes lutam significamente quando as evidências são envenenadas. Em um ambiente limpo, sem mentiras, os melhores modelos acertavam a resposta cerca de 52% a 53% das vezes. Mas assim que as evidências foram poluídas, seu desempenho caiu drasticamente. Por exemplo, quando as evidências foram completamente substituídas por conteúdo falso, a precisão de alguns modelos despencou para dígitos únicos. Os pesquisadores descobriram que nenhum método sozinho era um super-herói; um modelo que era bom em detectar um tipo de notícia falsa frequentemente falhava miseravelmente contra outro. Eles também descobriram que tentar ser mais cuidadoso muitas vezes custava mais "poder cerebral" (na forma de tokens de computador) para a IA, tornando-a mais lenta e cara sem necessariamente torná-la mais segura.

Uma das descobertas mais interessantes foi sobre o tipo de veneno. O estudo mostrou que os "Ataques de Adulteração Adaptativa" (ATA) — onde agentes mal-intencionados pegam um artigo real e de aparência confiável e apenas mudam alguns números ou nomes — eram os mais perigosos. Esses eram mais difíceis de serem detectados pela IA do que notícias falsas obviamente inventadas porque pareciam tanto com a coisa real. Os pesquisadores também construíram um "grafo de conhecimento", que é como um mapa gigante conectando todas as pessoas, lugares e documentos em seu conjunto de dados. Este mapa ajuda os pesquisadores a ver como uma única peça de evidência envenenada pode se espalhar e enganar a IA sobre múltiplas afirmações diferentes.

Em última análise, o artigo sugere que não podemos confiar nos métodos atuais de verificação de fatos da IA para serem robustos contra esses ataques. O estudo prova que uma IA pode parecer confiante e inteligente quando as evidências estão limpas, mas essa confiança pode desaparecer no momento em que as evidências são manipuladas. Os autores concluem que precisamos de novas maneiras de avaliar esses sistemas, não apenas sobre o quão bem eles funcionam em um mundo perfeito, mas sobre como eles sobrevivem em um mundo desordenado e adversarial, onde a verdade está escondida atrás de uma parede de mentiras convincentes.

Resumo Técnico: GPE – Avaliando a Agregação de Evidências Robusta para Verificação de Fatos sob Envenenamento Controlável do Estilo GEO

1. Definição do Problema

O rápido avanço dos Grandes Modelos de Linguagem (LLMs) levou à adoção generalizada de fluxos de trabalho de recuperação aumentada, onde os modelos utilizam ferramentas de busca externas para acessar informações atualizadas. No entanto, isso introduz uma vulnerabilidade crítica: o estágio de recuperação pode ser manipulado. Esse risco é exacerbado pela Otimização de Motores Generativos (GEO), um paradigma projetado para tornar o conteúdo mais propenso a ser recuperado, resumido e citado por motores de busca generativos. Em cenários adversários, o envenenamento por GEO ocorre quando adversários publicam grandes volumes de conteúdo otimizado para modelos e amigável à busca em torno de uma afirmação alvo para direcionar o modelo para conclusões incorretas.

Os benchmarks de verificação de fatos existentes (ex: FEVER, LIAR, GossipCop) são insuficientes para avaliar a robustez neste novo ambiente porque:

Carecem de um ambiente de evidência aberto e unificado onde métodos concorrentes são testados contra a mesma informação recuperada.
Frequentemente focam em domínios únicos, limitando a generalização.
Não injetam evidências envenenadas de forma sistemática, tornando impossível medir como a confiabilidade degrada conforme o conteúdo adversário aumenta.
Não abordam o desafio da "agregação com robustez Bizantina", onde um sistema deve julgar um conjunto misto de evidências contendo documentos desatualizados, imprecisos ou intencionalmente fabricados.

2. Metodologia: O Framework GPE

Os autores propõem o GPE (GEO Poisoning Evaluation), um benchmark de verificação de fatos multi-domínio e um framework de avaliação projetado para controlar fontes de evidência e proporções de envenenamento.

A. Construção do Benchmark

Coleta de Dados: As afirmações são coletadas de seis categorias: política, fofoca de entretenimento, ciência, medicina/saúde, história e senso comum da vida cotidiana. As fontes incluem sites de verificação de fatos (PolitiFact, Snopes), veículos de notícias (Reuters, BBC) e organizações oficiais (WHO, NASA).
Ambiente de Evidência: Para cada afirmação, um pipeline baseado em agentes coleta evidências brutas de diversas fontes (web, Wikipedia, arXiv, redes sociais, etc.). O processo é iterativo, buscando evidências com equilíbrio de postura (stance-balanced) e evitando fontes redundantes.
Rotulagem: As afirmações recebem um espaço de rotulagem de seis vias: verdadeiro, majoritariamente_verdadeiro, meio_verdadeiro, majoritariamente_falso, falso, incerto. O framework também suporta rótulos de subafirmações granulares para decompor afirmações compostas em fatos atômicos.
Mecanismo de Envenenamento: O framework gera conjuntos de evidências maliciosas ( $D^m_i$ $D_{i}^{m}$ ) para misturar com evidências benignas ( $D_i$ $D_{i}$ ) em proporções controladas ( $\alpha \in \{0\%, 33\%, 67\%, 100\%\}$ $α \in {0%, 33%, 67%, 100%}$ ). Quatro tipos de ataque foram implementados:
1. Estilo FakeGPT: Passagens enganosas sintetizadas, fluentes e persuasivas, otimizadas para LLMs.
2. Estilo PoisonedRAG: Documentos injetados para direcionar o modelo para um rótulo alvo adversário (ex: inverter verdadeiro para falso).
3. Ataque de Adulteração Adaptativa (ATA): Documentos reais onde entidades, quantidades, datas ou relações causais chave são alteradas, preservando o estilo e a aparência da fonte original.
4. Injeção de Ignorar (Ignore Injection): Instruções incorporadas nos documentos que ordenam ao verificador que ignore outras evidências e adote um rótulo alvo específico.
Grafo de Conhecimento: Um grafo auxiliar conecta afirmações, subafirmações, evidências, entidades, eventos e fontes para permitir a análise de reuso de evidências, dependência de fonte e propagação de envenenamento.

B. Protocolo de Avaliação

Teste de Caixa Preta: O framework avalia métodos fornecidos pelo usuário (Direct, RAFTS, SAFE, STEEL) como caixas pretas. Os métodos recebem a mesma lista de evidências brutas, mas aplicam sua própria análise interna ( $\Phi_M$ ).
Métricas:
- Acurácia de Seis Vias Exata: Correspondência estrita do rótulo previsto com a verdade fundamental (ground truth).
- Eficiência de Tokens: Medida via Tokens por Verificação Correta (TCV) e 1000 Previsões Corretas por Token (1000C/T) para avaliar a eficiência de custo do raciocínio robusto.
- Análise Granular: Acurácia ao nível de subafirmação e pontuações médias ordinais (concedendo crédito parcial para rótulos próximos do correto).

3. Principais Contribuições

Dataset GPE: Um dataset de verificação de fatos multi-categoria cobrindo seis domínios com rótulos verificados por humanos, evidências benignas coletadas e evidências envenenadas geradas sistematicamente.
Framework de Avaliação: Um protocolo unificado que permite a variação sistemática das proporções de envenenamento enquanto mantém as afirmações e a seleção de evidências fixas, permitindo o isolamento da robustez em relação à variância de recuperação.
Grafo de Conhecimento: Um registro estruturado ligando 638 afirmações a mais de 22.000 entidades e 11.000 itens de evidência, facilitando a análise baseada em grafos de dependências entre instâncias e caminhos de envenenamento.

4. Resultados Experimentais

Os autores avaliaram quatro estratégias de verificação (Direct, RAFTS, SAFE, STEEL) utilizando as espinhas dorsais DeepSeek-V4-Flash e GPT-5.4.

Desempenho Limpo: Mesmo sem envenenamento, a verificação de seis vias é difícil, com as melhores acurácias limpas em torno de 52–54%. Nenhum método domina sozinho em todos os domínios.
Degradação da Robustez: Todos os métodos sofrem quedas significativas de acurácia conforme as proporções de envenenamento aumentam.
- ATA (Adulteração Adaptativa) provou ser o ataque mais danoso em média, causando a degradação mais íngreme. Isso sugere que preservar o contexto semelhante ao da fonte enquanto se altera fatos chave é altamente eficaz.
- Injeção de Ignorar (Ignore Injection) mostrou resultados variados; o STEEL (que utiliza fluxo de controle em estágios) foi mais resistente a este ataque específico, mas permaneceu vulnerável à adulteração de conteúdo.
- Ausência de Robustez Universal: Um método robusto contra um tipo de ataque ou proporção de envenenamento não era necessariamente robusto contra outros.
Trade-offs de Eficiência: À medida que a acurácia colapsa sob envenenamento, o Tokens per Correct Verification (TCV) aumenta dramaticamente. Por exemplo, sob 100% de envenenamento FakeGPT, o TCV do método Direct no DeepSeek-V4-Flash subiu de 2.00K para 11.92K, indicando que previsões baratas tornam-se altamente ineficientes quando a acurácia falha.
Análise de Subafirmação: A avaliação granular revelou que, embora a acurácia geral caia, alguns métodos (como o STEEL) mantiveram pontuações médias ordinais mais altas, sugerindo que ainda podem aproximar o nível de veracidade correto, mesmo quando falham na correspondência exata do rótulo.

5. Significância e Alegações

O artigo afirma que o GPE preenche uma lacuna crítica ao fornecer o primeiro ambiente controlado para avaliar a verificação de fatos sob envenenamento adversário do estilo GEO. Os autores alegam que:

A robustez é distinta da acurácia limpa: Alto desempenho em dados limpos não garante resiliência contra evidências envenenadas.
A especificidade do ataque importa: Defesas eficazes contra injeção de instrução (Ignore Injection) não protegem necessariamente contra adulteração semântica (ATA).
A eficiência é condicional: Baixos custos de tokens só são significativos quando a acurácia é mantida; caso contrário, o custo por julgamento correto torna-se proibitivo.
Necessidade de nova avaliação: Os benchmarks atuais não conseguem avaliar a "agregação com robustez Bizantina" necessária para a verificação de fatos no mundo real em ambientes de informação não confiáveis.

O artigo conclui que avaliar a verificação de fatos requer ir além dos cenários de recuperação limpa para entender como os modelos agregam evidências diversas, ruidosas e potencialmente maliciosas.