WETBench: A Benchmark for Detecting Task-Specific Machine-Generated Text on Wikipedia

Resumo Técnico: WETBench: Um Benchmark para Detecção de Texto Gerado por Máquina Específico de Tarefas na Wikipedia

Definição do Problema
A Wikipedia serve como um conjunto de dados fundamental para o treinamento de grandes modelos de linguagem (LLMs), mas a plataforma enfrenta riscos crescentes devido à proliferação de texto gerado por máquina (MGT) de baixa qualidade. Embora pesquisas existentes tenham desenvolvido detectores para MGT, esses benchmarks avaliam predominantemente o desempenho em tarefas de geração genéricas e abertas (ex: "Escreva um artigo sobre X"). Os autores argumentam que essa abordagem não se alinha com as práticas reais de edição da Wikipedia, que são tipicamente específicas de tarefas, incrementais e condicionadas ao contexto. Consequentemente, detectores treinados em dados genéricos podem falhar ao generalizar para cenários editoriais realistas, deixando a plataforma vulnerável a alucinações, vieses e problemas de integridade de conteúdo. Além disso, trabalhos anteriores frequentemente dependem de prompts únicos para gerar artigos inteiros, uma prática explicitamente desencorajada pela comunidade da Wikipedia.

Metodologia
Para abordar esse desalinhamento, os autores introduzem o WETBench, um benchmark multilíngue, multigerador e específico de tarefas, projetado para simular fluxos de trabalho reais de editores. A metodologia envolve três componentes principais:

1. Construção do Conjunto de Dados: Os autores construíram dois novos corpora cobrindo inglês, português e vietnamita:

   • WikiPS: Uma coleção de grande escala de parágrafos da Wikipedia e tripletos lead–infobox–corpo de alta qualidade, filtrados para garantir nenhuma contaminação por MGT (usando revisões pré-ChatGPT).
   • mWNC: Uma extensão multilíngue do Wikipedia Neutrality Corpus (WNC), incluindo pares de texto enviesado e neutralizado em nível de sentença e de parágrafo.

2. Definição de Tarefa e Engenharia de Prompt: O benchmark define três tarefas de edição fundamentadas em casos de uso de editores:

   • Escrita de Parágrafo: Gerar um novo parágrafo de seção do zero. Os autores avaliaram prompts variando de instruções mínimas a prompts condicionados ao conteúdo e Geração Aumentada de Recuperação (RAG Ingênua). A RAG Ingênua foi selecionada como a estratégia ideal para gerar MGT.
   • Sumarização: Gerar uma seção de introdução (lead) baseada no corpo do artigo e na infobox. O prompting de um único exemplo (one-shot) foi determinado como a estratégia mais eficaz.
   • Transferência de Estilo de Texto (TST): Neutralizar sentenças ou parágrafos enviesados para alinhar com a política de Ponto de Vista Neutro (NPOV) da Wikipedia. O prompting de cinco exemplos (five-shot) apresentou os melhores resultados.

3. Configuração Experimental:

   • Geradores: O MGT foi gerado usando quatro modelos (GPT-4o mini, Gemini 2.0 Flash, Qwen2.5-7B-Instruct, Mistral-7B-Instruct) através das três línguas.
   • Detectores: O benchmark avaliou oito detectores de última geração (SOTA) através de três famílias: baseados em treinamento (XLM-RoBERTa, mDeBERTa), zero-shot white-box (Binoculars, LLR, FastDetectGPT-WB) e zero-shot black-box (Revise-Detect, GECScore, FastDetectGPT-BB).
   • Escala: O benchmark final compreende 101.940 textos (escritos por humanos e gerados por máquinas) através de tarefas, línguas, geradores.

Principais Contribuições

• Benchmark WETBench: O lançamento de um benchmark abrangente contendo 101.940 textos específicos de tarefas, cobrindo três línguas com diferentes níveis de recursos, quatro geradores e oito detectores.
• Novos Corpora: A criação e o lançamento do WikiPS (parágrafos e pares lead-conteúdo) e mWNC (corpus de neutralidade multilíngue com pares de nível de parágrafo), que estão disponíveis para pesquisa de IA mais ampla além da detecção de MGT.
• Avaliação Empírica: Uma avaliação sistemática de detectores SOTA em cenários de edição realistas e específicos de tarefas, contrastando fortemente com benchmarks de geração aberta anteriores.

Resultados
A avaliação revela desafios significativos para os métodos de detecção atuais em configurações realistas:

• Desempenho Geral: Os detectores lutam significativamente em comparação com os resultados em benchmarks genéricos. Detectores baseados em treinamento alcançaram uma acurácia média de 78%, enquanto detectores zero-shot tiveram média de apenas 58%.
• Variância de Tarefa: A acurácia de detecção variou por tarefa. A Sumarização foi a mais fácil de detectar (detectores supervisionados atingiram ~89% de acurácia), seguida pela Escrita de Parágrafo. A Transferência de Estilo de Texto (TST) provou ser a mais difícil, com acurácias frequentemente próximas ao acaso para métodos zero-shot e apenas ligeiramente superiores para métodos supervisionados.
• Variância de Método: Detectores supervisionados (baseados em treinamento) superaram consistentemente os métodos zero-shot em todas as tarefas e línguas. Entre os métodos zero-shot, detectores black-box (especificamente o GECScore) geralmente performaram melhor que os métodos white-box, embora o desempenho varie por língua e gerador.
• Efeitos de Modelo e Língua: Geradores menores (ex: Mistral, Qwen) deixaram traços mais detectáveis para modelos de treinamento, enquanto modelos maiores (ex: GPT-4o) foram mais difíceis de detectar. O desempenho também degradou em línguas de baixos recursos (vietnamita), onde alguns modelos (ex: Mistral) falharam em seguir instruções, criando artefatos que detectores baseados em treinamento puderam explorar, mas métodos zero-shot não.

Significância e Alegações
O artigo afirma que o WETBench fornece um necessário choque de realidade para o campo da detecção de MGT. Os autores asseguram que os detectores existentes, embora eficazes em tarefas genéricas, carecem da generalização necessária para contextos do mundo real, impulsionados por editores, na Wikipedia. Os resultados sublinham que:

1. A Especificidade da Tarefa Importa: As características textuais do MGT específico de tarefas (ex: neutralizar uma sentença) assemelham-se de perto à escrita humana, tornando-as mais difíceis de distinguir do que a geração de código aberto.
2. Limitações Atuais: Existe uma incerteza substancial quanto à confiabilidade dos métodos de detecção automatizados atuais para salvaguardar a integridade do conhecimento da Wikipedia.
3. Direção Futura: Os autores defendem a avaliação de detectores em dados que reflitam fluxos de trabalho práticos de editores, em vez de geração sintética e aberta. Eles posicionam o WETBench como uma ferramenta para informar a comunidade Wikimedia e a comunidade de pesquisa de IA em geral sobre a viabilidade atual e as limitações da detecção de MGT, em vez de alegar terem resolvido o problema da detecção inteiramente.

O artigo conclui com uma perspectiva modesta, observando que, embora seus achados destaquem limitações atuais, o benchmark é projetado para ser extensível com tarefas, línguas e geradores adicionais conforme o campo evolui.