💬 NLP

EVIL-Detect for NLPCC 2026 Shared Task 6: LLM-Generated Text Detection

Este artigo apresenta o EVIL-Detect, um framework de ensemble multissinal com fusão consciente de conflitos que conquistou o primeiro lugar na NLPCC 2026 Shared Task 6 ao detectar efetivamente textos gerados por LLM, escritos por humanos e refinados por LLM em cenários de língua chinesa.

Autores originais: Hongrui Bao, Hangyu Rong, Zhuoshang Wang, Yubing Ren, Yanan Cao

Publicado 2026-08-12

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hongrui Bao, Hangyu Rong, Zhuoshang Wang, Yubing Ren, Yanan Cao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a internet como uma biblioteca gigante e movimentada onde livros são escritos tanto por humanos quanto por um novo tipo de bibliotecário incrivelmente rápido: a Inteligência Artificial. Por muito tempo, esses bibliotecários de IA (chamados de Modelos de Linguagem de Grande Escala ou LLMs) podiam apenas escrever notas simples, mas agora eles podem escrever histórias, ensaios e artigos inteiros que soam quase exatamente como se um humano os tivesse escrito. Isso é uma faca de dois gumes. Por um lado, é um superpoder para a criatividade; por outro, torna difícil distinguir quem realmente escreveu um texto. Se um estudante entrega uma redação, como saberemos se foi ele quem escreveu, se foi uma IA que escreveu, ou se ele pediu ajuda a uma IA para polir seu rascunho inicial? Este é o grande enigma que os cientistas estão tentando resolver: construir um "detector de mentiras" para textos que consiga distinguir a diferença entre um humano, um robô e uma parceria entre humano e robô.

Nesta história, uma equipe de pesquisadores da China construiu uma nova ferramenta chamada EVIL-Detect para resolver este enigma. Eles não construíram apenas um detector único; eles construíram um "esquadrão de detetives" que trabalha em conjunto para capturar a verdade. O sistema deles foi testado em uma importante competição chamada NLPCC 2026, onde enfrentou um desafio complexo: distinguir entre três tipos de texto — escrita puramente humana, escrita puramente de IA e texto escrito por um humano, mas que foi editado ou polido por uma IA. Enquanto outros métodos tentavam adivinhar a resposta com um único cérebro, o EVIL-Detect utilizou uma abordagem de equipe, combinando diferentes pistas para chegar à resposta correta. Na pontuação final, seu sistema alcançou um score macro-F1 de 0,8888, ocupando o primeiro lugar na avaliação oficial.

O Problema: O Mistério de "Três Vias"

A maioria dos detectores de antigamente eram como interruptores binários: podiam dizer apenas "Humano" ou "IA". Mas o mundo real é mais bagunçado. As pessoas frequentemente usam a IA para corrigir sua gramática ou fazer sua escrita parecer melhor. Isso cria uma terceira categoria: texto refinado por LLM. Imagine que um estudante escreve um rascunho (Humano), depois pede a uma IA para "fazer isso parecer mais profissional" (Refinado), ou uma IA escreve uma história inteira do zero (IA). O desafio é que o texto "Refinado" parece uma mistura de ambos, tornando-o muito difícil de identificar.

Os pesquisadores descobriram que, se você apenas tentar ensinar um computador a adivinhar as três categorias ao mesmo tempo, ele fica confuso. Em seus testes, um método padrão que tentou aprender as três categorias diretamente teve um desempenho terrível, pontuando apenas 0,1690 no teste. Era como tentar ensinar um cachorro a falar três línguas ao mesmo tempo; ele simplesmente desistia.

A Solução: O Esquadrão de Detetives (EVIL-Detect)

Em vez de um grande cérebro, a equipe construiu o EVIL-Detect (que significa Edit-aware View-Integrated Learning for Detection - Aprendizado Integrado de Visões Sensível à Edição). Pense neste sistema como uma equipe de quatro detetives diferentes, cada um olhando para o texto através de um par de óculos diferente. Eles não apenas votam; eles conversam entre si e resolve-se suas divergências para chegar a um veredito final.

Aqui estão os quatro detetives e o que eles procuram:

O "Detetive de Edição" (Treinamento Supervisionado): Este detetive é treinado para medir o quanto o texto foi alterado. Ele observa a diferença entre o estilo original de um humano e a versão final. Se o texto é puramente humano, a mudança é zero. Se é puramente IA, a mudança é enorme. Se é "Refinado", a mudança está em algum lugar no meio. Este detetive fornece uma pontuação em uma escala deslizante de 0 a 1, dizendo à equipe o quão "editado" o texto parece ser.
O "Detetive Zero-Shot" (EchoPrompt): Este detetive não precisa ser treinado nos dados específicos. Ele usa um truque inteligente: pergunta ao texto: "Isso soa como algo que um robô diria?", comparando a probabilidade de diferentes modelos de IA gerarem aquele texto. Se o texto soa muito como a saída natural de um robô, este detetive levanta uma bandeira vermelha de "gerado por IA".
O "Detetive de Contagem de Palavras" (Estatística Lexical): Este detetive observa os detalhes pequenos e entediantes: com que frequência certas palavras ou combinações de letras aparecem. Humanos e robôs tendem a usar "impressões digitais" de palavras diferentes. Este detetive conta esses padrões para ver se o texto pende mais para hábitos humanos ou hábitos de máquinas.
O "Detetive do Livro de Regras" (Regras de Texto): Este é a rede de segurança. Ele procura por evidências óbvias que um humano não cometeria, como códigos de computador residuais (tags HTML como <div> ou <html>) ou frases inacabadas que parecem que um robô foi interrompido no meio da frase. Se ele vê isso, marca imediatamente o texto como IA.

Como Eles Trabalham Juntos: A Reunião "Consciente do Conflito"

A magia do EVIL-Detect não é apenas ter quatro detetives; é como eles lidam com o caso de discordarem. Às vezes, o "Detetive de Edição" acha que um texto é "Refinado", mas o "Detetismo de Contagem de Palavras" acha que é "IA".

Em vez de apenas tirar a média de seus votos (o que seria como uma democracia onde a opinião da minoria é ignorada), a equipe utiliza uma estratégia de Fusão Consciente do Conflito (Conflict-Aware Fusion). Eles possuem um conjunto de regras para resolver argumentos:

Se dois detetives concordam, eles seguem essa resposta.
Se eles discordam, eles analisam as pistas específicas. Por exemplo, se o "Detetive de Edição" está em dúvida entre "Humano" e "Refinado", a equipe verifica o "Detetive Zero-Shot" para ver se há sinais fortes de IA.
Finalmente, o "Detetive do Livro de Regras" tem a última palavra. Se o texto contiver código de computador óbvio, o sistema anula tudo o mais e classifica como IA.

Os Resultados: Vencendo a Competição

Quando a equipe testou seu sistema nos dados oficiais da competição, que incluíam exemplos complicados e não vistos, projetados para quebrar detectores, o EVIL-Detect teve um desempenho incrível.

No primeiro conjunto de testes (testp1), obteve um macro-F1 de 0,8913.
No segundo conjunto de testes, mais difícil (testp2), obteve 0,8888.

O sistema foi particularmente bom em detectar textos puramente de IA (pontuando 0,9219 nessa categoria) e fez um bom trabalho com o complicado texto "Refinado" (pontuando 0,8407). Os pesquisadores descobriram que o "Detetive de Edição" era o membro individual mais forte da equipe, mas o sistema só alcançou o topo por causa dos outros detetives que ajudaram a corrigir os erros cometidos pelo principal.

O Que Eles Aprenderam (e o Que Rejeitaram)

O artigo também testou outras ideias para ver se funcionavam, e descobriram que alguns métodos populares na verdade falharam neste desafio específico de três vias.

O Treinamento Direto Falhou: Eles tentaram treinar um único modelo de IA para apenas "adivinhar" as três categorias diretamente. Foi um desastre, pontuando apenas 0,1690. Isso provou que você não pode simplesmente jogar dados em um modelo e esperar que ele entenda a nuance entre "Humano", "IA" e "Refinado" sem ajuda.
Detectores Antigos Tiveram Dificuldade: Eles também testaram um método chamado "Binoculars", que é bom para detecção binária simples, mas pontuou apenas 0,3928 aqui. Não conseguiu lidar com a complexidade das três classes.

Os pesquisadores sugerem que o segredo do sucesso não foi um único "super-modelo", mas sim um ensemble de múltiplos sinais. Ao combinar a "força da edição" (o quanto foi alterado), a "probabilidade" (soa como um robô?) e os "padrões de palavras", eles criaram um sistema robusto o suficiente para lidar com a realidade bagunçada de como as pessoas realmente usam a IA hoje.

Em resumo, o EVIL-Detect mostra que para capturar a verdade em um mundo de IA e humanos, você precisa de uma equipe de especialistas que possam argumentar, entrar em consenso e verificar uns aos outros, em vez de confiar em um único palpite.

Resumo Técnico: EVIL-Detect para a Tarefa Compartilhada 6 do NLPCC 2026

Definição do Problema
O artigo aborda o desafio de detectar texto gerado ou refinado por Grandes Modelos de Linguagem (LLMs) em cenários realistas em chinês. Enquanto a literatura existente foca predominantemente na classificação binária (distinguir Texto Escrito por Humanos [HWT] de Texto Gerado por LLM [LGT]), a Tarefa Compartilhada 6 do NLPCC 2026 introduz um problema de classificação de três classes mais complexo:

HWT: Texto puramente escrito por humanos.
LGT: Texto totalmente gerado por um LLM.
HLT: Texto refinado por LLM (texto escrito por humanos polido ou reescrito por um LLM).

Os autores observam que este cenário reflete a escrita assistida por IA no mundo real, mas apresenta desafios significativos devido a fortes mudanças de distribuição fora do domínio (OOD) entre os dados de treinamento (derivados de CUDRT) e os dados de avaliação (derivados de DetectRL-X), que envolvem domínios, geradores e esquemas de geração não vistos. A adaptação direta de classificadores binários ou do ajuste fino supervisionado (SFT) padrão para este cenário de três classes mostrou-se insuficientemente robusta, com algumas abordagens de linha de base SFT alcançando pontuações macro-F1 tão baixas quanto 0,1690.

Metodologia: EVIL-Detect
Os autores propõem o EVIL-Detect (Edit-aware View-Integrated Learning for Detection), um framework de ensemble de múltiplos sinais projetado para lidar com o contínuo entre HWT, HLT e LGT. A arquitetura do sistema integra quatro fontes distintas de evidência através de uma estratégia de fusão consciente de conflitos:

Módulo de Treinamento Supervisionado (Regressão de Extensão de Edição):
- Inspirado pelo EditLens, este módulo trata a detecção como um problema de regressão contínua em vez de classificação discreta.
- Ele define um eixo de alvo de extensão de edição onde HWT é 0, LGT é 1 e HLT é um valor $d(h, t)$ representando a distância entre a fonte humana e o texto refinado.
- Duas variantes são implementadas:
  - EditLens: Utiliza distâncias de $n$ -gramas de caracteres suaves de superfície. A configuração ideal (rank044) utiliza ordens de $n$ -gramas de 1 a 7 com pesos que aumentam linearmente.
  - Soft-EditLens: Utiliza correspondência suave de nível de frase semântica via embeddings para capturar expressões preservadas apesar da substituição lexical. Ele produz tanto um score de regressão contíno quanto um índice de balde ordinal.
- Ambas as variantes utilizam modelos Qwen com Adaptação de Baixo Posto (LoRA).
Módulo de Detecção Zero-Shot:
- Utiliza o EchoPrompt, um método livre de treinamento que computa scores de contraste de verossimilhança entre modelos ajustados por instrução e modelos base.
- Em vez de predições isoladas, múltiplas ramificações de prompt/modelo (usando Qwen3.5 e Qwen2.5) geram "votos de suporte LGT" binários para servir como evidência auxiliar.
Módulo de Estatísticas de Frequência Lexical:
- Constrói léxicos de frequência por rótulo a partir do conjunto de treinamento para identificar $n$ -gramas discriminativos.
- Computa probabilidades condicionais de rótulo suavizadas e scores agregados de log-odds (ex: LGT-contra-HWT, IA-contra-HWT) para fornecer evidência de superfície leve.
Módulo de Fusão e Decisão:
- Integração Consciente de Conflitos: O sistema não utiliza média uniforme. Em vez disso, utiliza fronteiras de decisão calibradas para converter scores do EditLens em rótulos base. Se duas fronteiras calibradas discordarem, um resolvedor $R(\cdot)$ é acionado.
- O resolvedor utiliza scores de regressão/balde do Soft-EditLens e os votos de suporte LGT agregados para resolver conflitos entre pares de classes específicos (ex: HWT/HLT, HLT/LGT).
- Regras de Alta Precisão de Texto: Como salvaguarda final, regras conservadoras corrigem artefatos específicos, como marcações estruturais HTML/XML ou resíduos de scripts (indicativos de LGT) e traços explícitos de reescrita (indicativos de HLT).

Principais Contribuições

Análise do Cenário Chinês de Três Classes: O artigo analisa o desempenho de métodos de detecção representativos no contexto específico de HWT, LBT e LGT, demonstrando que a adaptação direta de métodos binários falha sob mudanças OOD.
Framework EVIL-Detect: A proposta de um framework de ensemble consciente de conflitos que integra regressão de extensão de edição, evidência de verossimilhança zero-shot, estatísticas lexicais e correções baseadas em regras.
Desempenho de Estado da Arte: O sistema alcançou uma pontuação macro-F1 de 0,8888 no conjunto de teste oficial (testp2), classificando-se em primeiro lugar na Tarefa Compartilhada 6 do NLPCC 2026.

Resultados Experimentais

Desempenho: O sistema alcançou um macro-F1 de 0,8913 no testp1 e 0,8888 no testp2.
Desempenho por Classe: A detecção de LGT foi a mais forte (F1 $\approx$ 0,92), enquanto o HLT permaneceu como a classe mais desafiadora (F1 $\approx$ 0,84), consistente com sua natureza intermediária.
Estudos de Ablação:
- O componente EditLens sozinho alcançou 0,8411 de macro-F1.
- A adição da integração consciente de conflitos e das regras de texto melhorou a pontuação para 0,8816.
- O sistema de fusão completo (0,8888) reduziu significativamente os erros de confusão, especificamente reduzindo erros de LGT $\to$ HLT de 59 para 3 ou HLT $\to$ LGT de 58 para 28 em comparação com a linha de base apenas com EditLens.
- Designs alternativos, como classificadores SFT generativos diretos (ex: GLM-4-9B, Qwen3.5-9B), tiveram desempenho ruim (macro-F1 < 0,19), validando a escolha de design dos autores de usar a modelagem de extensão de edição como o sinal base em vez de depender apenas de classificação generativa.

Significância
O artigo afirma que a detecção robusta de três classes em configurações OOD realistas não pode depender de um único sinal. Em vez disso, a integração de modelagem de força de edição, evidência de verossimilhança, pistas lexicais e correções de alta precisão fornece a informação complementar necessária para distinguir entre texto humano, gerado por máquina e refinado por máquina. O trabalho destaca a necessidade de estratégias de resolução de conflitos ao fundir sinais heterogêneos para tarefas de detecção de texto de granularidade fina.

O Problema: O Mistério de "Três Vias"

A Solução: O Esquadrão de Detetives (EVIL-Detect)

Como Eles Trabalham Juntos: A Reunião "Consciente do Conflito"

Os Resultados: Vencendo a Competição

O Que Eles Aprenderam (e o Que Rejeitaram)

Mais como este