EnsemJudge: Enhancing Reliability in Chinese LLM-Generated Text Detection through Diverse Model Ensembles

1. Problema e Contexto

O avanço dos Modelos de Linguagem de Grande Escala (LLMs) facilitou a geração de texto de alta qualidade, mas também aumentou os riscos de mau uso, como a disseminação de desinformação, notícias falsas e plágio acadêmico. Embora existam métodos para detectar texto gerado por LLMs, a pesquisa atual enfrenta desafios significativos:

• Foco no Inglês: A maioria dos métodos existentes foi desenvolvida e avaliada em inglês, com pouca investigação sobre sua eficácia em textos em chinês.
• Falta de Robustez: Métodos baseados em regras ou treinamento frequentemente falham em cenários do mundo real, especialmente diante de amostras fora de domínio (OOD) e ataques adversariais (como paráfrase, tradução reversa ou edição de texto curto).
• Limitações Individuais: Nenhum método único demonstra desempenho consistente em todos os tipos de texto e cenários de ataque.

2. Metodologia: O Framework EnsemJudge

Os autores propõem o EnsemJudge, um framework robusto baseado em ensemble learning (aprendizado de conjunto) projetado especificamente para detectar texto gerado por LLMs em chinês. A abordagem não depende de um único modelo, mas integra múltiplas estratégias de detecção.

Componentes Principais:

1. Modelos Base Diversificados: O sistema integra três categorias de detectores:

   • Baseados em Regras: Identificam padrões estatísticos ou tokens específicos (ex: \n\n, pontuação repetida).
   • Sem Treinamento (Training-free): Utilizam métricas de probabilidade e perplexidade (ex: Binoculars, Fast-DetectGPT, e um método proposto chamado CommonToken baseado em frequência de tokens).
   • Baseados em Treinamento: Incluem modelos fine-tuned (BERT, RoBERTa chineses) e LLMs ajustados via LoRA (Qwen2.5, GLM-4).

2. Módulo de Atribuição de Estratégia (Strategy Assignment):

   • Analisa características leves do texto de entrada (ex: comprimento, perplexidade).
   • Agrupa os textos em clusters e atribui dinamicamente um subconjunto de modelos base e pesos de votação específicos para cada cluster, maximizando o desempenho para aquele tipo de texto.

3. Módulo de Suporte à Decisão (Decision Support):

   • Atua em casos de alta incerteza (onde a votação do ensemble é ambígua).
   • Utiliza um LLM grande (Qwen2.5-72B) com In-Context Learning (ICL) e few-shot prompting para analisar amostras suspeitas (como aquelas que passaram por tradução reversa) e refinar a previsão.

4. Módulo de Votação Dinâmica:

   • Combina as previsões dos modelos base ponderados com o sinal de suporte do LLM.
   • Aplica uma função de decisão ajustável para gerar a previsão final (Humano vs. LLM).

5. Aumento de Dados Adversariais:

   • Durante o desenvolvimento, os autores criaram exemplos adversariais (tradução reversa e extração de trechos curtos) para simular ataques reais e treinar a robustez do sistema.

3. Contribuições Principais

• Avaliação Abrangente em Chinês: Foi realizada uma avaliação detalhada de métodos mainstream de detecção de texto LLM em dados chineses, revelando que muitos métodos eficazes em inglês degradam-se significativamente no chinês.
• Framework EnsemJudge: Proposta de um sistema de ensemble dinâmico que adapta estratégias de votação e pesos baseados nas características do texto, superando as limitações de modelos estáticos.
• Sistema Extensível e de Primeira Colocação: Implementação de um sistema completo que venceu a NLPCC2025 Shared Task 1, demonstrando alta confiabilidade e generalização.

4. Resultados Experimentais

O sistema foi avaliado no conjunto de dados oficial da NLPCC2025, que incluía dados de treinamento, desenvolvimento e um conjunto de teste desafiador (com dados fora de domínio e ataques adversariais).

• Desempenho Geral: O EnsemJudge alcançou a maior pontuação Macro F1 em todos os subconjuntos do teste, obtendo 0.9922 no conjunto total e 1.0000 em amostras normais (não adversariais).
• Robustez a Ataques:
  • Métodos training-free (como Binoculars) sofreram quedas drásticas (>50%) sob ataques de paráfrase.
  • O EnsemJudge manteve alta performance, demonstrando que a combinação de modelos mitigou as falhas individuais.
  • O modelo LoRA fine-tuned (Qwen2.5) mostrou-se o mais robusto individualmente, mas o ensemble superou-o em cenários complexos.
• Impacto do Comprimento do Texto:
  • A detecção é mais difícil em textos curtos. O EnsemJudge utilizou modelos especializados para textos curtos e extremos, melhorando significativamente a performance nesses casos (ex: +46.8% em textos curtos extremos comparado ao modelo padrão).
• Comparação com Baselines: O sistema superou todos os métodos de base (regras, treinamento livre e treinamento) individualmente, com ganhos de até 9% em subconjuntos específicos.

5. Significado e Conclusão

O trabalho destaca que a detecção de texto gerado por LLMs em línguas de recursos limitados (como o chinês) e em cenários adversariais exige uma abordagem adaptativa. O EnsemJudge prova que a integração dinâmica de múltiplas técnicas, ajustada às características do texto de entrada, é superior a depender de um único modelo "estado da arte".

A pesquisa fornece uma base prática para o desenvolvimento de sistemas de detecção confiáveis no mundo real, enfatizando a necessidade de:

1. Diversidade de modelos no ensemble.
2. Adaptação dinâmica a diferentes tipos de texto e ataques.
3. Foco específico em línguas não-inglesas e cenários de baixa disponibilidade de dados.

O código do projeto está disponível publicamente, facilitando a reprodução e o avanço futuro na área de segurança de LLMs.