Who Wrote This Line? Evaluating the Detection of LLM-Generated Classical Chinese Poetry

1. O Problema

O rápido desenvolvimento dos Modelos de Linguagem de Grande Escala (LLMs) expandiu a geração de texto para o domínio literário, levantando questões urgentes sobre autenticidade criativa e ética. Embora existam avanços na detecção de texto gerado por IA em idiomas modernos e gêneros literários contemporâneos, a poesia clássica chinesa permanece uma área negligenciada e extremamente desafiadora.

As dificuldades específicas para detectar poesia clássica chinesa gerada por IA incluem:

• Restrições Linguísticas Rigorosas: A poesia clássica possui regras estritas de métrica, tons, esquemas de rima e estruturas paralelas, o que pode fazer com que a IA imite padrões humanos com alta fidelidade.
• Imagética Compartilhada: Tanto humanos quanto IAs utilizam um conjunto vasto e sobreposto de imagens poéticas e alusões clássicas, dificultando a distinção baseada em distribuição lexical.
• Sintaxe Flexível: O uso de inversões sintáticas e classes de palavras flexíveis (comuns na poesia clássica, mas raras na linguagem moderna) confunde os detectores treinados em linguagem padrão.
• Falta de Dados: Não existiam benchmarks públicos que comparassem simultaneamente obras de poetas modernos e gerações de LLMs.

2. Metodologia

Os autores introduzem o ChangAn, o primeiro benchmark especializado para detectar poesia clássica chinesa gerada por LLMs.

• Construção do Dataset (ChangAn):
  • Total: 30.664 poemas.
  • Humanos: 10.276 poemas de alta qualidade escritos por 282 poetas e entusiastas modernos (evitando textos antigos que já estariam nos dados de treino dos LLMs).
  • IA: 20.388 poemas gerados por quatro LLMs principais: DeepSeek-V3.2, GPT-4.1, Kimi-K2 e Doubao Seed-1.6.
  • Estratégias de Geração: Os dados de IA foram criados usando duas estratégias:
    1. Geração Direta: Criação de poemas a partir de um título.
    2. Refinamento Orientado por Crítica (Critique-driven Refinement): O LLM gera um poema, identifica suas falhas (métrica, vocabulário, etc.) e realiza uma revisão profunda. Isso simula um processo criativo mais sofisticado e difícil de detectar.
• Métodos de Avaliação:
  • Granularidade de Texto: Avaliação em nível de Poema Único (SPD) e Múltiplos Poemas (MPD - conjuntos de 6 e 12 poemas) para simular publicações de coleções.
  • Detectores Testados:
    • Baseados em Decisão: Os próprios LLMs (atuando como detectores zero-shot) e modelos como LLM-Detector-Small-zh.
    • Baseados em Probabilidade: Métodos estatísticos (Log-Likelihood, Log-Rank, LRR), modelos supervisionados (Roberta fine-tuned) e ferramentas específicas (AIGC-Detector, Fast-DetectGPT).

3. Principais Contribuições

1. Dataset ChangAn: A criação do primeiro corpus abrangente e equilibrado contendo poesia clássica chinesa moderna escrita por humanos e gerada por IA, cobrindo diversos gêneros (Ci, Jueju, Lvshi).
2. Novo Benchmark de Avaliação: Estabelecimento de um protocolo de avaliação que considera não apenas a detecção direta, mas também estratégias de refinamento (crítica) e diferentes granularidades de texto (de um poema a uma coleção).
3. Análise de Limitações: Demonstração empírica de que os detectores atuais falham significativamente neste domínio específico, revelando que a "assinatura" da IA na poesia clássica é altamente sutil e difícil de capturar.

4. Resultados e Análise

Os experimentos revelaram limitações severas nos métodos atuais de detecção:

• Desempenho Geral Pobre: A maioria dos detectores baseados em decisão (incluindo os próprios LLMs) teve desempenho abaixo do esperado, muitas vezes classificando poemas de IA como humanos. O Recall para IA foi extremamente baixo (média de ~15-30% para alguns modelos).
• Falha na Auto-Identificação: Diferente do que ocorre em textos gerais, os LLMs não conseguem identificar eficazmente seus próprios poemas. Por exemplo, o Doubao Seed-1.6 identificou apenas 16% de seus próprios poemas, sugerindo que as restrições formais da poesia clássica mascaram os sinais estatísticos de identidade do modelo.
• Vantagem de Métodos Supervisionados: O modelo Roberta fine-tuned obteve o melhor desempenho geral (AUROC de 95,03%), superando métodos estatísticos puros e ferramentas comerciais, indicando que o aprendizado supervisionado é crucial para capturar as nuances deste gênero.
• Impacto do Refinamento (Crítica): A estratégia de "Refinamento Orientado por Crítica" reduziu significativamente a eficácia dos detectores. Métodos que funcionavam bem na geração direta (como Log-Likelihood) sofreram quedas drásticas (cerca de 18% na AUROC) quando avaliados poemas refinados, pois o processo de revisão elimina artefatos estatísticos óbvios.
• Granularidade e Diminuição de Retornos: A detecção melhora drasticamente ao passar de um poema único para um conjunto de 6 poemas (MPD-6), pois a agregação de dados fornece mais características estilísticas. No entanto, aumentar para 12 poemas (MPD-12) trouxe ganhos marginais, indicando que 6 poemas já capturam a maioria dos sinais identificáveis.
• Modelo "Mais Furtivo": O modelo Kimi-K2 mostrou-se o mais difícil de detectar, com a menor média de AUROC, sugerindo uma integração mais profunda com a distribuição natural da poesia humana.

5. Significado e Conclusão

O artigo conclui que a detecção de poesia clássica chinesa gerada por IA é uma tarefa extremamente complexa que os métodos atuais não conseguem resolver de forma confiável.

• Implicações Éticas: A incapacidade dos detectores atuais de distinguir entre autoria humana e artificial neste domínio levanta sérios riscos para a integridade literária, exigindo novas abordagens técnicas.
• Direção Futura: O estudo destaca a necessidade de desenvolver detectores especializados que considerem as restrições métricas e a imagética compartilhada da poesia clássica, em vez de depender de modelos genéricos de linguagem.
• Recurso Aberto: O dataset ChangAn e o código estão disponíveis publicamente para fomentar pesquisas futuras nesta interseção entre tecnologia e literatura clássica.

Em suma, o trabalho demonstra que, embora a IA tenha alcançado alta fidelidade na geração de poesia clássica chinesa, a detecção dessa autoria permanece um desafio não resolvido, especialmente quando envolve processos iterativos de refinamento.