Who Wrote the Book? Detecting and Attributing LLM Ghostwriters

1. O Problema

O artigo aborda a crescente ameaça do "ghostwriting" (escrita fantasma) por Grandes Modelos de Linguagem (LLMs), onde livros inteiros são gerados por IA para enganar consumidores e prejudicar autores legítimos. Os autores identificam três limitações críticas nas abordagens e conjuntos de dados existentes para detecção de texto gerado por IA:

• Foco em Classificação Binária: A maioria dos conjuntos de dados trata a detecção apenas como "Humano vs. IA", ignorando a tarefa de Atribuição de Autoria (AA), que busca identificar qual modelo específico gerou o texto (classificação multiclasse).
• Falta de Generalização: Poucos métodos são avaliados em cenários de Fora da Distribuição (OOD), ou seja, quando o modelo de teste não foi visto durante o treinamento ou quando o texto pertence a um domínio (gênero) diferente.
• Textos Curtos: Os benchmarks atuais focam em textos curtos, enquanto o ghostwriting de livros envolve documentos longos (muitas vezes >50.000 palavras), onde os métodos atuais falham devido a limites de contexto e perda de padrões estilísticos de longo prazo.

Além disso, os métodos de atribuição existentes geralmente dependem de treinamento supervisionado pesado e não funcionam bem com modelos fechados (closed-source) ou em cenários com poucos dados de treinamento.

2. Metodologia

Os autores propõem duas contribuições principais: um novo conjunto de dados e um novo método de detecção.

A. GHOSTWRITEBENCH (Conjunto de Dados)

É o primeiro benchmark projetado especificamente para a atribuição de autoria de textos longos (livros) gerados por LLMs de ponta.

• Escala: Contém mais de 300 livros (média de 53.000 palavras cada), gerados por 10 modelos LLM fronteira (ex: GPT-4.1, GPT-5.1, Claude Sonnet, Qwen, etc.) e 100 livros humanos de referência.
• Cobertura de Domínios: Inclui múltiplos gêneros (Ficção, História, Negócios, Ciência, etc.).
• Avaliação OOD: O dataset é estruturado para testar rigorosamente a generalização em duas dimensões:
  1. OOD-Domain: O modelo é testado em gêneros não vistos durante o treinamento.
  2. OOD-Author: O modelo é testado em um LLM que não estava presente no conjunto de treinamento (cenário de conjunto aberto).
• Cenários de Recursos: Inclui configurações de "alto recurso" (10-35 livros de treino por autor) e "baixo recurso" (3-5 livros), simulando situações práticas onde poucos dados estão disponíveis.

B. TRACE (Método de Detecção)

O TRACE (Transition-based Representation for Authorship Classification and Evaluation) é uma técnica de "impressão digital" (fingerprinting) leve, interpretável e que não requer acesso de "caixa branca" (funciona em modelos fechados).

• Princípio Central: Em vez de analisar apenas a probabilidade de palavras, o TRACE captura os padrões de transição em nível de token. A hipótese é que diferentes LLMs têm preferências distintas não apenas sobre quais palavras escolher, mas sobre como essas escolhas mudam sequencialmente ao longo do texto.
• Funcionamento:
  1. Um modelo de linguagem leve e independente (o avaliador, ex: GPT-2) analisa o texto gerado pelo alvo.
  2. Para cada token, calcula-se o rank (posição na lista de probabilidade do avaliador) ou a entropia (incerteza da previsão).
  3. O método modela as transições entre esses valores (ex: do rank do token $t_{i-1}$ para o token $t_i$).
  4. Essas transições são comprimidas em uma assinatura bidimensional (2D) (um mapa de calor ou matriz de densidade).
  5. Comparação: A assinatura do texto de teste é comparada com as assinaturas de referência de cada LLM usando métricas de similaridade (Distância Jensen-Shannon para ranks; Norma-Média para entropia).
• Vantagens: Não requer fine-tuning massivo, é robusto a mudanças de domínio e funciona com poucos dados de treinamento.

3. Resultados Principais

Os experimentos no GHOSTWRITEBENCH demonstraram que o TRACE supera consistentemente os métodos de base (baselines):

• Desempenho Geral: O TRACE alcançou o estado da arte (SOTA) em todas as configurações, superando métodos baseados em redes neurais (como BERT-AA e DETECTIVE) e métricas estatísticas tradicionais (como GLTR e N-GRAM).
• Robustez OOD: Enquanto os métodos baseados supervisionados sofriam degradação severa de desempenho em cenários OOD (especialmente OOD-Author), o TRACE manteve alta precisão.
• Cenários de Baixo Recurso: O TRACE foi particularmente eficaz quando havia poucos livros de treinamento disponíveis (3-5 por autor), onde outros métodos falhavam.
• Detecção Humana vs. IA: As variantes baseadas em entropia do TRACE alcançaram 100% de precisão na distinção entre autores humanos e LLMs em cenários OOD, indicando que as "impressões digitais" de humanos e IAs são fundamentalmente diferentes.
• Análise de Erros: Os métodos baseados supervisionados tendiam a confundir modelos da mesma família (ex: GPT-4 com GPT-5), enquanto o TRACE conseguiu distinguir modelos específicos com maior especificidade.

4. Significado e Contribuições

• Novo Padrão de Benchmark: O GHOSTWRITEBENCH preenche uma lacuna crítica ao fornecer um dataset realista para livros longos, forçando a comunidade a desenvolver métodos que generalizem para cenários do mundo real (novos autores, novos gêneros).
• Método Interpretável e Leve: O TRACE oferece uma alternativa viável aos modelos pesados de deep learning. Sua natureza baseada em transições de tokens e uso de um modelo avaliador externo o torna aplicável a qualquer LLM, aberto ou fechado.
• Combate ao Ghostwriting: A pesquisa fornece ferramentas práticas para identificar a autoria de livros gerados por IA, ajudando a combater a inundação de livros de baixa qualidade e sham (falsos) no mercado editorial.
• Direção Futura: O trabalho estabelece uma base para futuras pesquisas em forense de texto de LLM, sugerindo que a análise de padrões de transição e generalização OOD é mais promissora do que a simples classificação binária supervisionada.

Em resumo, o artigo demonstra que a atribuição de autoria de livros gerados por IA é viável e que a análise de padrões de transição de tokens (TRACE) é uma abordagem superior e robusta para lidar com a evolução rápida dos modelos de linguagem e a complexidade de textos longos.