Resumo Técnico: ARB – Um Conjunto de Dados de Referência para Avaliação de Autoria-Reescrita Correspondente para Detecção de Texto por IA

1. Declaração do Problema

Os atuais benchmarks de detecção de texto por IA avaliam primariamente os detectores em uma tarefa de classificação binária: distinguir texto escrito por humanos de texto gerado diretamente por Grandes Modelos de Linguagem (LLMs). Embora pesquisas anteriores tenham estabelecido que o parafraseamento e a reescrita podem degradar o desempenho dos detectores, permanece uma lacuna crítica: não está claro se o desempenho medido em benchmarks convencionais de "Humano vs. LLM Direto" prevê o comportamento do detector quando um conteúdo de autoria humana é reescrito por um LLM.

Benchmarks padrão frequentemente confundem dois fatores distintos:

1. Origem do Conteúdo: Se as ideias e o conteúdo semântico originam-se de um humano ou de um LLM.
2. Superfície Linguística: Se a redação final foi escrita por um humano, gerada diretamente por um LLM ou mediada por um LLM através de reescrita.

Em fluxos de trabalho realistas (por exemplo, um estudante redigindo uma redação e usando um LLM para polir o texto), o conteúdo é de origem humana, mas a superfície é mediada por LLM. Os benchmarks existentes falham em isolar esses fatores, potencialmente superestimando a robustez dos detectores contra textos de origem humana polidos por IA.

2. Metodologia: O Benchmark ARB

Os autores introduzem o ARB (Authorship-Rewriting Benchmark), um conjunto de dados de quatro regimes correspondentes projetado para separar a origem do conteúdo da superfície linguística.

Construção do Conjunto de Dados

• Material de Origem: 1.800 textos humanos de origem (600 cada de XSum, WritingPrompts e OpenWebText), estratificados por comprimento (150–500 palavras).
• Geradores: Quatro modelos de instrução de pesos abertos (Llama-3.2-3B, Qwen2.5-7B, Mistral-7B, Gemma-2-9B).
• Quatro Regimes Correspondentes: Para cada item de origem e gerador, quatro variantes são criadas:
  1. HUMAN (HUMANO): O texto humano original.
  2. FREE-LLM (LLM-LIVRE): Geração direta pelo LLM baseada em um tópico extraído da fonte (baseline convencional).
  3. H2L (Humano-para-LLM): O texto humano original reescrito pelo LLM (simulando conteúdo de origem humana polido por IA).
  4. LLM2L (LLM-para-LLM): A saída do FREE-LLM reescrita pelo mesmo LLM (simulando uma segunda passagem sobre conteúdo gerado por IA).

Este design cria quartetos correspondentes onde as únicas variáveis são a origem do conteúdo e o regime de reescrita, permitindo comparações pareadas dentro dos blocos de conjunto de dados-gerador.

Protocolo de Avaliação

• Detectores: Cinco detectores representando diferentes famílias foram avaliados:
  • Codificadores Supervisionados: BERT-Defense, RoBERTa-Defense.
  • Robusto Supervisionado: RADAR.
  • Likelihood/Curvatura Zero-shot: FastDetectGPT.
  • Contrastivo Zero-shot: Binoculars-falcon-7b.
• Métricas:
  • Primária: TPR@1%FPR (Taxa de Verdadeiros Positivos em 1% de Taxa de Falsos Positivos). Esta métrica conservadora é escolhida porque acusações falsas de autoria por IA carregam custos éticos e práticos significativos.
  • Secundária: AUROC (Área Sob a Curva ROC) para avaliar a separabilidade de classificação global.
• Análise: O desempenho é medido via deltas pareados em nível de bloco (comparando H2L e LLM2L contra o baseline FREE-LLM) e média macro entre os blocos de conjunto de dados-gerador.

3. Resultados Principais

A avaliação revela uma "falha de transferência de benchmark" significativa, onde o desempenho na geração direta não se traduz para a reescrita de origem humana.

Desempenho de Baseline (Humano vs. FREE-LLM)

• Detectores Fortes: FastDetectGPT e Binoculars-falcon-7b alcançaram alta revocação (91,2% e 93,5%, respectivamente) em 1% FPR. O RADAR atingiu 66,8%.
• Detectores Fracos: BERT-Defense e RoBERTa-Defense performaram próximo ao acaso (TPR < 2%) apesar de scores de AUROC moderados.

Robustez à Reescrita

• H2L (Reescrita de Origem Humana): Detectores fortes sofreram quedas catastróficas de revocação quando o texto humano foi reescrito por um LLM.
  • FastDetectGPT: Caiu de 91,2% para 30,8% (uma perda de ~60 pontos percentuais).
  • Binoculars-falcon-7b: Caiu de 93,5% para 15,1% (uma perda de ~78 pontos percentuais).
  • RADAR: Caiu de 66,8% para 12,2%.
• LLM2L (Reescrita de Origem LLM): Quando o texto gerado por LLM foi reescrito pelo mesmo modelo, a queda de desempenho foi significativamente menor.
  • FastDetectGPT: Caiu para 78,3% (perda de ~13 pontos).
  • Binoculars-falcon-7b: Caiu para 83,0% (perda de ~10 pontos).
  • RADAR: Permaneceu quase estável em 64,6%.

A Lacuna H2L–LLM2L

A lacuna operacional entre H2L e LLM2L é substancial. Para os melhores detectores, o LLM2L permanece muito mais detectável que o H2L (por exemplo, uma lacuna de 68 pontos para o Binoculars). Diagnósticos textuais indicam que as reescritas H2L envolvem mudanças de superfície mais fortes (maior distância de edição, menor sobreposição lexical) do que as reescritas LLM2L, sugerindo que a degradação é impulsionada por uma combinação de origem do conteúdo e força da transformação.

4. Contribuições e Significância

O artigo reivindica as seguintes contribuições:

1. Enquadramento Conceitual: Ele reformula a robustez ao parafraseamento como um problema de transferência de benchmark. Demonstra que o benchmark padrão "Humano vs. LLM Direto" não é um proxy confiável para detectar texto de origem humana que foi mediado por LLM.
2. Inovação de Design: O ARB introduz um design de quatro regimes correspondentes que isola a reescrita de origem humana (H2L) da reescrita de segunda passagem de origem LLM (LLM2L) usando uma referência humana compartilhada e controles de mesmo gerador.
3. Evidência Empírica: O estudo fornece evidências de que detectores robustos à geração direta (como FastDetectGPT e Binoculars) não são robustos à reescrita de origem humana. Por outro lado, os mesmos detectores permanecem amplamente robustos à reescrita de origem LLM.
4. Insight Diagnóstico: Os resultados sugerem que a origem do conteúdo é um fator estrutural na sensibilidade de detecção sob superfícies mediadas por LLM, distinto da simples transformação de nível de superfície. Isso se alinha com achados de outros trabalhos (ex: RAIDAR, MAGRET) que exploram a assimetria em como os LLMs editam textos humanos vs. máquinas.

5. Implicações para a Prática

Os autores argumentam que decisões de aquisição e auditoria que dependem exclusivamente de benchmarks padrão de Humano-vs-LLM correm o risco de subestimar substancialmente a robustez dos detectores para o fluxo de trabalho cada vez mais comum de rascunhos humanos revisados por IA.

• Avaliação: Detectores devem ser avaliados especificamente em condições do tipo H2L antes do deployment em cenários envolvendo texto de autoria humana revisado por IA.
• Relato: Benchmarks devem relatar o desempenho estratificado por regime (H2L vs. LLM2L) e ponto de operação (TPR@1%FPR) em vez de depender de scores de AUROC agregados.
• Deployment: Scores de detectores devem ser tratados como sinais incertos em vez de evidência definitiva de autoria, particularmente quando o texto pode ter passado por uma reescrita de origem humana.

O artigo conclui que trabalhos futuros devem focar no isolamento causal da origem do conteúdo (correspondendo a força da transformação) e na validação mais ampla através de idiomas e domínios.