Resumo Técnico: 'Your AI Text is not Mine': Redefinindo e Avaliando a Detecção de Texto Gerado por IA sob Premissas Realistas

Declaração do Problema

Embora a detecção de texto gerado por IA (AITD - AI-generated text detection) seja amplamente reconhecida como uma tecnologia crítica para mitigar riscos sociais — como o enfraquecimento do controle de qualidade científica, a desonestidade acadêmica e campanhas de desinformação — não há consenso na literatura sobre o que constitui o uso "prejudicial" da IA. Os conjuntos de dados e as abordagens de avaliação existentes frequentemente dependem de suposições implícitas e simplistas que não se alinham com os padrões reais de co-criação humano-IA. Especificamente, os benchmarks atuais frequentemente tratam textos como inteiramente humanos ou inteiramente gerados por IA (en-bloc), ou assumem fronteiras fixas entre passagens humanas e de IA. Essas construções sintéticas falham em capturar a natureza matizada e iterativa da colaboração humano-IA, onde autores e Grandes Modelos de Linguagem (LLMs) interagem através de prompts, revisões e continuações. Consequentemente, as noções atuais de AITD são frequentemente subespecificadas, tornando os achados de diferentes conjuntos de dados incompatíveis e dificultando o desenvolvimento de detectores que se generalizem para casos de uso realistas.

Metodologia

Os autores abordam essas lacunas por meio de uma metodologia de três frentes:

1. Estrutura Conceitual: O artigo estabelece um vocabulário compartilhado para definir as noções de AITD ao longo de três dimensões:

   • Padrão Normativo: Distingue o uso aceitável do uso inaceitável de IA (ex: proibição total vs. polimento permissível).
   • Suposições de Gênese: Restrições sobre como o texto é criado (ex: geração en-bloc vs. trechos mistos).
   • Modelo de Atacante: O grau em que as suposições de gênese são violadas (ex: substituição de tokens post-hoc).
     Com base nisso, os autores categorizam as noções existentes em Baseadas em Gênese (nível de documento, nível de fronteira, nível de sentença) e Baseadas em População (baseadas em membros). Eles propõem ainda duas novas noções para cobrir lacunas práticas: AITD Baseada em Conteúdo (identificar sentenças de IA que violam políticas de conteúdo) e AITD Baseada em ID de Autoria (identificar texto de IA que não corresponde ao estilo de um autor humano específico).

2. Construção de Conjunto de Dados (AITDNA): Para testar essas noções contra dados realistas, os autores coletaram o AITDNA, um novo benchmark de 352 textos co-construídos por humanos e máquinas, envolvendo 99 participantes.

   • Processo de Coleta: Os participantes utilizaram uma interface customizada baseada em CARE para co-escrever textos em quatro condições: apenas humano, e três modos de co-criação (Argumentativo, Criativo, Explicativo) utilizando vários LLMs (incluindo Llama-4, Qwen2.5, DeepSeek-V3.2, GPT-5.2 e Gemini-3).
   • Granularidade: A interface registrou rastros detalhados de interação, incluindo prompts do usuário, respostas do LLM e históricos de edição específicos (inserções/deleções). Isso permite a derivação precisa da "gênese" (a origem de cada token: Humano, IA ou Misto).
   • Escopo: O conjunto de dados cobre múltiplos gêneros e configurações de LLM, resultando em uma média de ~50% de tokens de IA por texto e 23,33 fronteiras entre os trechos humanos e de IA, refletindo uma alta intermistura.

3. Protocolo de Avaliação: Os autores testaram oito detectores (seis de código aberto, dois proprietários) através do novo conjunto de dados AITDNA e cinco conjuntos de dados existentes (CoAuthor, SenDetEx, BD, Mixset, DetectRL).

   • Variáveis Controladas: Eles variaram sistematicamente os parâmetros das noções, especificamente o limiar $\tau$ (a proporção mínima de tokens de IA necessária para rotular um trecho como IA) e a granularidade de segmentação (documento, fronteira, sentença).
   • Métricas: O desempenho foi medido usando AUROC, F1-Score e Taxa de Falso Positivo (FPR).

Principais Contribuições

• C#1: Estrutura de Noção de AITD: Os autores derivam uma estrutura formal para especificar problemas de AITD, identificando cinco noções comuns e introduzindo duas novas (Baseada em Conteúdo e Baseada em ID de Autoria) para melhor alinhar-se com políticas do mundo real.
• C#2: O Conjunto de Dados AITNA: Eles lançam o AITDNA, o primeiro conjunto de dados que captura históricos detalhados de interação humano-IA (prompts, edições e gênese) em um cenário realista de co-escrita, servindo como um ponto de referência agnóstico à noção.
• C#3: Análise Empírica de Suposições: O estudo demonstra sistematicamente que os conjuntos de dados existentes codificam suposições irreais (ex: baixas proporções de mistura, geração en-bloc) que não refletem a co-criação natural. Eles mostram que o desempenho dos detectores é altamente sensível à noção subjacente e seus parâmetros.

Resultados

• Desalinhamento de Dados Existentes: A análise revela que conjuntos de dados sintéticos (como DetectRL e Mixset) frequentemente assumem a geração "en-bloc", onde a IA reescreve documentos inteiros, resultando em baixas contagens de fronteiras e altas proporções de tokens de IA (65%). Em contraste, o AITDNA mostra uma mistura mais equilibrada (51% de tokens de IA) com contagens de fronteiras significativamente maiores (23,33), indicando que os dados sintéticos falham em modelar a intermistura granular da co-escrita real.
• Dificuldade da Noção: O desempenho de detecção varia significamente conforme a noção. A AITD de nível de documento produz o maior desempenho, enquanto noções mais finas (nível de sentença, baseada em intenção, baseada em conteúdo) são substancialmente mais difíceis. Detectores comerciais (GPTZero, Pangram) tiveram desempenho insatisfatório em tarefas baseadas em conteúdo/intenção, sugerindo que eles sofrem overfitting em características superficiais em vez de conteúdo semântico ou intenção do prompt.
• Sensibilidade de Parâmetros: A escolha do parâmetro de limiar $\tau$ altera drasticamente os resultados da avaliação. Por exemplo, definir $\tau = 0,5$ (maioria de IA) versus $\tau = 0,1$ (qualquer IA) leva a variações de até 0,8 no F1-score entre os conjuntos de dados. Isso indica que, sem a especificação explícita e consistente de parâmetros, as comparações entre conjuntos de dados são inválidas.
• Não Existe um Detector Universal: Nenhum detector supera consistentemente os outros em todos os conjuntos de dados e noções. As classificações de desempenho mudam dependendo das suposições subjacentes do conjunto de dados e da noção específica testada. Por exemplo, o moBERT destacou-se no DetectRL (provavelmente devido à sobreposição de dados de treinamento), mas não no AITDNA.

Significância e Alegações

O artigo argumenta que o campo da AITD deve ir além dos benchmarks sintéticos e agnósticos à noção que obscurecem a complexidade da colaboração humano-IA. Os autores afirmam que:

1. A Padronização é Crítica: Os resultados de avaliação só são comparáveis se as noções subjacentes (segmentação, padrões normativos e parâmetros como $\tau$) forem explicitamente definidos e alinhados.
2. O Realismo Importa: Detectores treinados ou avaliados em conjuntos de dados sintéticos e de baixa mistura podem falhar em cenários do mundo real, onde o texto humano e o de IA estão profundamente entrelaçados.
3. Alinhamento de Políticas: Os futuros detectores devem ser projetados para suportar políticas matizadas (ex: distinguir entre polimento permissível e geração total proibida) em vez de rótulos binários "humano vs. IA".

Os autores concluem que, embora a detecção confiável permaneça viável, a atual falta de definições padronizadas e de dados realistas dificulta o progresso. Eles defendem que trabalhos futuros foquem em detectores robustos que considerem explicitamente essas variadas suposições e que coletem conjuntos de dados dedicados para noções ainda pouco exploradas, como a identificação de autoria.