Resumo Técnico: OpAI-Bench

Declaração do Problema

À medida que os assistentes de escrita de IA se tornam integrais aos fluxos de trabalho de redação e revisão, documentos do mundo real resultam cada vez mais de uma coedição progressiva humano–IA em vez de serem puramente escritos por humanos ou totalmente gerados por IA. Os benchmarks existentes de detecção de texto de IA avaliam primariamente saídas finais estáticas, falhando em capturar como os sinais de autoria de IA emergem, acumulam-se ou desaparecem durante o processo de revisão. Consequentemente, os benchmarks atuais não conseguem responder a questões críticas sobre:

• Em que estágio o envolvimento da IA se torna confiavelmente detectável.
• Quais operações de edição específicas introduzem os sinais de detecção mais fortes.
• Se textos de autoria mista são mais fáceis ou mais difíceis de detectar do que os casos de extremidade (puramente humanos ou totalmente editados por IA).

Os frameworks de avaliação atuais frequentemente colapsam diversas operações (ex: polimento vs. paráfrase) em um único rótulo de "escrito por IA" e carecem de estados de revisão intermediários, obscurecendo a natureza não monotônica da dificuldade de detecção.

Metodologia: Construção do OpAI-Bench

Os autores introduzem o OpAI-Bench, um benchmark guiado por operações projetado para estudar a transformação progressiva de texto humano para IA através de múltiplas granularidades (documento, sentença, token e span).

1. Pipeline de Construção de Dados

• Material de Origem: O benchmark é construído a partir de 15.722 documentos escritos por humanos em quatro domínios: ensaios estudantis, artigos de notícias, relatórios governamentais e resumos científicos.
• Trajetórias Cumulativas: Diferente de abordagens "naïve" que geram versões independentes a partir de uma fonte, o OpAI-Bench constrói trajetórias de revisão cumulativas. Partindo de um documento fonte humano ($V_0$), nove versões sequencialmente revisadas ($V_1$ a $V_8$) são geradas.
• Seleção Determinística: Para garantir a reprodutibilidade e remover o viés de posição, as sentenças dentro de cada documento são embaralhadas usando uma semente determinística baseada no ID do documento.
• Cobertura Progressiva: Cada versão $V_t$ aplica edições a uma porcentagem crescente e específica de sentenças (de 15% a 100%) com base em um cronograma fixo. Uma vez que uma sentença é selecionada para edição, ela permanece no conjunto para todas as versões subsequentes, permitindo a reedição sob novas operações.
• Operações de Edição: Cinco operações de edição de IA representativas são aplicadas: Polimento (Polish), Paráfrase (Paraphrase), Reescrita de Estilo (Style Rewrite), Compressão (Compress) e Expansão (Expand). Prompts impõem restrições como preservar o conteúdo factual e retornar sentenças únicas.
• Proveniência Granular: O benchmark preserva rótulos de autoria em quatro níveis:
  • Documento: Rótulo binário (Humano vs. Envolvido com IA).
  • Sentença: Rótulo binário indicando se a sentença entrou no conjunto editado pela IA de forma cumulativa.
  • Token/Span: Localização fina de regiões editadas por IA usando offsets de caracteres.

2. Protocolo de Avaliação

O benchmark avalia detectores em três categorias:

1. Detectores Zero-shot: Modelos existentes (ex: RADAR, Fast-DetectGPT, AdaLoc) avaliados sem exposição aos dados do OpAI-Bench.
2. LLM-as-Detector: Modelos de fronteira (GPT-5.4, Gemini 3 Flash, Claude Haiku 4.5) usados como classificadores zero-shot via prompting.
3. Detectores Ajustados (Fine-tuned): Modelos treinados no split de treinamento do OpAI-Bench usando rótulos de proveniência de nível de sentença de geradores específicos.

A métrica de avaliação inclui Acurácia e F1-AI em todas as nove versões ($V_0$–$V_8$) para rastrear a evolução do desempenho ao longo da trajetória de revisão.

Principais Contribuições

1. Benchmark OpAI-Bench: O primeiro benchmark guiado por operações que preserva estados de revisão intermediários e proveniência de multi-granularidade, permitindo o estudo da detecção como uma trajetória, em vez de uma decisão binária de extremidade.
2. Trajetórias de Revisão Controladas: Construção de conjuntos de dados versionados cumulativos com níveis de cobertura de IA predefinidos e cinco operações de edição distintas, cobrindo quatro domínios diversos.
3. Benchmarking Abrangente de Detectores: Avaliação de 8 detectores de nível de documento, 7 de nível de sentença e 2 de nível fino de token/span sob variadas coberturas, operações e históricos de revisão.

Principais Resultados

Experimentos revelam que a detectabilidade de texto de IA é não monotônica e governada por fatores além da mera proporção de conteúdo editado por IA:

• Padrões de Detecção Não Monotônicos: Versões intermediárias de autoria mista são frequentemente mais difíceis de detectar do que os endpoints totalmente humanos ($V_0$) e fortemente editados por IA ($V_8$). Especificamente, uma região crítica de dificuldade é observada em torno da Versão 4 (v4), onde a cobertura de IA intermediária coincide com a operação de compressão.
• Sensibilidade à Operação: A detectabilidade varia significativamente pelo tipo de edição. Por exemplo, a compressão é geralmente mais difícil de detectar do que expansão ou paráfrase em níveis de cobertura comparáveis.
• Variância de Domínio e Gerador: O desempenho do detector é altamente dependente do domínio (ex: notícias vs. ensaios) e do gerador subjacente. Detectores de nível de documento mostram variação substancial; alguns (como o RADAR) performam bem em ensaios, mas falham em relatórios, enquanto outros (como o Fast-DetectGPT) detectam edições precoces em relatórios, mas degradam conforme a revisão progride.
• Diferenças de Granularidade:
  • Nível de Documento: O desempenho não melhora consistentemente com o aumento da cobertura de IA; ele flutua com base no domínio e na operação.
  • Nível de Sentença: A supervisão melhora a estabilidade, mas não elimina a sensibilidade aos estágios de revisão. Modelos ajustados (fine-tuned) geralmente se recuperam melhor em altas coberturas de IA do que modelos zero-shot.
  • Nível de Token/Span: Métodos de granularidade fina mostram precisão decrescente, mas F1-AI crescente conforme as regiões rotuladas como IA tornam-se mais densas, refletindo o desequilíbrio de classes nos estágios iniciais.
• Cumulativo vs. Independente: Embora a edição independente (reescrita a partir da fonte) produza trajetórias mais suaves, a queda não monotônica em torno da etapa de compressão persiste, indicando que a dificuldade é intrínseca à operação e ao nível de cobertura, embora o histórico cumulativo possa amplificar a instabilidade.

Significância e Alegações

O artigo argumenta que a detecção confiável de texto de IA requer ir além da classificação binária de extremidade em direção a uma avaliação consciente da trajetória e da operação.

• Limitações de Benchmarks Estáticos: Os benchmarks existentes perdem modos de falha críticos, particularmente o "vale de detecção" em textos de autoria mista, onde os sinais de IA não estão nem ausentes nem dominantes.
• Necessidade de Nova Avaliação: Os autores alegam que o desempenho da detecção não é determinado apenas pela quantidade de conteúdo de IA, mas é fortemente influenciado por como o texto foi editado (operação), onde foi editado (domínio) e pelo histórico das revisões.
• Implicação Prática: O OpAI-Bench fornece um ambiente controlado para analisar quando e como a escrita assistida por IA se torna detectável sob cenários de edição progressiva e realistas, destacando a necessidade de detectores capazes de raciocinar sobre a participação parcial e incremental da IA.

Os autores concluem que os detectores atuais são insuficientes para o cenário evolutivo da coedição humano-IA e que pesquisas futuras devem considerar a natureza dinâmica da transformação de texto.