Algorithmic Penalty for Non-Native Voices: A Three-Arm Diagnostic Accuracy Audit of Five Commercial AI Text Detectors Against Pre-LLM Scientific Literature — Protocol for the AUDIT-AI Study

Resumo Técnico: O Protocolo do Estudo AUDIT-AI

Problema
Detectores de texto de IA comerciais são cada vez mais implementados por periódicos acadêmicos e revisores de subsídios para rastrear a autoria de escrita científica por IA. No entanto, evidências empíricas sugerem que essas ferramentas sofrem de um viés algorítmico significativo contra falantes não nativos de inglês. Um estudo fundamental de 2023 (Liang et al.) demonstrou que os detectores classificaram erroneamente mais de 60% de ensaios de falantes não nativos de inglês como gerados por IA, em comparação com uma precisão quase perfeita em ensaios escritos por nativos dos EUA. A hipótese predominante é que os métodos de detecção baseados em perplexidade interpretam a expressão linguística restrita, a diversidade lexical reduzida e as estruturas formulaicas comuns na escrita de não nativos como "semelhantes a máquinas" (baixa perplexidade/baixa variabilidade ou burstiness).

Apesar dessa evidência, uma lacuna crítica permanece: nenhum estudo revisado por pares testou se a origem geográfica da instituição de um autor correspondente — um proxy prático usado por editores — prevê a classificação errônea de detectores em literatura médica de formato longo e revisada por pares. Os estudos de validação existentes baseiam-se em ensaios estudantis, resumos curtos ou corpora de gêneros mistos, que não refletem o contexto de triagem editorial em publicações científicas de alto risco.

Metodologia
O estudo AUDIT-AI é um auditoria de precisão diagnóstica de três braços, pré-registrada, projetada para quantificar este viés na pesquisa cardiometabólica. O estudo adere às diretrizes STARD-AI 2025 e é classificado como Pesquisa sem Sujeitos Humanos (NHSR).

• Construção do Corpus (n = 200 textos):

  • Braço A (Nativo): 50 artigos cardiometabólicos altamente citados (Diabetes, Obesidade, NAFLD, Doenças Cardiovasculares) de 1995–2020, com o primeiro autor e o autor correspondente afiliados a instituições nos EUA, Reino Unido, Canadá, Austrália, Nova Zelândia ou Irlanda.
  • Braço B (Não Nativo): 50 artigos dos mesmos domínios e épocas, com autores afiliados a instituições no Oriente Médio/Norte da África, Leste Asiático, Sul da Ásia, América Latina ou Europa não anglo-falante.
  • Braço C (Controle de IA): 100 reescritas geradas por IA (seções de Introdução e Discussão) dos artigos dos Braços A e B.
    • Pipeline: Um pipeline de três estágios "desacoplado e isolado (air-gapped)" garante o rigor metodológico. O Estágio 1 usa LlamaParse (modelo de linguagem-visão) para extrair dados estruturados de PDFs. O Estágio 2 usa o Claude Sonnet 4.6 para gerar seções narrativas baseadas estritamente nos dados extraídos, impondo sobreposições estilométricas (ex: variação de comprimento de frase) para maximizar a perplexidade e evitar transições padronizadas "semelhantes à IA". O Estágio 3 envolve portões de garantia de qualidade para contagem de palavras e fidelidade de conteúdo.

• Ensemble de Detecção:

  • Cinco detectores comerciais são avaliados: iThenticate (Turnitin), Originality.AI, GPTZero, Copyleaks e Winston AI.
  • Cada uma das 400 seções narrativas (200 artigos × 2 seções) é pontuada duas vezes por cada detector dentro de uma janela de 14 dias, resultando em 4.000 observações totais.

• Análise Estatística:

  • Desfecho Primário: Pontuação de probabilidade de IA contínua (0–100%).
  • Modelo Primário: Regressão de modelos lineares de efeitos mistos analisando a diferença entre o Braço B e o Braço A, controlando por tipo de seção (Introdução vs. Discussão), época de publicação, fator de impacto do periódico e contagem de palavras.
  • Poder: O design (n=50 por braço) fornece aproximadamente 80% de poder para detectar um tamanho de efeito médio (Cohen's d = 0,5) para a hipótese direcional primária.

Contribuições Principais e Novidade
O estudo afirma avançar o campo de cinco maneiras específicas:

1. Texto de Longo Formato Pré-LLM: Ao contrário de trabalhos anteriores sobre ensaios curtos ou resumos, este estudo testa os detectores em prosa narrativa de 600–1.500 palavras (Introdução/Discussão) realmente utilizada na triagem editorial.
2. Proxy Geográfico-Institucional: Utiliza o sinal prático do editor (filiação institucional) em vez de L1 autorrelatado ou pontuações TOEFL.
3. Bloqueio de Especialidade: Ao restringir o corpus à literatura cardiometabólica, controla o registro de vocabulário e a distribuição de tópicos, isolando a disparidade de L1 do efeito de gênero.
4. Isolamento Metodológico (Air-Gap): O braço de IA utiliza um fornecedor diferente (LlamaParse) para extração do que o gerador (Claude), evitando críticas de contaminação de dados de treinamento.
5. Rigor Pré-Registrado: Todas as hipóteses, tamanhos de amostra e modelos estatísticos são travados antes da coleta de dados para evitar a seleção arbitrária de limiares (cherry-picking).

Resultos Antecipados e Hipóteses
O estudo não apresenta resultados finais, mas delineia cinco hipóteses pré-registradas:

• H1 (Primária): As pontuações médias de probabilidade de IA serão significativamente maiores para artigos de instituições não nativas (Braço B) do que para artigos nativos (Braço A), com uma diferença absoluta esperada de 12–22 pontos percentuais.
• H2: Nenhum detector individual alcançará simultaneamente sensibilidade e especificidade de ≥0,85 em ambos os braços humanos.
• H3: A concordância inter-detector (Fleiss' κ) no limiar de 50% será baixa (<0,40).
• H4: A disparidade de L1 será maior nas seções de Discussão do que nas de Introdução, refletindo a maior expressividade estilística destas últimas.
• H5: A origem geográfica permanecerá como um preditor significativo das pontuações de IA mesmo após o ajuste pelo fator de impacto do periódico, época e métricas de legibilidade.

Significância e Alegações
O estudo AUDIT-AI posiciona-se como um mecanismo crítico de prestação de contas para as ferramentas que governam a integridade científica.

• Se a H1 for sustentada: O estudo fornecerá evidência direta de que a dependência de detectores comerciais impõe um "custo de equidade" mensurável sobre autores biomédicos de instituições não nativas, podendo levar ao sinal de alerta injusto em submissões de periódicos e revisões de subsídios.
• Se a H1 não for sustentada: Oferecerá o primeiro achado negativo em um teste estruturado de disparidade de L1 no domínio médico, desafiando a generalização dos resultados de ensaios de TOEFL de Liang et al. (2023) para a publicação científica profissional.

Em última análise, o estudo visa informar decisões políticas relativas ao uso de detectores em fluxos de trabalho de periódicos, revisão de subsídios (referenciando especificamente as diretrizes do NIH) e adjudicações de integridade acadêmica. Os autores comprometem-se a liberar todo o código, esquemas e saídas desidentificadas sob uma licença CC-BY 4.0 para garantir a reprodutibilidade.