AI evaluation may bias perceptions: The importance of context in interpreting academic writing

Resumo Técnico: A Avaliação por IA Pode Viesar Percepções

Declaração do Problema
O artigo aborda uma falha crítica nas metodologias atuais para estimar o uso de Modelos de Linguagem de Grande Escala (LLM) na escrita científica. As abordagens existentes frequentemente dependem de um "benchmark agrupado" — um padrão global único para "semelhança com IA" treinado em dados agregados de todos os países e disciplinas. Os autores argumentam que essa abordagem ignora a heterogeneidade estilística pré-existente substancial entre diferentes grupos de país-campo. Como as convenções de escrita científica, as normas linguísticas e os estilos retóricos variam significativamente conforme a geografia e a disciplina, um benchmark unificado corre o risco de confundir a variação estilística natural com texto gerado por IA. Essa confusão pode levar a uma classificação sistemática equivocada, onde certos grupos parecem usar IA com mais frequência simplesmente porque seu estilo de escrita de base se alinha mais estreitamente ao perfil "tipo IA" agrupado, mesmo na ausência de uso real de LLM.

Metodologia
O estudo utiliza dados de publicações em larga escala do banco de dados Dimensions, cobrindo publicações em revistas em língua inglesa de 2020 a 2025. Os autores definem 18 grupos de países e 13 áreas de estudo, criando 234 grupos distintos de país-campo.

1. Construção dos Dados:

   • Corpus de Treinamento (2020): Os autores amostram até 2.000 publicações por grupo de país-campo de 2020 (era pré-LLM). Eles utilizam o ChatGPT-4o-mini para reescrever os resumos dessas publicações usando um procedimento de dois passos "esquema-e-expansão". Isso cria pares de resumos originais escritos por humanos e reescritos por IA.
   • Corpus de Inferência: Publicações de 2021 (usadas como placebo pré-LLM) e de 2025 (era pós-LLM) são utilizadas para testar os benchmarks.

2. Construção do Benchmark:

   • Benchmark Agrupado: Um único conjunto de razões de log-odds em nível de palavra é calculado agrupando todos os dados de treinamento de 2020 de todos os 234 grupos. Isso estabelece uma linha de base global para as probabilidades de uso de palavras em texto humano versus texto de IA.
   • Benchmarks Específicos por País-Campo: São construídos 234 benchmarks separados, onde cada benchmark é treinado apenas nos dados dentro de seu grupo específico de país-campo.
   • Métrica: Para cada palavra $t$, a razão de log-odds é calculada como $\log \frac{P_t/(1-P_t)}{Q_t/(1-Q_t)}$, onde $P_t$ e $Q_t$ são as probabilidades da palavra aparecer em resumos escritos por humanos e reescritos por IA, respectivamente. Valores negativos indicam palavras mais propensas a aparecer em texto de IA.

3. Estimação:

   • Os autores empregam um Estimador de Máxima Verossimilhança (MLE) para estimar o peso da mistura ($\alpha$), representando a fração de texto modificada por IA.
   • As ocorrências de palavras em nível de frase são modeladas como eventos Bernoulli. A verossimilhança de uma frase é modelada como uma mistura de distribuições humana e de IA: $L_i(\alpha) = (1-\alpha)L_H(S_i) + \alpha L_A(S_i)$.
   • O estimador é aplicado duas vezes aos dados de 2025: uma vez usando o benchmark agrupado ($\alpha^{pool}_g$) e uma vez usando o benchmark específico do grupo ($\alpha^g_g$).

Principais Descobertas

1. Heterogeneidade Estilística Pré-Existente:
   A análise dos dados de 2020 (pré-LLM) revela variação significativa no uso de palavras "tipo IA" entre os grupos. A decomposição ANOVA mostra que aproximadamente 80% da variância nas razões de log-odds decorre de diferenças entre países dentro do mesmo campo, e não de diferenças entre campos. Simulações de permutação confirmam que essa heterogeneidade é genuína e não ruído estatístico.

2. Viés no Placebo Pré-LLM (2021):
   Quando o benchmark agrupado é aplicado às publicações de 2021 (onde o uso real de IA deveria ser próximo de zero), ele produz uma distribuição altamente distorcida das estimativas de uso de IA ($\alpha$).

   • Superestimação: Países de língua dominante inglesa (por exemplo, EUA, Reino Unido) e campos como Economia, Gestão e Humanidades mostram estimativas de base artificialmente altas (até 0,17).
   • Subestimação: Países como a Rússia e campos como Ciências Matemáticas e Físicas mostram bases próximas de zero.
   • Em contraste, os benchmarks específicos por país-campo produzem uma distribuição centrada próximo a 0,04–0,05 com dispersão significativamente reduzida (o Desvio Padrão cai de 0,052 para 0,016), fornecendo uma linha de base mais credível.

3. Viés Sistemático nas Estimativas de 2025:
   A comparação das estimativas de 2025 revela que o benchmark agrupado distorce sistematicamente a distribuição percebida geograficamente e disciplinarmente do uso de IA:

   • Superestimação: O uso de IA é superestimado em países de língua dominante inglesa e em campos com estilos de escrita semelhantes ao perfil de IA agrupado (por exemplo, Economia, Psicologia, Ciência da Computação).
   • Subestimação: O uso de IA é subestimado em países não dominantes em inglês (por exemplo, Rússia, Brasil, Japão) e em campos com bases estilísticas distintas (por exemplo, Ciências Matemáticas, Ciências Biomédicas).

Significado e Alegações
O artigo argumenta que a avaliação precisa do uso de IA na ciência requer medição consciente do contexto, em vez de padrões de tamanho único. Os autores afirmam que os benchmarks agrupados não introduzem meramente ruído, mas induzem um viés estruturado que remodela a paisagem percebida da adoção de IA.

• Equidade e Confiança: As descobertas sugerem que os métodos atuais de detecção podem reforçar desigualdades existentes. Pesquisadores em países de língua dominante inglesa e de alta renda podem ser injustamente sinalizados por escrita "tipo IA" (o que poderia ser interpretado como fluência), enquanto pesquisadores em outras regiões ou disciplinas podem ter detecção insuficiente ou enfrentar penalidades de credibilidade diferentes.
• Implicações Políticas: Os autores alertam contra a adoção de limiares uniformes de detecção de IA em políticas de integridade acadêmica, triagem de periódicos e conformidade com financiamento. Eles defendem benchmarks calibrados ao contexto para evitar a distorção do discurso científico e a erosão da confiança em regiões ou disciplinas específicas.
• Contribuição Metodológica: O estudo demonstra que ignorar linhas de base contextuais leva a interpretações frágeis das tendências de adoção de IA. Ao incorporar linhas de base específicas por país-campo, a credibilidade das comparações entre grupos é significativamente melhorada.

O artigo conclui que, embora nenhum benchmark seja perfeitamente isento de viés, avançar em direção a medições conscientes do contexto é um passo necessário para garantir uma avaliação justa e precisa da IA na escrita científica.