Diagnosing event dependence in computer-generated-content retraction metadata, 2010–2025
Este estudo demonstra que o aumento acentuado nos metadados de retratação rotulados como conteúdo gerado por computador de 2010 a 2025 é impulsionado principalmente pelos programas de limpeza de algumas editoras, e não reflete a prevalência real de IA em manuscritos, tornando essas contagens inadequadas para inferir efeitos causais da IA generativa.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo da publicação acadêmica, uma retratação é uma admissão pública de que um artigo publicado não pode ser confiado. É uma correção, um sinal de que algo deu errado, seja por erro honesto, trabalho incompleto ou fraude deliberada. Durante décadas, pesquisadores e bibliotecários têm usado o número de retratações como um indicador aproximado da integridade da pesquisa, assumindo que um aumento na contagem significa que mais ciência ruim está sendo publicada. No entanto, essa suposição ignora um detalhe crucial: uma retratação não é apenas um registro de um erro; é também um registro de uma descoberta. Um alto número de retratações pode significar que um periódico tornou-se melhor em encontrar e corrigir problemas, não apenas que está publicando mais deles. Essa distinção torna-se especialmente complicada ao lidar com conteúdo gerado por computador, onde algoritmos criam artigos falsos que parecem reais, mas contêm absurdos. Quando esses artigos são detectados, eles são frequentemente removidos em grandes lotes pelos editores, criando picos súbitos nos dados que podem parecer uma inundação de novas fraudes, mas que podem ser, na verdade, uma única operação de limpeza.
Um estudo recente de Anton Sokolov, do Instituto Tyche, investiga exatamente este fenômeno, focando nos anos de 2010 a 2025. O pesquisador examinou um recorte congelado do banco de dados Retraction Watch, uma coleção curada de avisos de retratação de todo o mundo. De um total de quase 61.000 retratações, o estudo isolou 9.102 registros que foram especificamente marcados como conteúdo "assistido por computador" ou "gerado por computador". Essas etiquetas cobrem uma ampla gama de questões, desde sistemas precoces que geravam textos sem sentido até ferramentas modernas de inteligência artificial que escrevem artigos inteiros. O objetivo não era contar quantos artigos falsos existem no mundo, mas entender o que os números de retratação realmente representam. Ao observar de perto quem emitiu as retratações, quando elas ocorreram e como foram agrupadas, o estudo revela que o aumento dramático nesses números é impulsionado quase inteiramente por programas de limpeza específicos e de grande escala realizados por alguns grandes editores, e não por um aumento constante e generalizado de fraudes geradas por IA em toda a ciência.
Os dados mostram uma mudança clara no cenário ao longo da última década. Entre 2010 e 2019, o conteúdo gerado por computador representava uma fração minúscula das retratações, aparecendo em menos de um por cento dos casos a cada ano. A situação mudou rapidamente a partir de 2020. Em 2023, a parcela de retratações marcadas por conteúdo gerado por computador subiu para quase 42 por cento. Nos anos seguintes, 2024 e 2025, a parcela permaneceu alta, em aproximadamente 23 e 24 por cento, respectivamente. À primeira vista, esses números sugerem uma explosão massiva e global de artigos gerados por IA inundando a literatura científica. No entanto, quando o pesquisador olhou mais profundamente para quem era responsável pela remoção desses artigos, uma história diferente surgiu. Os números altos não foram o resultado de muitos editores diferentes encontrando problemas de forma independente. Em vez disso, foram o resultado de alguns editores específicos lançando esforços massivos e coordenados para remover milhares de artigos de uma só vez.
Em 2023, por exemplo, uma única linhagem de editor forneceu 98 por cento de todas as retratações de conteúdo gerado por computador. Em 2024 e 2025, esse número permaneceu acima de 80 por cento, impulsionado por dois grupos de editores diferentes em anos distintos. Quando o estudo removeu os registros desses editores líderes do cálculo, a parcela anual de retratações de conteúdo gerado por computador caiu drasticamente. Em 2023, o número caiu de 41 por cento para apenas 0,32 por cento. Em 2024 e 2025, as parcelas restantes foram similarmente pequenas, pairando em torno de 0,6 por cento e 1,4 por cento. Esse padrão indica que os números das manchetes não são uma medida de quanta ciência ruim está sendo escrita a cada ano, mas sim uma medida de quantos artigos um editor específico decidiu retirar em um determinado ano. O estudo descobriu que esses eventos estavam frequentemente concentrados em um único periódico ou mesmo em um único dia de entrada de metadados, confirmando ainda mais que eram campanhas de limpeza organizadas, em vez de um problema difuso e sistêmico.
A pesquisa também comparou essas retratações de conteúdo gerado por computador com outros motivos comuns para a retirada de artigos, como plágio, artigos duplicados ou revisão por pares comprometida. Mesmo entre essas outras categorias, que são conhecidas por serem concentradas em certas áreas, as etiquetas de conteúdo gerado por computador foram muito mais agrupadas. Enquanto outros tipos de retratações estavam espalhados por muitos editores e periódicos diferentes, as etiquetas de conteúdo gerado por computador foram predominantemente dominadas por um ou dois editores em qualquer ano dado. Essa concentração extrema sugere que os dados estão refletindo as ações administrativas de algumas grandes organizações, em vez da prevalência subjacente de texto gerado por IA em toda a comunidade científica. O estudo observa que os motivos específicos dados para as retratações também mudaram dependendo de qual editor estava realizando a limpeza, com alguns anos mostrando altas taxas de etiquetas de "fábrica de artigos" (paper mill) e outros mostrando rótulos diferentes, vinculando ainda mais os dados a estratégias específicas de editores em vez de uma tendência global uniforme.
Em última análise, o estudo conclui que esses números de retratação devem ser interpretados com cautela. Eles são excelentes registros de aplicação e limpeza, mostrando onde os editores identificaram e removeram com sucesso trabalhos problemáticos. No entanto, eles não são uma medição direta de quão frequentemente autores estão usando inteligência artificial para escrever artigos, nem provam que a taxa de tal má conduta está aumentando em todos os lugares. Um alto número de retratações em um único ano pode simplesmente significar que um editor finalmente alcançou um acúmulo de investigações ou decidiu remover milhares de artigos de uma só vez. Para entender o verdadeiro estado da integridade da pesquisa, deve-se olhar além dos totais brutos e considerar quem está fazendo a contagem, como eles estão agrupando os dados e se os picos representam uma nova onda de fraude ou uma onda bem-sucedida de correção. As descobertas nos lembram que, no mundo das métricas científicas, um número grande nem sempre significa um grande problema; às vezes, significa apenas uma grande limpeza.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.