What does Retraction Watch's "computer-generated content" reason capture? A metadata analysis of 9,161 retractions
Esta análise de metadados de 9.161 retratações revela que o motivo "conteúdo gerado por computador" no Retraction Watch está fortemente concentrado em uma única editora e fortemente associado a fábricas de artigos (paper mills), mas esses padrões refletem práticas de co-codificação em vez de fornecer evidências definitivas sobre a presença real de IA generativa nos artigos retratados.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Na vasta biblioteca do conhecimento humano, cada estudo publicado deveria ser um bloco de construção da verdade. Mas, às vezes, blocos são removidos. Quando uma revista decide que um artigo é falho, fraudulento ou simplesmente errado, ela emite uma retratação, efetivamente retirando o artigo das prateleiras da ciência. Durante décadas, pesquisadores têm rastreado essas retratações para entender como o sistema falha. Recentemente, um novo motivo apareceu nos avisos de retratação: "conteúdo gerado por computador". Este rótulo é aplicado quando uma investigação descobre que um artigo foi escrito, no todo ou em parte, por uma máquina em vez de um humano. À medida que as ferramentas de inteligência artificial se tornaram mais poderosas e acessíveis, esse motivo cresceu rapidamente, levando muitos a acreditar que isso sinaliza uma nova onda de má conduta impulsionada pela IA generativa. A questão é se este rótulo aponta verdadeiramente para um surto de artigos escritos por IA ou se está capturando algo inteiramente diferente.
Um pesquisador chamado Jonas Mandalunes propôs-se a investigar exatamente o que este rótulo captura. Usando um banco de dados massivo de mais de 66.000 registros de retratação, o estudo focou nos 9.161 artigos que carregavam o motivo "conteúdo auxiliado ou gerado por computador". O objetivo era ver se esses artigos se comportavam de forma diferente de outros artigos retratados em termos de quanto tempo permaneceram impressos antes de serem retirados, quais outros problemas possuíam e com que frequência eram citados após a sua retratação. As descobertas revelam que a história por trás deste rótulo é muito mais complexa e específica do que um simples surto de uso indevido de IA.
A primeira coisa que os dados mostraram foi um enorme pico nos números, mas não foi um crescimento constante em todo o mundo da ciência. Antes de 2020, este motivo era quase inexistente, aparecendo em apenas 28 artigos. Em 2023, no entanto, ele representou quase 42% de todas as retratações registradas naquele ano. Essa explosão repentina parecia uma onda de fraude gerada por IA. No entanto, quando o pesquisador olhou mais de perto, a onda não vinha de todos os lugares. Estava concentrada quase inteiramente em um lugar específico: uma única editora conhecida como Hindawi. De fato, 70% de todos os artigos com este rótulo vieram dessa única editora. Esta editora havia passado recentemente por uma investigação interna massiva em seus programas de edições especiais, descobrindo manipulação generalizada do processo de revisão por pares. O estudo sugere que o rótulo está capturando, em grande parte, o desdobramento desta limpeza específica e em larga escala, em vez de uma epidemia geral de escrita por IA em todos os campos científicos.
Outra suposição comum era que estes artigos gerados por computador estavam sendo detectados muito mais rápido do que outros trabalhos fraudulentos. Como as máquinas podem produzir textos rapidamente, parecia lógico que seus erros também seriam detectados rapidamente. Os números brutos pareciam apoiar isso, mostrando que os artigos "gerados por computador" tinham um intervalo de tempo muito mais curto antes da retratação em comparação com os cronogramas desordenados e variados de outros artigos retratados. No entanto, este tempo curto era uma ilusão criada pela concentração dos dados. Quando o pesquisador comparou estes artigos apenas com outros artigos da mesma editora e dos mesmos anos, a diferença de tempo desapareceu. Os artigos "gerados por computador" não estavam sendo detectados mais rápido; eles eram apenas parte de um lote de artigos que foram todos revisados e retratados ao mesmo tempo durante aquela investigação específica da editora. Uma vez que a editora dominante foi removida da comparação, a ideia de que estes artigos possuem um cronograma único e acelerado desapareceu completamente.
O estudo também examinou a conexão entre este rótulo e "fábricas de artigos" (paper mills), que são organizações que vendem autoria falsa e manuscritos fabricados. Inicialmente, os dados mostraram uma forte ligação: 71% dos artigos "gerados por computador" também carregavam a marca de fábrica de artigos, em comparação com apenas 9% de outros artigos retratados. Isso sugeria que o rótulo era um marcador confiável para essas operações criminosas. Mas, novamente, o cenário mudou quando os dados foram classificados por editora e ano. Antes de 2023, a ligação era inexistente. Em 2023 e 2024, a ligação tornou-se muito forte, mas apenas dentro de editoras específicas. Em outras grandes editoras, a relação na verdade se inverteu, com os artigos "gerados por computador" sendo menos propensos a serem ligados a fábricas de artigos do que outros artigos retratados. Esta variação extrema significa que não existe uma regra única e universal conectando o rótulo às fábricas de artigos; a associação depende inteiramente de quem está investigando e de quando.
Finalmente, o pesquisador observou se estes artigos eram citados com menos frequência após serem retratados, o que indicaria que a comunidade científica estava prestando atenção ao aviso. À primeira vista, parecia que os artigos "gerados por computador" eram citados significativamente menos do que artigos semelhantes retratados. Mas esta diferença devia-se, em grande parte, ao fato de que o grupo de controle de artigos tinha sido citado mais intensamente antes mesmo de serem retratados. Quando o pesquisador combinou perfeitamente os artigos com base em quantas citações eles já haviam recebido, a diferença nas citações pós-retratação quase desapareceu. A pequena lacuna restante não era estatisticamente significativa, sugerindo que a comunidade científica trata estes artigos de forma não diferente de outros trabalhos retratados, uma vez que sua reputação prévia é considerada.
Talvez a descoberta mais reveladora tenha vindo de uma busca por palavras específicas nos avisos de retratação. O pesquisador procurou por menções a ferramentas de IA específicas, como "ChatGPT" ou "modelos de linguagem de grande escala", nos metadados dos artigos. De milhares de registros, apenas 21 continham termos tão específicos. Ainda mais surpreendente, nenhum dos artigos que carregavam o rótulo "conteúdo gerado por computador" e também mencionavam uma ferramenta de IA específica era sobre a própria ferramenta; eram estudos sobre IA, não artigos escritos por IA. O único artigo que mencionou figuras geradas por IA nem sequer carregava o rótulo "conteúdo gerado por computador". Isto indica que o rótulo não está sendo aplicado porque os avisos de retratação dizem explicitamente "isto foi escrito por uma máquina". Em vez disso, o rótulo está sendo aplicado com base em investigações mais amplas sobre a integridade do artigo, frequentemente juntamente com descobertas de revisão por pares comprometida.
O estudo conclui que o rótulo "conteúdo gerado por computador" no banco de dados de retratações não é um marcador confiável para o uso indevido de IA generativa. É o registro de uma investigação específica e massiva nos programas de edições especiais de uma única editora, onde o rótulo foi aplicado a uma ampla gama de problemas, incluindo fábricas de artigos e falhas de revisão por pares. Os dados mostram que o rótulo não aponta para um tipo único de artigo que é detectado mais rápido ou tratado de forma diferente pela comunidade científica. Até que os pesquisadores possam ler os avisos de retratação reais e verificar o conteúdo dos artigos, usar este rótulo como uma medida de fraude por IA gerada levará a uma visão distorcida do problema. A história real não é uma invasão súbita de ciência escrita por IA, mas uma limpeza concentrada de um fluxo de trabalho editorial específico que, por acaso, utilizou um rótulo amplo para descrever suas descobertas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.