Diagnosing event dependence in computer-generated-content retraction metadata, 2010–2025
Questo studio dimostra che il forte aumento dei metadati di ritiro etichettati come contenuti generati dal computer dal 2010 al 2025 è guidato principalmente dai programmi di pulizia di alcuni editori piuttosto che riflettere la reale prevalenza dell'IA nei manoscritti, rendendo tali conteggi inadatti per inferire effetti causali dell'IA generativa.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo dell'editoria accademica, una ritrazione è l'ammissione pubblica che un articolo pubblicato non può essere considerato affidabile. È una correzione, un segnale che qualcosa è andato storto, che si tratti di un errore onesto, di un lavoro incompleto o di una frode deliberata. Per decenni, ricercatori e bibliotecari hanno utilizzato il numero di ritrazioni come una stima approssimativa dell'integrità della ricerca, assumendo che un conteggio in aumento significhi che viene pubblicata più cattiva scienza. Tuttavia, questa ipotesi trascura un dettaglio cruciale: una ritrazione non è solo la registrazione di un errore; è anche la registrazione di una scoperta. Un alto numero di ritrazioni può significare che una rivista è diventata più brava a trovare e correggere i problemi, non solo che ne sta pubblicando di più. Questa distinzione diventa particolarmente complicata quando si tratta di contenuti generati dal computer, dove gli algoritmi creano articoli falsi che sembrano reali ma contengono assurdità. Quando questi articoli vengono scoperti, vengono spesso rimossi in grandi lotti dai publisher, creando improvvisi picchi nei dati che possono sembrare un'ondata di nuova frode, ma che potrebbero in realtà essere una singola operazione di pulizia.
Uno studio recente di Anton Sokolov presso il Tyche Institute indaga esattamente questo fenomeno, concentrandosi sugli anni dal 2010 al 2025. Il ricercatore ha esaminato un'istantanea congelata del database di Retraction Watch, una collezione curata di avvisi di ritrazione da tutto il mondo. Da un totale di quasi 61.000 ritrazioni, lo studio ha isolato 9.102 record che erano specificamente etichettati come contenuti "assistiti dal computer" o "generati dal computer". Questi tag coprono una vasta gamma di problemi, dai primi sistemi che generavano geroglifici casuali agli strumenti di intelligenza artificiale moderni che scrivono interi articoli. L'obiettivo non era contare quanti articoli falsi esistano nel mondo, ma capire cosa rappresentino realmente i numeri delle ritrazioni. Guardando da vicino chi ha emesso le ritrazioni, quando sono avvenute e come sono state raggruppate, lo studio rivela che l'aumento drammatico di questi numeri è guidato quasi interamente da specifici programmi di pulizia su larga scala gestiti da alcuni grandi publisher, piuttosto che da un aumento costante e diffuso della frode generata dall'IA in tutta la scienza.
I dati mostrano un chiaro cambiamento nel panorama dell'ultimo decennio. Tra il 2010 e il 2019, i contenuti generati dal computer costituivano una frazione minuscola delle ritrazioni, apparendo in meno dell'uno percento dei casi ogni anno. La situazione è cambiata rapidamente a partire dal 2020. Entro il 2023, la quota di ritrazioni etichettate per contenuti generati dal computer era salita quasi al 42 percento. Negli anni successivi, il 2024 e il 2025, la quota è rimasta alta rispettivamente intorno al 23 e 24 percento. A prima vista, questi numeri suggeriscono un'esplosione massiccia e globale di articoli generati dall'IA che inondano la letteratura scientifica. Tuttavia, quando il ricercatore ha guardato più a fondo chi fosse responsabile della rimozione di questi articoli, è emersa una storia diversa. Gli alti numeri non erano il risultato di molti diversi publisher che trovavano problemi indipendentemente. Inveve, erano il risultato di alcuni specifici publisher che lanciavano massicce operazioni coordinate per rimuovere migliaia di articoli in una volta sola.
Nel 2023, ad esempio, una singola linea editoriale ha fornito il 98 percento di tutte le ritrazioni di contenuti generati dal computer. Nel 2024 e nel 2025, quella cifra è rimasta sopra l'80 percento, guidata da due diversi gruppi editoriali in anni differenti. Quando lo studio ha rimosso i record di questi principali publisher dal calcolo, la quota annuale di ritrazioni per contenuti generati dal computer è scesa drasticamente. Nel 2023, il numero è passato dal 41 percento a appena lo 0,32 percento. Nel 2024 e nel 2025, le quote rimanenti erano similmente piccole, oscillando intorno allo 0,6 e all'1,4 percento. Questo schema indica che i numeri riportati dai titoli non sono una misura di quanta cattiva scienza venga scritta ogni anno, ma piuttosto una misura di quanti articoli un particolare publisher abbia deciso di ritirare in un anno specifico. Lo studio ha scoperto che questi eventi erano spesso concentrati in una singola rivista o persino in un singolo giorno di inserimento dei metadati, confermando ulteriormente che si trattava di campagne di pulizia organizzate piuttosto che di un problema diffuso e sistemico.
La ricerca ha anche confrontato queste ritrazioni di contenuti generati dal computer con altri motivi comuni per il ritiro di articoli, come il plagio, gli articoli duplicati o la revisione paritaria compromessa. Anche tra queste altre categorie, che sono note per essere concentrate in certe aree, i tag per i contenuti generati dal computer erano molto più raggruppati. Mentre altri tipi di ritrazioni erano distribuiti tra molti diversi publisher e riviste, i tag per i contenuti generati dal computer erano schiacciantemente dominati da uno o due publisher in qualsiasi anno dato. Questa estrema concentrazione suggerisce che i dati riflettono le azioni amministrative di poche grandi organizzazioni piuttosto che la prevalenza sottostante del testo generato dall'IA in tutta la comunità scientifica. Lo studio osserva che le ragioni specifiche fornite per le ritrazioni sono cambiate a seconda di quale publisher stesse effettuando la pulizia, con alcuni anni che mostravano alti tassi di tag relativi ai "paper mill" (fabbriche di articoli) e altri che mostravano etichette diverse, collegando ulteriormente i dati a specifiche strategie editoriali piuttosto che a una uniforme tendenza globale.
In definitiva, lo studio conclude che questi numeri di ritrazione dovrebbero essere interpretati con cautela. Sono eccellenti registri di applicazione delle regole e di pulizia, mostrando dove i publisher hanno identificato con successo e rimosso il lavoro problematico. Tuttavia, non sono una misurazione diretta di quanto spesso gli autori utilizzino l'intelligenza artificiale per scrivere articoli, né provano che il tasso di tale condotta scorretta stia aumentando ovunque. Un alto numero di ritrazioni in un singolo anno può semplicemente significare che un publisher ha finalmente recuperato un arretrato di indagini o ha deciso di rimuovere migliaia di articoli in una volta sola. Per comprendere il vero stato dell'integrità della ricerca, bisogna guardare oltre i totali grezzi e considerare chi sta facendo il conteggio, come stanno raggruppati i dati e se i picchi rappresentino una nuova ondata di frode o una riuscita ondata di correzione. Le conclusioni ricordano che, nel mondo delle metriche scientifiche, un numero elevato non significa sempre un grande problema; a volte, significa solo una grande pulizia.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.