What does Retraction Watch's "computer-generated content" reason capture? A metadata analysis of 9,161 retractions
Questa analisi dei metadati di 9.161 ritiri rivela che la motivazione "contenuto generato dal computer" in Retraction Watch è pesantemente concentrata in un singolo editore e fortemente associata ai paper mill, ma tali schemi riflettono pratiche di co-coding piuttosto che fornire prove definitive sulla reale presenza di IA generativa negli articoli ritirati.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nella vasta biblioteca della conoscenza umana, ogni studio pubblicato dovrebbe essere un mattone della verità. Ma a volte, dei mattoni vengono rimossi. Quando una rivista decide che un articolo è difettoso, fraudolento o semplicemente errato, emette una ritrazione, ritirando di fatto l'articolo dagli scaffali della scienza. Per decenni, i ricercatori hanno tracciato queste ritrazioni per capire come il sistema fallisce. Recentemente, un nuovo motivo è apparso nelle avvisi di ritrazione: "contenuto generato dal computer". Questa etichetta viene applicata quando un'indagine scopre che un articolo è stato scritto, in tutto o in parte, da una macchina piuttosto che da un essere umano. Man mano che gli strumenti di intelligenza artificiale sono diventati più potenti e accessibili, questo motivo è cresciuto rapidamente, portando molti a credere che segnali una nuova ondata di cattiva condotta guidata dall'IA generativa. La domanda è se questa etichetta indichi davvero un aumento di articoli scritti dall'IA, o se stia catturando qualcos'altro interamente.
Un ricercatore di nome Jonas Mandalunes si è proposto di investigare esattamente cosa catturi questa etichetta. Utilizzando un enorme database di oltre 66.000 record di ritrazione, lo studio si è concentrato sui 9.161 articoli che riportavano la ragione "contenuto assistito o generato dal computer". L'obiettivo era vedere se questi articoli si comportassero diversamente da altri articoli ritirati in termini di quanto tempo siano rimasti in stampa prima di essere ritirati, quali altri problemi avessero e quanto spesso venissero citati dopo la loro ritrazione. I risultati rivelano che la storia dietro questa etichetta è molto più complessa e specifica di una semplice ondata di uso improprio dell'IA.
La prima cosa che i dati hanno mostrato è stato un massiccio picco nei numeri, ma non si è trattato di una crescita costante in tutto il mondo della scienza. Prima del 2020, questo motivo era quasi inesistente, apparendo in soli 28 articoli. Entro il 2023, tuttavia, rappresentava quasi il 42 percento di tutte le ritrazioni registrate in quell'anno. Questa esplosione improvvisa sembrava un'ondata di frode generata dall'IA. Eppure, quando il ricercatore ha guardato più da vicino, l'ondata non proveniva da ogni dove. Era concentrata quasi interamente in un unico luogo specifico: un singolo editore noto come Hindawi. Infatti, il 70 percento di tutti gli articoli con questa etichetta proveniva da quel singolo editore. Questo editore aveva recentemente affrontato una massiccia indagine interna sui suoi programmi di numeri speciali, svelando una manipolazione diffusa del processo di revisione paritaria. Lo studio suggerisce che l'etichetta stia catturando in gran parte le conseguenze di questa specifica, su larga scala pulizia piuttosto che un'epidemia generale di scrittura tramite IA in tutti i campi scientifici.
Un'altra ipotesi comune era che questi articoli generati dal computer venissero scoperti molto più velocemente rispetto ad altre opere fraudolente. Poiché le macchine possono produrre testi rapidamente, sembrava logico che anche i loro errori venissero individuati rapidamente. I numeri grezzi sembravano supportare questo, mostrando che gli articoli "generati dal computer" avevano un intervallo di tempo molto più stretto prima della ritrazione rispetto ai tempi disordinati e variabili di altri articoli ritirati. Tuttavia, questo tempismo serrato era un'illusione creata dalla concentrazione dei dati. Quando il ricercatore ha confrontato questi articoli solo con altri articoli dello stesso editore e degli stessi anni, la differenza nel tempismo è svanita. Gli articoli "generati dal computer" non venivano scoperti più velocemente; facevano solo parte di un gruppo di articoli che sono stati tutti revisionati e ritirati contemporaneamente durante quella specifica indagine dell'editore. Una volta rimosso l'editore dominante dal confronto, l'idea che questi articoli avessero una cronologia unica e accelerata è scomparsa completamente.
Lo studio ha anche esaminato la connessione tra questa etichetta e le "paper mills", ovvero organizzazioni che vendono falsa paternità d'autore e manoscritti fabbricati. Inizialmente, i dati hanno mostrato un forte legame: il 71 percento degli articoli "generati dal computer" portava anche il flag delle paper mill, rispetto a solo il 9 percento degli altri articoli ritirati. Ciò suggeriva che l'etichetta fosse un indicatore affidabile di queste operazioni criminali. Ma ancora una volta, il quadro è cambiato quando i dati sono stati ordinati per editore e anno. Prima del 2023, il legame era inesistente. Nel 2023 e nel 2024, il legame è diventato molto forte, ma solo all'interno di editori specifici. In altri grandi editori, la relazione si è effettivamente invertita, con gli articoli "generati dal computer" che erano meno probabili essere collegati alle paper mill rispetto ad altri articoli ritirati. Questa estrema variazione significa che non esiste una singola regola universale che colleghi l'etichetta alle paper mill; l'associazione dipende interamente da chi sta conducendo l'indagine e da quando.
Infine, il ricercatore ha esaminato se questi articoli venissero citati meno spesso dopo la ritrazione, il che indicherebbe che la comunità scientifica stava prestando attenzione all'avvertimento. A prima vista, sembrava che gli articoli "generati dal computer" fossero citati significativamente meno rispetto agli articoli simili ritirati. Ma questa differenza era dovuta in gran parte al fatto che il gruppo di controllo degli articoli era stato citato più pesantemente prima ancora della loro ritrazione. Quando il ricercatore ha abbinato perfettamente i articoli in base a quante citazioni avevano già ricevuto, la differenza nelle citazioni post-ritrazione è quasi scomparsa. Il piccolo gap rimanente non era statisticamente significativo, suggerendo che la comunità scientifica tratti questi articoli in modo non diverso da altri lavori ritirati una volta che la loro reputazione precedente è stata presa in considerazione.
Forse il dato più rivelatore è derivato da una ricerca di parole specifiche nelle note di ritrazione. Il ricercatore ha cercato menzioni di strumenti di IA specifici, come "ChatGPT" o "modelli linguistici di grandi dimensioni", nei metadati degli articoli. Su migliaia di record, solo 21 contenevano tali termini specifici. Ancora più sorprendente, nessuno degli articoli che portavano l'etichetta "contenuto generato dal computer" e che menzionavano anche uno strumento di IA specifico riguardava lo strumento stesso; erano studi sull'IA, non articoli scritti dall'IA. L'unico articolo che menzionava figure generate dall'IA non portava nemmeno l'etichetta "contenuto generato dal computer". Ciò indica che l'etichetta non viene applicata perché le avvisi di ritrazione dicono esplicitamente "questo è stato scritto da una macchina". Invece, l'etichetta viene applicata sulla base di indagini più ampie sull'integrità dell'articolo, spesso insieme a scoperte di revisione paritaria compromessa.
Lo studio conclude che l'etichetta "contenuto generato dal computer" nel database delle ritrazioni non è un proxy affidabile per l'uso improprio dell'IA generativa. È la registrazione di un'indagine specifica e massiccia sui programmi di numeri speciali di un singolo editore, dove l'etichetta è stata applicata a una vasta gamma di problemi, inclusi le paper mill e i fallimenti della revisione paritaria. I dati dimostrano che l'etichetta non punta a un tipo unico di articolo che viene scoperto più velocemente o trattato diversamente dalla comunità scientifica. Finché i ricercatori non potranno leggere gli effettivi avvisi di ritrazione e verificare il contenuto degli articoli, usare questa etichetta come misura della frode generata dall'IA porterà a una visione distorta del problema. La vera storia non è un'improvvisa invasione di scienza scritta dall'IA, ma una concentrata pulizia di un flusso di lavoro editoriale specifico che, per caso, ha utilizzato un'etichetta ampia per descrivere le proprie scoperte.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.