Computer-generated content and the AI/ML retraction record, 2018– 2026: a characterization study

Sintesi Tecnica: Contenuti Generati dal Computer e il Record di Ritiri AI/ML (2018–2026)

Definizione del Problema
L'ecosistema dell'editoria scientifica affronta una sfida di integrità in rapida evoluzione: la proliferazione di contenuti generati dal computer (CGC) nella letteratura accademica, guidata dal dispiegamento di modelli linguistici di grandi dimensioni (LLM) a partire dal 2022. Sebbene Retraction Watch mantenga un registro pubblico curato di pubblicazioni ritirate, le caratteristiche specifiche dei ritiri relativi ad AI/ML non sono state sistematicamente caratterizzate tra le finestre temporali pre e post-dispiegamento. Esiste un gap metodologico critico nel distinguere tra articoli sul tema AI/ML e articoli in campi non correlati generati dall'IA. Inoltre, i filtri esistenti spesso confondono i metadati generali dell'informatica con prove specifiche di AI/ML, portando a potenziali affermazioni eccessive sulla prevalenza di illeciti legati all'IA. Questo studio affronta la necessità di caratterizzare il record visibile dei ritiri specificamente per il dominio AI/ML, stratificato per la precisione delle prove che collegano il ritiro all'AI/ML.

Metodologia
Lo studio utilizza un segmento deterministico del database di Retraction Watch, preservato nel corpus Nekropolis v0.2 (file entries-v0.2.jsonl). Il dataset comprende 13.502 record di ritiri unici filtrati tramite un'euristica orientata al richiamo (recall) che mira a parole chiave e categorie tematiche di IA, machine learning, data science e computer science.

I componenti metodologici chiave includono:

• Tiering della Precisione: Per gestire il compromesso tra richiamo e precisione, ogni record è assegnato a un livello (tier) in base alla forza delle prove AI/ML:
  1. AI/ML ad alta precisione: Il titolo contiene termini inequivocabili (es. "rete neurale", "grande modello linguistico").
  2. Adiacente al metodo o al sistema: Il titolo contiene termini computazionali (es. "algoritmo", "automazione").
  3. Venue o metadati AI/ML: Prove trovate in abstract, parole chiave o nomi di riviste/convegni.
  4. Metadati informatici generici: Ammissione basata su categorie ampie (es. "Informatica", "Data Science").
  5. Revisione necessaria: Righe che corrispondono alle euristiche ma falliscono le regole deterministiche.
• Tassonomia della Causa: A ogni record viene assegnata un'etichetta di causa inferita dal progetto (inferred_cause), distinta dalla ragione dichiarata dalla fonte. La tassonomia include categorie quali computer-generated-content (contenuto generato dal computer), compromised-peer-review (revisione paritaria compromessa), plagiarism-or-attribution (plagio o attribuzione) e editorial-or-publisher-process (processo editoriale o dell'editore).
• Analisi Temporale: I record vengono uniti ai dati Crossref a monte per analizzare le date di ritiro e i ritardi tra pubblicazione e ritiro, concentrandosi sulla finestra 2018–2026.
• Standard di Reporting: Lo studio riporta conteggi e percentuali sia per l'intero segmento inclusivo (13.502 record) sia per il sottoinsieme conservativo ad alta precisione a livello di titolo (3.243 record) per garantire la trasparenza riguardo alla pipeline di scoperta.

Contributi Chiave

1. Definizione di un Segmento Deterministico: Il documento definisce un segmento riproducibile di 13.502 record del database di Retraction Watch specifico per i ritiri legati ad AI/ML, ancorato a un commit specifico del corpus e a un hash SHA-256.
2. Caratterizzazione Stratificata: Fornisce la prima analisi della distribuzione delle cause di questo dominio stratificata per livello di evidenza, rivelando come la prevalenza di specifiche cause cambi dai titoli ad alta precisione ai metadati generici.
3. Analisi del Coorte Temporale: Lo studio mappa l'emergere dei ritiri per CGC contro la cronologia del dispiegamento degli LLM, identificando picchi specifici e ritardi di pubblicazione.
4. Posizionamento Metodologico: Sostiene che un segmento orientato al richiamo, se abbinato a un tiering esplicito e a una etichettatura conservativa delle cause, sia un oggetto legittimo di studio per l'integrità della ricerca, a condizione che il divario tra le popolazioni inclusive e conservative sia riportato come un risultato piuttosto che nascosto.

Risultati

• Dominanza del Contenuto Generato dal Computer: Nell'intero segmento di 13.502 record, il contenuto generato dal computer (CGC) è la singola causa inferita più grande, rappresentando 4.704 record (34,8%). Questo supera compromised-peer-review (22,0%), plagiarism-or-attribution (18,6%) ed editorial-or-publisher-process (13,7%).
• Coerenza dei Tier: La dominanza del CGC si mantiene attraverso i livelli di precisione:
  • Sottoinsieme ad alta precisione a livello di titolo: 41,8%
  • Tier di metadati informatici generici: 32,7%
  • Tier adiacente al metodo: 38,4%
  • Nota: Il tier venue-or-metadata-AI/ML è un'eccezione, dominato (91,2%) da editorial-or-publisher-process a causa dei ritiri di massa delle atti di convegni.
• Modelli Temporali: I ritiri CGC erano trascurabili prima del 2020. Sono aumentati bruscamente nel 2021–2022, raggiungendo il picco nel 2023 (2.705 record), in coincidenza con i grandi ritiri di massa guidati dagli editori (es. Hindawi/Wiley). Sebbene il conteggio sia diminuito nel 2024 (487), è rimasto un ordine di grandezza superiore alla linea di base 2018–2020 ed è risalito a 1.000 nel 2025.
• Ritardo di Pubblicazione: Dei 4.704 record CGC con anni di pubblicazione noti, l'84% è stato pubblicato tra il 2021 e il 2023. Il ritardo mediano tra pubblicazione e ritiro è breve, con il 56,6% ritirato entro 0–1 anni dalla pubblicazione.
• Concentrazione dell'Editore: Hindawi rappresenta il 36,4% del segmento (4.919 record), seguita da IEEE (12,2%) e IOS Press (10,4%). Lo studio osserva che ciò riflette azioni attive di integrità post-pubblicazione piuttosto che una misura esclusiva dei tassi di fallimento pre-pubblicazione.

Significatività e Rivendicazioni
Il documento inquadra esplicitamente i suoi risultati come empirici e limitati. Non sostiene che la ricerca AI/ML sia intrinsecamente più difettosa di altri campi, né stima i tassi di base di illeciti nella letteratura generale.

• Natura del Risultato: Lo studio caratterizza la superficie visibile del sistema di integrità — ciò che è stato ritirato e come la ragione è stata nominata — piuttosto che il volume totale di contenuti generati non ritirati.
• Substrato per Lavori Futuri: La significatività primaria risiede nell'aver stabilito che le avvisi di ritiro chiari e leggibili dalle macchine che citano la generazione come causa costituiscono ora la categoria singola più grande nel record dei ritiri AI/ML. Ciò fornisce un "substrato" necessario per futuri lavori sull'integrità della ricerca, lo sviluppo di policy e la valutazione dei metodi di rilevamento.
• Limitazioni: Gli autori riconoscono che l'etichetta "computer-generated-content" viene assegnata solo quando l'avviso nomina esplicitamente la generazione, il che potrebbe sottostimare i casi meno espliciti. Al contrario, i casi nominati potrebbero essere sovrarappresentati se sono più facili da segnalare. Lo studio non giudica i singoli illeciti ma riporta la distribuzione degli avvisi pubblici.

In conclusione, il documento dimostra che il contenuto generato dal computer è diventato la causa documentata dominante all'interno del record dei ritiri nel dominio AI/ML, un cambiamento che correla direttamente con la cronologia di dispiegamento dei modelli linguistici di grandi dimensioni.