Evidence of Unreliable Data and Poor Data Provenance in Clinical Prediction Model Research and Clinical Practice

Lo studio evidenzia come dataset Kaggle su ictus e diabete, privi di provenienza verificabile e probabilmente simulati, siano stati ampiamente utilizzati per sviluppare modelli predittivi clinici pubblicati e persino applicati nella pratica, sottolineando l'urgenza di mandare la trasparenza dei dati per evitare che decisioni sulle cure siano basate su informazioni inaffidabili.

L'essenziale

🍎 Il Problema: La "Ricetta" Avvelenata

Immagina che la medicina moderna sia come una gigantesca cucina dove i medici preparano le cure per i pazienti. Per cucinare un piatto perfetto (una cura efficace), serve una ricetta precisa: un modello predittivo clinico. Questi modelli sono come "assaggiatori digitali" che dicono al medico: "Attenzione, questo paziente ha un'alta probabilità di avere un ictus o il diabete, quindi prepariamo il trattamento giusto".

Il problema scoperto da questo studio è che molti di questi "assaggiatori" stanno cucinando usando ingredienti falsi.

🔍 Cosa hanno scoperto gli autori?

Gli autori (Alexander, Nicole, Gary e Adrian) hanno fatto un'ispezione nella "dispensa" di internet, in particolare su Kaggle, un sito molto famoso dove le persone caricano dati per fare gare di programmazione e intelligenza artificiale.

Hanno trovato due "cassette degli attrezzi" (dataset) molto popolari, una per l'ictus e una per il diabete, che tutti stavano usando per scrivere articoli scientifici. Ma c'era un grosso problema: nessuno sapeva da dove venivano questi ingredienti.

Ecco le analogie per capire la gravità della situazione:

1. Il Fantasma nella Dispensa: È come se qualcuno ti desse un sacchetto di farina e ti dicesse: "Usala per fare il pane, ma non posso dirti chi l'ha macinata, quando è stata raccolta o se è farina vera o gesso". Gli autori hanno scoperto che questi dati sembrano finti (simulati al computer) o fabbricati, proprio come se qualcuno avesse inventato numeri a caso invece di misurare pazienti reali.
2. Il Segreto Geloso: Chi aveva caricato i dati su Kaggle aveva scritto chiaramente: "Non posso dirti da dove vengono questi dati per motivi di privacy" o addirittura "Usali solo per imparare, non per la ricerca". Eppure, centinaia di ricercatori li hanno usati per scrivere articoli seri, ignorando questo avviso.
3. L'Impronta Digitale Falsa: Analizzando i dati, gli autori hanno visto cose strane. Ad esempio, nel dataset del diabete, c'erano esattamente 100.000 pazienti, ma i valori del sangue erano tutti uguali a 18 livelli diversi. È come se in una città di 100.000 persone, tutti avessero esattamente la stessa altezza o lo stesso peso. Nella vita reale, questo è impossibile. È come se qualcuno avesse copiato e incollato le stesse persone per riempire il sacchetto.

📉 Le Conseguenze: Un Effetto Domino Pericoloso

La cosa più preoccupante non è solo che i dati siano falsi, ma cosa sono stati fatti con essi:

• 124 Articoli Scientifici: Ci sono 124 studi pubblicati su riviste mediche che usano questi dati "finti" come se fossero veri.
• Consigli Medici: Molti di questi articoli dicono: "Il nostro modello funziona, usatelo per curare i pazienti!". È come se un cuoco dicesse: "Ho usato questa farina di gesso, il pane è buonissimo, mangiatelo tutti!".
• Uso Reale: Peggio ancora, alcuni di questi modelli sono stati già usati nella pratica clinica o citati in brevetti per dispositivi medici. Immagina un dispositivo che avvisa un medico di un ictus basandosi su numeri inventati: il paziente potrebbe ricevere cure inutili o, peggio, non riceverne di necessarie.
• Il Virus della Cattiva Informazione: Questi articoli sono stati citati in altre 86 recensioni scientifiche. È come se un falso indizio in un film di detective venisse copiato da altri registi, che lo usano per fare altri film, diffondendo la bugia sempre più in là.

🛠️ La Soluzione: Costruire un Filtro di Sicurezza

Gli autori non si limitano a dire "è tutto sbagliato", ma propongono delle regole per il futuro, come se dovessimo costruire un nuovo sistema di controllo qualità per la cucina:

1. Per le Riviste Scientifiche (I Critici): Prima di pubblicare una ricetta, devono chiedere: "Da dove vengono gli ingredienti?". Se non c'è una "carta d'identità" dei dati (chi li ha raccolti, quando, dove e perché), la ricetta non deve essere pubblicata.
2. Per i Magazzini Dati (Kaggle, ecc.): Devono obbligare chi carica i dati a compilare un modulo di "provenienza". Se non sai da dove viene il dato, non puoi caricarlo. È come se un supermercato non potesse vendere latte senza indicare la fattoria di origine.
3. Per i Ricercatori e i Medici: Non fidarsi ciecamente di tutto ciò che è online. Prima di usare un modello, bisogna fare un "controllo di realtà": i dati sembrano veri o sembrano un disegno fatto da un bambino?

💡 In Sintesi

Questo studio è un allarme rosso. Ci dice che nella corsa a creare intelligenze artificiali per la medicina, molti stanno correndo troppo veloce senza guardare dove mettono i piedi. Stanno costruendo castelli su fondamenta di sabbia (dati falsi).

Se continuiamo a usare dati che non sappiamo da dove provengano, rischiamo di prendere decisioni mediche basate su bugie, mettendo in pericolo la vita delle persone. La soluzione è semplice ma rigorosa: nessun dato senza una storia verificabile.

Sommario tecnico

Titolo: Evidenze di Dati Inaffidabili e Scarsa Provenienza dei Dati nella Ricerca sui Modelli Predittivi Clinici e nella Pratica Clinica

Autore: Alexander D. Gibson et al.
Data: Febbraio 2026 (Preprint medRxiv)

---

1. Il Problema

I modelli predittivi clinici sono diventati fondamentali per la diagnosi e la prognosi dei pazienti, con quasi 250.000 modelli pubblicati fino al 2024. Tuttavia, la loro affidabilità dipende dalla qualità e dalla trasparenza dei dati sottostanti.
Il documento evidenzia un problema emergente: l'uso diffuso di dataset pubblici, ospitati su piattaforme di competizione come Kaggle, per sviluppare modelli predittivi clinici senza una chiara provenienza dei dati (data provenance).
Gli autori identificano due specifici dataset (uno su ictus e uno su diabete) che mancano di informazioni essenziali sulla raccolta dei dati (quando, dove, perché e come). Esistono forti indizi che suggeriscono che questi dati siano simulati o fabbricati, non reali. Nonostante ciò, sono stati utilizzati in 124 studi peer-reviewed, alcuni dei quali hanno portato a raccomandazioni per l'uso clinico, a brevetti medici e a citazioni in articoli di revisione, rischiando di indurre in errore le decisioni cliniche e di mettere a rischio i pazienti.

2. Metodologia

Lo studio ha adottato un approccio di metaricerca e analisi esplorativa dei dati:

• Identificazione dei Dataset: Sono stati selezionati due dataset pubblici su Kaggle (ictus e diabete) sospettati di scarsa provenienza.
• Valutazione della Provenienza: I dataset sono stati valutati utilizzando 9 item specifici tratti dalla dichiarazione TRIPOD+AI (aggiornata nel 2024), focalizzati sulla trasparenza e sulla provenienza dei dati.
• Analisi Esplorativa dei Dati: Sono state condotte analisi statistiche per rilevare anomalie indicative di dati simulati, tra cui:
  • Pattern sospetti tra le variabili ID e le variabili cliniche.
  • Correlazioni inaspettate o assenti tra variabili che dovrebbero essere correlate.
  • Distribuzioni anomale (es. distribuzioni uniformi o valori discreti eccessivi).
  • Presenza di righe duplicate.
  • Livelli di dati mancanti irrealisticamente bassi rispetto ai dati sanitari reali.
• Revisione della Letteratura: È stata effettuata una ricerca su Google Scholar per identificare tutti gli articoli peer-reviewed che utilizzavano questi due dataset per lo sviluppo o la validazione di modelli predittivi clinici.
• Analisi dell'Impatto: Sono stati valutati l'uso clinico dichiarato, le citazioni, le menzioni in brevetti e la presenza di dichiarazioni etiche negli articoli selezionati.
• Strumenti: Analisi svolte in R (pacchetti tidyverse, openalexR) e pre-registrazione dello studio su AsPredicted.

3. Contributi Chiave

• Dimostrazione del Rischio: Il lavoro dimostra come dataset non verificati e potenzialmente sintetici stiano alimentando una "cascata" di ricerca scientifica (studi primari, revisioni, brevetti) che potrebbe essere fondata su premesse false.
• Valutazione Quantitativa della Qualità: Applicazione sistematica dei criteri TRIPOD+AI per quantificare la mancanza di trasparenza nella provenienza dei dati.
• Identificazione di Anomalie Statistiche: Fornisce prove concrete (grafici e statistiche) che i dataset in questione mostrano pattern tipici di dati generati artificialmente (es. 100.000 pazienti con solo 18 livelli discreti di glicemia).
• Mappatura dell'Impatto Globale: Ha tracciato l'uso di questi dataset in 32 paesi diversi, evidenziando la portata globale del problema.

4. Risultati

• Scarsa Provenienza: Entrambi i dataset hanno ottenuto un punteggio di 0 su 9 sugli item TRIPOD+AI relativi alla provenienza. Non vi era alcuna informazione su chi abbia raccolto i dati, quando, dove o perché. Gli uploader stessi hanno ammesso di non poter rivelare la fonte o hanno sconsigliato l'uso per la ricerca.
• Anomalie nei Dati:
  • Dataset Ictus: Distribuzione anomala dei livelli di glucosio in relazione all'ID del paziente e una percentuale di dati mancanti (0,3%) irrealisticamente bassa per dati sanitari reali.
  • Dataset Diabete: 100.000 pazienti con solo 18 valori discreti per glucosio ed emoglobina glicata (HbA1c), e il 7% di osservazioni duplicate. Le associazioni tra BMI e glucosio/HbA1c erano assenti, contrariamente all'atteso.
• Impatto sulla Ricerca:
  • Sono stati identificati 124 studi peer-reviewed basati su questi dati.
  • Solo il 2% degli studi (3 articoli) riportava un'approvazione etica; il 90% non aveva alcuna dichiarazione etica.
  • 124 studi hanno fatto raccomandazioni pratiche: 68% per l'ictus e 80% per il diabete.
  • 3 modelli hanno mostrato evidenze di essere stati utilizzati o testati nella pratica clinica reale.
  • Un modello è stato citato in un brevetto per dispositivi medici.
  • Gli studi sono stati citati in 86 articoli di revisione e hanno accumulato oltre 1.500 citazioni totali.
• Trend Temporale: Il numero di pubblicazioni che utilizzano questi dataset è in costante aumento dal 2021.

5. Significato e Raccomandazioni

Lo studio mette in guardia contro l'uso di dati non verificati nella ricerca medica e nella pratica clinica. L'uso di dati simulati o fabbricati può portare a:

• Decisioni cliniche errate (trattamenti non necessari o mancanti).
• Spreco di risorse di ricerca.
• Danni ai pazienti se i modelli vengono implementati in dispositivi medici o flussi di lavoro clinici.

Raccomandazioni principali:

1. Per Riviste e Editori: Rendere obbligatoria la dichiarazione di provenienza dei dati (chi, cosa, quando, dove, come, finanziamenti) e richiedere l'accesso ai dati grezzi non elaborati al momento della sottomissione. Rifiutare dataset da competizioni a meno che non siano giustificati e dichiarati esplicitamente come tali.
2. Per i Repository di Dati (es. Kaggle): Implementare requisiti obbligatori di reporting sulla provenienza per tutti i dataset sanitari, inclusi campi specifici su origine, etica e metodi di raccolta.
3. Per Ricercatori e Clinici: Non assumere che i dati pubblicati siano affidabili. Eseguire controlli di qualità e "sense check" sui dati prima dell'uso. Prioritizzare studi pre-registrati e seguire le linee guida TRIPOD+AI e PROBAST+AI.
4. Azione Immediata: Gli autori raccomandano che gli strumenti online basati su questi dataset specifici vengano rimossi immediatamente fino alla verifica della provenienza e che gli articoli esistenti ricevano un'espressione di preoccupazione.

In conclusione, la trasparenza e l'integrità dei dati sono prerequisiti fondamentali per l'affidabilità dei modelli predittivi clinici e per la sicurezza dei pazienti.