Evidence of Unreliable Data and Poor Data Provenance in Clinical Prediction Model Research and Clinical Practice

Deze studie waarschuwt dat klinische voorspellingsmodellen die zijn gebaseerd op twee wijdverspreide, maar onbetrouwbare en mogelijk gefabriceerde Kaggle-datasets, ernstige tekortkomingen in data-provenance vertonen en daarom niet mogen worden gebruikt voor patiëntenzorg, terwijl er een dringende noodzaak is voor journals en dataopslag om transparante rapportage van dataherkomst te verplichten.

De kern

De "Valse Rekeningen" in de Medische Wereld: Waarom We Niet Zomaar Elke Voorspelling moeten Geloven

Stel je voor dat je een kok bent die een nieuw, revolutionair recept voor een gezondheidsdiner wilt bedenken. Je hebt een enorme kookboek nodig met de beste ingrediënten. Maar wat als iemand je een kookboek geeft dat vol staat met foto's van groenten, in plaats van de echte groenten zelf? En wat als je dat boek gebruikt om een maaltijd te bereiden voor honderden mensen, terwijl je niet weet of de ingrediënten echt bestaan?

Dat is precies wat er volgens dit nieuwe onderzoek gebeurt in de wereld van de medische voorspellingen.

Het Probleem: De "Kookboeken" van Kaggle

De onderzoekers keken naar twee zeer populaire "kookboeken" (datasets) die te vinden zijn op een website genaamd Kaggle. Dit is een soort olympiade voor computerprogramma's (AI), waar mensen oefenen met data. De twee specifieke boeken die ze onderzochten, gingen over beroertes en diabetes.

Het probleem? Niemand weet waar deze data vandaan komen.

• De uploader van het beroerte-boekje zei: "Gebruik dit alleen voor oefening, niet voor echt onderzoek."
• De uploader van het diabetes-boekje zei: "Ik kan niet zeggen waar de data vandaan komt, dat is geheim."

Het is alsof iemand je een doos met "willekeurige cijfers" geeft en zegt: "Dit zijn de resultaten van 100.000 patiënten." Maar als je de doos openmaakt, zie je dat de cijfers te perfect zijn, of dat ze precies hetzelfde patroon volgen als een computer die ze heeft verzonnen.

De Detective-werk: De "Valse Rekeningen"

De onderzoekers keken naar deze data en zagen dingen die een echte dokter of data-expert direct als verdacht zou herkennen:

1. Te weinig foutjes: In echte ziekenhuisdata zijn er altijd foutjes (missende gegevens, rare waarden). Deze datasets waren "te schoon", alsof ze met een digitale veeg zijn gemaakt.
2. Onmogelijke patronen: Bij het diabetes-datasetje waren er precies 18 verschillende glucose-waarden voor 100.000 mensen. In het echte leven is dat onmogelijk; mensen hebben allemaal net iets andere waarden. Het leek alsof de computer een paar getallen had gekopieerd en geplakt om de lijst vol te maken.
3. De "ID" mysterie: Bij het beroerte-datasetje veranderde de gemiddelde suikerwaarde plotseling halverwege de lijst van patiënten. Alsof de helft van de patiënten uit een andere wereld kwam.

Conclusie: De data is waarschijnlijk verzonnen (gesimuleerd) of nep. Het zijn geen echte mensen, maar digitale fantasieën.

Het Grote Gevaar: De "Gevarenborden" die Ignoreren

Hier wordt het echt gevaarlijk. Ondanks dat deze data waarschijnlijk nep is, hebben 124 wetenschappelijke artikelen deze gebruikt om nieuwe "voorspellingstools" te maken.

• Ze zeggen: "Onze computer kan nu voorspellen of iemand een beroerte krijgt!"
• Maar ze bouwen hun huis op een fundering van zand.

En het ergste is:

• Sommige van deze tools worden al gebruikt in de praktijk.
• Ze worden gebruikt in octrooien (voor medische apparatuur).
• Ze worden geciteerd in 86 andere artikelen, waardoor de "nep" informatie zich verspreidt als een virus.

Stel je voor dat een dokter een patiënt vertelt: "U heeft een hoog risico op een beroerte, dus we geven u deze zware medicijnen." Maar de voorspelling was gebaseerd op een nep-dataset. De patiënt krijgt onnodig zware medicijnen, of krijgt juist geen medicijnen terwijl hij ze wel nodig heeft. Dat is het risico.

Waarom gebeurt dit?

Veel onderzoekers willen graag snel een artikel publiceren. Het is makkelijker om een dataset van Kaggle te downloaden en er een mooi plaatje van te maken, dan om jarenlang echte data van ziekenhuizen te verzamelen. Ze kijken niet naar de "bron" van de data, maar alleen naar de "receptuur" (de wiskunde).

De Oplossing: Een Nieuwe "Keuringsdienst"

De onderzoekers geven een paar duidelijke adviezen om dit te stoppen:

1. Voor tijdschriften (de "Keurmeesters"): Geen artikel meer publiceren zonder een provenance-verklaring. Dat is een soort "etiket" op de data. Je moet kunnen zeggen: Wie heeft de data verzameld? Waar? Wanneer? En wat was het doel? Zonder dit etiket: geen publicatie.
2. Voor websites zoals Kaggle: Ze moeten verplicht maken dat elke uploader aangeeft of de data echt is of nep. Als het nep is, moet dat duidelijk staan in grote letters: "Dit is een oefendataset, niet voor medisch gebruik!"
3. Voor onderzoekers en artsen: Wees kritisch. Kijk niet alleen naar het mooie plaatje, maar vraag: "Waar komt dit vandaan?" Als je het antwoord niet weet, gebruik het dan niet voor echte patiënten.

Samenvattend

Dit onderzoek is een waarschuwing. Het laat zien dat we in een tijdperk zitten waarin we zo snel willen innoveren met AI, dat we de basisregels van betrouwbaarheid vergeten. Het is alsof we auto's bouwen met onderdelen uit een speelgoeddoos en ze dan op de snelweg zetten.

De boodschap is simpel: Geen echte data, geen echte medische beslissingen. Voordat we vertrouwen op een computer die ziektes voorspelt, moeten we eerst zeker weten dat de cijfers waar die computer mee werkt, echt bestaan.

Technische samenvatting

Probleemstelling

Het artikel adresseert een kritisch probleem in de medische wetenschap: het gebruik van onbetrouwbare, publiek beschikbare datasets voor de ontwikkeling van klinische voorspellingsmodellen. Hoewel grote datasets uit routine zorgdata steeds vaker worden gebruikt, ontbreekt er vaak transparantie over de data-provenance (de herkomst en levenscyclus van de data).
De auteurs identificeren een specifieke trend waarbij onderzoekers "fast-churn" onderzoek plegen (snelle publicaties zonder diepgaande validatie) met datasets van platforms zoals Kaggle. Het probleem is dat deze datasets vaak geen duidelijke herkomst hebben, mogelijk gefabriceerd of gesimuleerd zijn, en toch worden gebruikt om modellen te bouwen die vervolgens in peer-reviewed tijdschriften worden gepubliceerd en soms zelfs in de klinische praktijk worden toegepast. Dit ondermijnt de integriteit van het bewijs en kan leiden tot schadelijke klinische beslissingen.

Methodologie

De studie is een meta-onderzoek (onderzoek naar onderzoek) met de volgende stappen:

1. Dataset Selectie: Twee populaire, publiek beschikbare datasets van Kaggle werden geselecteerd: één voor slagstroken (stroke) en één voor diabetes. Beide datasets werden geanalyseerd op authenticiteit en provenance.
2. Provenance Beoordeling: De datasets werden beoordeeld aan de hand van 9 specifieke items uit de TRIPOD+AI-richtlijnen (een update van de TRIPOD-statement voor voorspellingsmodellen, inclusief AI). Deze items focussen op data-herkomst, verzamelingstijd, locatie en ethische goedkeuring.
3. Exploratieve Data-analyse: De auteurs voerden statistische analyses uit om te zoeken naar tekenen van simulatie of fabricage, zoals:
   • Patronen in ID-variabelen.
   • Onverwachte correlaties (of het ontbreken daarvan) tussen variabelen.
   • Abnormale verdelingen (bijv. uniforme verdelingen).
   • Dubbele rijen en een onrealistisch laag percentage ontbrekende data.
4. Literatuurzoektocht: Er werd gezocht in Google Scholar naar peer-reviewed artikelen die deze twee Kaggle-datasets gebruikten voor het ontwikkelen of valideren van klinische voorspellingsmodellen.
5. Validatie van Gebruik: Er werd onderzocht of deze modellen werden gebruikt in klinische praktijk, beleid, patenten of review-artikelen (via Altmetric en Overton).

Belangrijkste Bijdragen

• Identificatie van "Giftige" Datasets: Het artikel bewijst dat twee veelgebruikte datasets op Kaggle waarschijnlijk gefabriceerd of gesimuleerd zijn, ondanks hun wijdverbreide gebruik in de literatuur.
• Kwantificering van de Impact: De studie toont aan dat deze onbetrouwbare data heeft geleid tot 124 gepubliceerde studies in peer-reviewed tijdschriften, met in totaal meer dan 1.500 citaties en gebruik in 86 review-artikelen.
• Klinisch Risico: Er is bewijs gevonden dat drie van deze modellen daadwerkelijk in de klinische praktijk worden gebruikt of worden voorgesteld voor gebruik, wat een direct risico vormt voor patiëntveiligheid.
• Ontbrekende Ethische Transparantie: De studie blootlegt dat 90% van de artikelen die deze data gebruiken, geen enkele vermelding maakt van ethische goedkeuring, ondanks dat de data menselijke patiënten betreft.

Resultaten

• Data Kwaliteit:
  • Stroke-dataset: Bevatte 5.110 patiënten. De analyse toonde een duidelijke verschuiving in de verdeling van glucosewaarden halverwege de patiënt-ID's en een onrealistisch laag percentage ontbrekende data (slechts 0,3%). De uploader gaf aan dat de bron privé is en het dataset niet voor onderzoek mag worden gebruikt.
  • Diabetes-dataset: Bevatte exact 100.000 patiënten. Er waren slechts 18 discrete waarden voor bloedglucose en HbA1c, wat klinisch onmogelijk is voor een echte populatie van deze grootte. Er werden 6.939 (7%) dubbele observaties gevonden. De uploader gaf toe de specifieke bron niet te kunnen onthullen vanwege vertrouwelijkheid.
  • Conclusie: Beide datasets scoorden 0 op 9 TRIPOD+AI items voor data-provenance.
• Publicatiepatroon:
  • 124 artikelen werden geïdentificeerd (103 over stroke, 20 over diabetes, 1 over beide).
  • De auteurs komen uit 32 verschillende landen, met India, Indonesië en China als grootste producenten.
  • De publicatiesnelheid neemt toe; het meest recente artikel was slechts 15 dagen voor de zoekopdracht gepubliceerd.
• Gebruik in de Praktijk:
  • Drie modellen hebben bewijs van gebruik in de klinische praktijk (bijv. in een lokaal ziekenhuis in Indonesië).
  • Eén artikel werd geciteerd in een medisch apparaat-patent.
  • 11 artikelen ontwikkelden digitale tools (apps/websites), waarvan twee publiek toegankelijk zijn.
• Rapportage: Slechts 2% van de artikelen vermeldde ethische goedkeuring; 90% had geen enkele ethische verklaring.

Betekenis en Aanbevelingen

De studie waarschuwt dat het gebruik van niet-verifieerbare datasets leidt tot "spin" in de literatuur en potentieel gevaarlijke klinische beslissingen. De auteurs stellen dat modellen gebaseerd op gesimuleerde data nooit direct voor patiëntzorg mogen worden gebruikt.

Aanbevelingen:

1. Voor Tijdschriften en Uitgevers:
   • Maak het verplicht om een data-provenance statement te publiceren (wie, wat, wanneer, waar, waarom, financiering).
   • Vereis het uploaden van ruwe, niet-verwerkte data bij indiening voor snelle detectie van fouten.
   • Wees sceptisch bij datasets afkomstig van competitieplatforms tenzij er sterke rechtvaardiging is.
2. Voor Data Repositories (zoals Kaggle):
   • Implementeer verplichte provenance-rapportage voor alle gezondheidsdatasets (zie Tabel 5 in het artikel voor een checklist).
   • Voeg velden toe voor "Real vs. Synthetic Data" en vereis code voor gesimuleerde data.
3. Voor Onderzoekers en Klinici:
   • Voer altijd een "sense check" uit op de data (zoals de auteurs deden) voordat een model wordt gebouwd.
   • Vertrouw niet blind op peer review; controleer de dataherkomst zelf.
   • Gebruik richtlijnen zoals TRIPOD+AI en PROBAST+AI strikt.

Conclusie:
Dit onderzoek benadrukt een systemisch falen in de huidige onderzoeksinfrastructuur waar data-integriteit wordt opgeofferd aan publicatiesnelheid. Zonder strenge maatregelen voor data-provenance-rapportage blijft de klinische voorspellingsmodelleer kwetsbaar voor frauduleuze of onbetrouwbare resultaten die de patiëntzorg kunnen schaden.