CHARMS and PROBAST+AI: an updated template for Data Extraction and Risk of Bias Assessment in systematic reviews of prediction models

In het moderne medische landschap vertrouwen artsen steeds vaker op wiskundige instrumenten om de toekomstige gezondheid van een patiënt te voorspellen. Deze instrumenten, bekend als klinische predictiemodellen, analyseren de symptomen, testresultaten en de geschiedenis van een persoon om de waarschijnlijkheid van een ziekte of het succes van een behandeling in te schatten. Jarenlang hebben onderzoekers standaard statistische methoden gebruikt om deze modellen te bouken, maar het veld verschuift snel. Vandaag de dag worden krachtige computersystemen die kunnen leren van enorme hoeveelheden gegevens — vaak kunstmatige intelligentie genoemd — gebruikt om nog complexere voorspellingen te doen. Hoewel deze nieuwe methoden grote belofte inhouden, introduceren ze ook nieuwe manieren waarop fouten kunnen binnensluipen. Een model kan lijken perfect te werken op de gegevens waarmee het is getraind, maar falen bij de toepassing op echte patiënten, een probleem dat vaak wordt veroorzaakt doordat de computer per ongeluk "de antwoorden ziet voordat de test begint" door de antwoorden te zien voordat de test begint. Om ervoor te zorgen dat deze instrumenten veilig en betrouwbaar zijn, moeten wetenschappers elke stap van hoe ze zijn gebouwd en getest grondig controleren. Dit proces staat bekend als een systematische review, waarbij experts alle beschikbare studies over een onderwerp verzamelen en de kwaliteit ervan evalueren met behulp van strikte checklists.

De uitdaging voor deze reviewers is geweest dat de regels voor het controleren van oude statistische modellen niet volledig rekening hielden met de eigenaardigheden van moderne kunstmatige intelligentie. Een team van onderzoekers van de University of Glasgow en de Arab American University heeft deze kloof gedicht door een nieuw, bijgewerkt digitaal hulpmiddel te creëren dat ontworpen is om dit cruciale werk te stroomlijnen. Ze hebben een bestaand spreadsheet-sjabloon, dat al werd gebruikt om gegevens te organiseren en voor bias te controleren, volledig herzien om aan te sluiten bij de nieuwste richtlijnen voor het evalueren van kunstmatige intelligentie. Het resultaat is een geavanceerd maar gebruiksvriendelijk Excel-bestand waarmee onderzoekers de beoordeling van hoe een model is gebouwd kunnen scheiden van de beoordeling van hoe goed het is getest. Dit onderscheid is essentieel omdat een model gebouwd kan worden met hoogwaardige gegevens, maar vervolgens op een inadequate manier getest kan worden, of vice versa. Door deze twee evaluaties gescheiden te houden, zorgt het nieuwe hulpmiddel ervoor dat reviewers geen subtiele gebreken missen die een medisch voorspellingsinstrument gevaarlijk of nutteloos zouden kunnen maken.

De kerninnovatie in dit nieuwe sjabloon is het vermogen om de specifieke valkuilen van machine learning aan te pakken zonder dat de reviewer een computerwetenschapper hoeft te zijn. De spreadsheet bevat nu specifieke vragen over de vraag of de computer tijdens de trainingsfase de testgegevens mocht bekijken, een fout die bekend staat als data leakage. Het vraagt ook of de onderzoekers het model correct hebben aangepast als de gebruikte gegevens een ongelijke mix hadden van gezonde en zieke mensen, een veelvoorkomend probleem dat de resultaten kan verkenen. Bovendien controleert het hulpmiddel of het gehele proces van het bouwen van het model correct werd herhaald toen de onderzoekers het testten, om er zeker van te zijn dat de uiteindelijke cijfers de werkelijkheid weerspiegelen in plaats van een accidentele toevalstreffer. Deze vragen zijn direct in de spreadsheet verweven, zodat het hulpmiddel automatisch aangeeft waar de studie mogelijk fout is gegaan terwijl de reviewer informatie over een studie invoert.

Wat dit hulpmiddel bijzonder krachtig maakt, is hoe het de informatiestroom beheert. In plaats van de reviewer te dwingen om heen en weer te schakelen tussen verschillende documenten om dezelfde informatie te vinden, koppelt de spreadsheet alles aan elkaar. Wanneer een reviewer details invoert over de deelnemers van een studie of de gegevens die zij hebben gebruikt in één sectie, verschijnt die informatie automatisch in de secties waar de kwaliteit van het model wordt beoordeeld. Dit vermindert de kans op menselijke fouten en bespaart aanzienlijke tijd. Het hulpmiddel is ontworpen om tot wel dertig verschillende predictiemodellen in één enkel bestand te verwerken, waardoor het geschikt is voor grootschalige reviews. Terwijl de reviewer door de checklist werkt, genereert de spreadsheet automatisch samenvattende tabellen en grafieken die laten zien hoeveel modellen de kwaliteitscontroles hebben doorstaan en hoeveel er zijn gefaald. Deze visuele samenvattingen worden onmiddellijk bijgewerkt, waardoor het onderzoeksteam een helder, realtime beeld krijgt van het bewijs dat zij beoordelen.

De onderzoekers benadrukken dat dit hulpmiddel niet beperkt is tot kunstmatige intelligentie; het werkt even goed voor traditionele statistische modellen. Deze universaliteit is cruciaal omdat veel medische reviews nu een mix bevatten van zowel oude als nieuwe methoden. Door een enkel, gestandaardiseerd kader te bieden, zorgt het hulpmiddel ervoor dat een model gebouwd met een eenvoudige vergelijking tegen dezelfde strenge standaarden wordt beoordeeld als een model gebouwd met een complex neuraal netwerk. De spreadsheet is gratis te downloaden en te gebruiken, en werkt zonder de noodzaak van complexe computerprogrammeer-code, waardoor het toegankelijk is voor onderzoekers die mogelijk niet over geavanceerde technische vaardigheden beschikken. De auteurs merken op dat hoewel het hulpmiddel het zware werk van data-organisatie en berekening automatiseert, het de noodzaak voor menselijk oordeel niet vervangt. De reviewer moet nog steeds de antwoorden interpreteren en beslissen wat ze betekenen voor de veiligheid en betrouwbaarheid van het medische instrument.

Uiteindelijk vertegenwoordigt dit bijgewerkte sjabloon een belangrijke stap voorwaarts in de manier waarop medisch bewijs wordt verzameld en geverifieerd. Het erkent dat het landschap van medische voorspelling verandert en biedt de noodzakelijke infrastructuur om dat tempo bij te houden. Door de evaluatie van modelcreatie te scheiden van de evaluatie van modeltesten, en door specifieke controles toe te voegen voor de unieke risico's van kunstmatige intelligentie, helpt het hulpmiddel ervoor te zorgen dat de predictiemodellen die de patiëntenzorg sturen, op een solide basis zijn gebouwd. De onderzoekers hopen dat door het proces van het controleren van deze modellen gemakkelijker en consistenter te maken, zij meer grondige reviews zullen stimuleren en uiteindelijk zullen leiden tot veiligere en effectievere medische instrumenten voor patiënten wereldwijd.