Prospective validation of an uncertainty-aware machine learning model for secondary progressive multiple sclerosis classification

Multiple sclerose is een aandoening waarbij het immuunsysteem van het lichaam per ongeluk de beschermende laag rond de zenuwvezels aanvalt, wat de communicatie tussen de hersenen en de rest van het lichaam verstoort. Voor veel mensen begint de ziekte met een relapsing-remitting patroon (een recidiverend-remitterend verloop), waarbij symptomen opvlammen en vervolgens weer wegtrekken. Na verloop van tijd kan de ziekte echter overgaan in een secundair progressieve fase, waarin de beperking gestaag verergert zonder deze duidelijke perioden van herstel. Het identificeren van het exacte moment waarop deze verschuiving plaatsvindt, is voor artsen berucht moeilijk. In tegen tegenstelling tot de initiële diagnose, die steunt op specifieke, meetbare tests, hangt het herkennen van deze latere fase vaak af van het oordeel van een arts en een lange geschiedenis van patiëntbezoeken. Deze onzekerheid kan de start van behandelingen die specifiek voor de progressieve fase zijn ontworpen vertragen, waardoor patiënten jarenlang zonder de juiste zorg blijven zitten.

Een team van onderzoekers in Zweden heeft een nieuwe manier ontwikkeld om te helpen dit overgangsmoment eerder en betrouwbaarder te signaleren. Ze hebben een computermodel gebouwd dat leert van de medische dossiers van duizenden patiënten om de subtiele tekenen te herkennen dat iemand van de relapsing fase naar de progressieve fase beweegt. Wat dit werk anders maakt, is niet alleen dat het model een voorspelling kan doen, maar dat het een arts ook kan vertellen hoe zeker het is van die voorspelling. In een recente studie testten de onderzoekers dit model op verse data die na de bouw van het model werd verzameld, waarmee ze bewezen dat het werkt op nieuwe patiënten die het nog nooit heeft gezien. Ze ontdekten dat het model de verschuiving naar de progressieve fase veel vaker kon identificeren dan de huidige standaardmethode die door artsen wordt gebruikt, terwijl het tegelijkertijd een duidelijk overzicht bood van de eigen mate van vertrouwen.

De onderzoekers begonnen het trainen van hun computermodel met behulp van een enorme database met medische dossiers uit het Zweedse Multiple Sclerosis Register. Deze database bevatte informatie over meer dan tienduizend mensen en bijna negentig duizend ziekenhuisbezoeken. Het model leerde om naar specifieke details van elk bezoek te kijken, zoals de leeftijd van de patiënt, de beperkingsscore, de soorten medicijnen die zij gebruikten en de resultaten van hersenscans. Het leerde het onderscheid te maken tussen patiënten die nog in de relapsing fase zaten en patiënten die de overstap naar de progressieve fase hadden gemaakt, gebaseerd op hoe artsen hen in het register hadden gelabeld. Cruciaal was dat het model werd ontworpen om een systeem te bevatten dat onzekerheid berekent. Dit betekent dat wanneer het model een gok doet, het ook een betrouwbaarheidsscore geeft, zodat de gebruiker weet of de voorspelling een sterke zekerheid is of dat de gegevens te ambigu zijn om zeker te zijn.

Om te zien of dit model in de echte wereld zou werken, hebben de onderzoekers het niet alleen getest op dezelfde data die ze gebruikten om het model te onderwijzen. In plaats daarvan wachtten ze op nieuwe data. Ze namen gegevens uit 2025, die meer dan vijftien duizend individuen en veertig vijf duizend ziekenhuisbezoeken bevatten die volledig nieuw waren voor het model. Deze aanpak staat bekend als prospectieve validatie, en het is een rigoureuze manier om te waarborgen dat een hulpmiddel werkt op toekomstige patiënten, en niet alleen op het verleden. Toen ze de nieuwe data door het model lieten lopen, presteerde het met hoge nauwkeurigheid. Op het niveau van individuele ziekenhuisbezoeken identificeerde het model de relapsing fase correct in 92 procent van de gevallen en de progressieve fase in 95 procent van de gevallen. Belangrijker nog, het model bleef goed gekalibreerd, wat betekent dat de betrouwbaarheidsscores overeenkwamen met de werkelijkheid; wanneer het model zei dat het 93 procent zeker was, had het ook in 93 procent van de gevallen gelijk.

De onderzoekers keken vervolgens naar hoe goed het model individuele patiënten kon identificeren die de overgang naar de progressieve fase hadden gemaakt. Ze ontdekten dat het model 98 procent van de patiënten die daadwerkelijk waren overgegaan, succesvol identificeerde, een percentage dat aanzienlijk hoger is dan de huidige standaardmethode, die slechts 71 procent van hen opmerkte. De standaardmethode, bekend als de Lorscheider-criteria, vertrouwt op een strikte set regels die vereist dat een patiënt een langdurige, gestage achteruitgang in functie vertoont zonder recente relapses. Hoewel deze methode zeer specifiek is en zelden valse alarmen geeft, mist het veel gevallen omdat het een lange wachttijd vereist om de verandering te bevestigen. Het nieuwe model kan de overgang daarentegen veel eerder opmerken, vaak op het exacte bezoek waarop een arts de verandering voor het eerst opmerkte, of zelfs daarvoor.

Een van de meest waardevolle aspecten van dit werk is dat het model niet alleen een ja-of-nee antwoord geeft; het legt zichzelf uit. Door een techniek te gebruiken die ontleedt welke factoren de beslissing hebben beïnvloed, toonden de onderzoekers aan dat het model vertrouwde op dezelfde klinische tekenen waar artsen naar kijken, zoals beperkingsscores en leeftijd. Deze transparantie helpt bij het opbouwen van vertrouwen, omdat het laat zien dat het model niet naar verborgen patronen zoekt die geen medische zin hebben. Bovendien is het vermogen van het model om te zeggen "Ik weet het niet zeker" een veiligheidsfunctie. In gevallen waar de gegevens verwarrend waren, markeerde het model de onzekerheid in plaats van een riskante gok te wagen, waardoor een menselijke arts de gelegenheid kreeg om het geval nauwkeuriger te beoordelen.

De studie benadrukte ook een belangrijk verschil in hoe de twee methoden de overgangsperiode behandelen. Het model identificeerde 90 procent van de patiënten die in transitie waren, terwijl de standaardcriteria slechts 57 procent identificeerden. Dit suggereert dat de standaardregels te strikt zijn en dat er mogelijk veel patiënten worden gemist die wel recht hebben op de specifieke behandelingen voor de progressieve fase. Met de recente goedkeuring van nieuwe medicijnen die zich specifiek richten op de progressieve fase, betekent het missen van deze patiënten dat zij niet de zorg krijgen die zij nodig hebben. Het model biedt een manier om deze gevallen eerder te vangen, wat artsen de mogelijkheid biedt om de juiste behandeling sneller te starten.

De onderzoekers zijn echter voorzichtig en merken op dat hun model geen vervanging is voor een arts. Het is een hulpmiddel dat bedoeld is om de klinische besluitvorming te ondersteunen. De studie werd uitgevoerd met gegevens uit Zweden, en de onderzoekers erkennen dat het model in andere landen met verschillende gezondheidszorgsystemen en patiëntenpopulaties getest moet worden voordat het wereldwijd kan worden ingezet. Ze wijzen er ook op dat het model leert van de manier waarop artsen patiënten momenteel labelen, en als die labels vertraagd of inconsistent zijn, zal het model dat weerspiegelen. Ondanks deze beperkingen toont de studie aan dat een computermodel getraind op real-world data betrouwbaar ziekteprogressie kan voorspellen en een mate van vertrouwen kan bieden die momenteel ontbreekt in de standaardpraktijk.

Het uiteindelijke doel van dit onderzoek is om de kloof te overbruggen tussen het moment waarop de toestand van een patiënt verandert en het moment waarop de patiënt de passende behandeling ontvangt. Door een betrouwbaar vroegtijdig waarschuwingssysteem te bieden dat gepaard gaat met een duidelijke verklaring van vertrouwen, kan dit hulpmiddel ervoor zorgen dat patiënten niet jarenlang moeten wachten voordat zij worden herkend als de progressieve vorm van de ziekte te hebben. De studie laat zien dat, met de juiste aanpak, kunstmatige intelligentie kan worden geïntegreerd in de geneeskunde, niet als een mysterieuze 'black box', maar als een transparante, gekalibreerde assistent die artsen helpt om de toekomst van de gezondheid van een patiënt met meer helderheid te zien.