Stroke Prediction using Clinical and Social Features in Machine Learning

Stel je een enorme bibliotheek voor waar elk boek een mensenleven vertegenwoordigt. Het doel van dit artikel is om een manier te vinden om snel de weinige boeken te spotten die op het punt staan "uit elkaar te vallen" (een beroerte vertegenwoordigend) voordat ze daadwerkelijk breken, zodat we ze op tijd kunnen repareren.

Dit is het verhaal van hoe de auteur probeerde een systeem te bouwen om precies dat te doen, met behulp van drie verschillende soorten "bibliothecarissen" (machine learning-modellen).

Het Probleem: Een Zeldzame Gebeurtenis

Elk jaar in de VS hebben 800.000 mensen een beroerte. Dat is één persoon elke 40 seconden. De auteur merkt op dat beroertes de tweede belangrijkste doodsoorzaak en oorzaak van invaliditeit wereldwijd zijn.

De uitdaging is dat beroertes zeldzaam zijn in vergelijking met mensen die ze niet krijgen. In de gebruikte dataset (over ongeveer 5.000 mensen) hadden slechts ongeveer 5 of 6 van de elke 100 mensen daadwerkelijk een beroerte gehad. Het is alsof je probeert één rode knikker te vinden in een emmer met 20 witte knikkers.

De auteur wilde een computerprogramma bouwen dat naar de "stats" van een persoon kijkt — zaken zoals leeftijd, bloeddruk, BMI (lichaamsgewicht), type baan en of zij getrouwd zijn — om te voorspellen of zij een risico lopen.

De Gouden Regel: In dit specifieke project was het belangrijkste doel om Vals Negatieven te vermijden.

• Vals Negatief: De computer zegt: "Je bent veilig," maar de persoon loopt daadwerkelijk wel risico. Dit is gevaarlijk omdat de persoon dan mogelijk een ongezonde levensstijl blijft aanhouden wanneer hij eigenlijk een verandering zou moeten doorvoeren.
• Vals Positief: De computer zegt: "Je loopt risico," maar de persoon is eigenlijk veilig. Dit is irritant en verspillend, maar de auteur besloot dat het beter is om op de veilige kant te zitten dan om spijt te krijgen.

De Drie "Bibliothecarissen" (De Modellen)

De auteur testte drie verschillende manieren waarop de computer deze voorspellingen kan maken:

1. De Simpele Rekenmachine (Logistische Regressie)

Beschouw dit model als een zeer eenvoudige rekenmachine. Het neemt alle getallen (leeftijd, gewicht, etc.), geeft elk een specifiek "gewicht" of belang, telt ze bij elkaar op en spuugt een percentage kans uit.

• Hoe het werkte: Het was goed in het vangen van de mensen die daadwerkelijk een beroerte hadden (hoge "recall"). Het ving ongeveer 76% van de echte gevallen.
• Het Nadeel: Het was een beetje te paranoïde. Het riep te vaak "Wolf!" Het riep bij elke 100 mensen die het als "risicovol" markeerde, slechts ongeveer 16 mensen die daadwerkelijk risico liepen. De andere 84 waren slechts valse alarmen.
• Wat het leerde: Het bevestigde dat leeftijd de grootste voorspeller van een beroerte is. Interessant genoeg gaf het verrassend genoeg minder gewicht aan het belang van BMI (lichaamsgewicht), wat in strijd is met wat artsen gewoonlijk zeggen.

2. De Diepe Denker (Dense Neural Network)

Dit model is als een student die veel gevorderde wiskundelessen heeft gevolgd. Het heeft lagen van "neuronen" die informatie diepgaand verwerken en zoeken naar complexe patronen die de simpele rekenmachine misschien mist.

• Hoe het werkte: Dit was het meest nauwkeurige model over het algemeen. Het had in ongeveer 86,5% van de gevallen het juiste antwoord. Het was ook beter in het niet roepen van "Wolf!" (hogere precisie) dan de simpele rekenmachine.
• Het Nadeel: Het miste meer werkelijke beroertgevallen dan de simpele rekenmachine deed. Het slaagde erin om ongeveer de helft van de mensen die daadwerkelijk hulp nodig hadden, te missen.
• Snelheid: Het was ook het snelst om te trainen (leren van de data).

3. De Patroonherkenner (Convolutional Neural Network)

Dit model wordt meestal gebruikt voor het bekijken van afbeeldingen (zoals het herkennen van een kat op een foto), maar de auteur probeerde het hier te gebruiken om patronen in de data te vinden.

• Hoe het werkte: Het presteerde ergens in het midden. Het was niet zo nauwkeurig als de "Diepe Denker", maar het was beter in het vangen van werkelijke beroertgevallen dan de "Diepe Denker".
• Het Nadeel: Het duurde langer om te trainen en presteerde niet zo goed als de andere twee.

De Grote Onthulling: De Afweging

Het artikel belicht een klassieke strijd in de geneeskunde: Nauwkeurigheid versus Veiligheid.

• De Simpele Rekenmachine was goed in veiligheid (het vangen van bijna iedereen die ziek was) maar slecht in nauwkeurigheid (te veel gezonde mensen markeren).
• De Diepe Denker was goed in nauwkeurigheid (zelden gezonde mensen markeren) maar slecht in veiligheid (sommige zieke mensen missen).

De auteur ontdekte dat hoewel de "Diepe Denker" de hoogste algemene score had, hij te veel werkelijke beroertgevallen miste om de enige tool te zijn die gebruikt kan worden als het doel is om levens te redden.

De Voorgestelde Oplossing: Een Teaminspanning

Omdat geen enkel model perfect was, stelt de auteur een "estafette"-aanpak voor voor de gezondheidszorg:

1. Eerste Etappe: Gebruik eerst de Simpele Rekenmachine. Omdat deze bijna iedereen die een risico loopt vangt (zelfs als het enkele fouten maakt), fungeert het als een breed net om iedereen te screenen.
2. Tweede Etappe: Als de Simpele Rekenmachine zegt dat iemand een risico loopt, wordt deze persoon doorgegeven aan de Diepe Denker. Dit model kan dan een meer gedetailleerde, precieze controle uitvoeren om te zien of ze daadwerkelijk risico lopen, waardoor de valse alarmen worden weggefilterd.
3. Het Veiligheidsnet: De Patroonherkenner (CNN) zou als een derde mening kunnen dienen om de resultaten te controleren.

De Kernboodschap

De conclusie van het artikel is dat om deze modellen in de toekomst nog beter te maken, we meer data nodig hebben. Specifiek hebben we meer informatie nodig over de mensen die daadwerkelijk een beroerte hebben gehad, want op dit moment is de data te ongebalanceerd (te veel gezonde mensen, te weinig zieke mensen).

Tot die tijd is de beste strategie niet om slechts één "winnaar" te kiezen, maar om een team van verschillende modellen samen te laten werken om ervoor te zorgen dat niemand die een risico loopt, door de mazen van het net glipt.