A Comparative Machine Learning Analysis of Neural Networks and XGBoost for Predicting Maternal Mortality in Maiduguri, Nigeria

In veel delen van de wereld is de reis van de zwangerschap geplaagd door gevaar, waarbij één complicatie een moment van verwachting in een tragedie kan veranderen. In omgevingen met beperkte middelen, en met name in gebieden die getroffen zijn door conflicten, wordt het vermogen om te voorspellen wie risico loopt te overlijden tijdens de bevalling vaak beperkt door een gebrek aan gegevens en de enorme complexiteit van de menselijke biologie. Decennialang hebben artsen vertrouwd op standaard statistische methoden om factoren zoals de leeftijd van een moeder, haar geschiedenis van eerdere bevallingen en haar toegang tot zorg te wegen. Deze methoden zijn nuttig, maar ze worstelen vaak met het zien van de ingewikkelde, niet-lineaire manieren waarop deze factoren met elkaar interageren. In de afgelopen jaren is er een nieuwe generatie instrumenten opgekomen uit het vakgebied van de informatica, die in staat is om verborgen patronen te vinden in enorme hoeveelheden informatie. Twee van de krachtigste van deze instrumenten zijn kunstmatige neurale netwerken, die de manier nabootsen waarop het menselijk brein ideeën verbindt, en gradient boosting machines, die voorspellingen opbouwen door te leren van een reeks kleine, opeenvolgende fouten. De vraag die staat voor publieke gezondheidsfunctionarissen is of deze geavanceerde digitale instrumenten daadwerkelijk levens kunnen redden in de moeilijkste omgevingen, of dat ze simpelweg te complex zijn voor de beschikbare gegevens.

In de door conflict getroffen stad Maiduguri, Nigeria, waar onveiligheid en een kwetsbaar gezondheidszorgsysteem de moederzorg een dagelijkse strijd maken, zetten twee onderzoekers zich erop in om deze digitale instrumenten te testen tegen de realiteit van lokale medische dossiers. Ze verzamelden informatie van 158 vrouwen die zorg hadden ontvangen in geselecteerde ziekenhuizen in de stad. Het doel was eenvoudig: kijken of een computer naar de gezondheidsgeschiedenis van een vrouw kon kijken en correct kon voorspellen of zij de bevalling zou overleven of niet. Het team vergeleek twee verschillende benaderingen. Eén benadering gebruikte een kunstmatig neuraal netwerk, een type programma dat leert door verbindingen tussen lagen van digitale eenheden aan te passen, vergelijkbaar met een student die zijn begrip van een onderwerp verfijnt door herhaalde oefening. De andere benadering gebruikte een methode genaamd XGBoost, die werkt door een bos van beslissingsbomen op te bouwen, waarbij elke nieuwe boom de fouten van de voorgaande corrigeert, waardoor de meest nauwkeurige voorspelling geleidelijk wordt verfijnd.

De onderzoekers begonnen met een dataset die details bevatte zoals de leeftijd van de moeder, opleiding, inkomen, het aantal keren dat zij zwanger is geweest, en of zij complicaties had ervaren zoals ernstige bloedingen of hoge bloeddruk. Echter, terwijl zij de gegevens voorbereidden zodat de computer ervan kon leren, ontdekten zij een kritiek gebrek dat hun resultaten volledig zou hebben misleid. Eén variabele in hun dossiers, gelabeld als "Ernstige Morbiditeit", bleek een perfecte spiegel van de uitkomst zelf te zijn. In elk geval waarin een vrouw overleed, was deze variabele als ernstig gemarkeerd, en in elk geval waarin zij overleefde, was deze als niet-ernstig gemarkeerd. Als de computer deze informatie had mogen gebruiken, zou zij niet de toekomst hebben voorspeld; zij zou simpelweg het antwoordmodel hebben gelezen. De onderzoekers namen de moeilijke maar noodzakelijke beslissing om deze variabele geheel te verwijderen. Ook verwijderden zij een ander stuk gegevens dat voor iedere persoon in de studie hetzelfde was, aangezien dit geen nuttige informatie bood om overlevers te onderscheiden van degenen die dat niet deden.

Met de gegevens schoongemaakt en de misleidende informatie verwijderd, draaide het team hun modellen met behulp van een rigoureuze testmethode. In plaats van de gegevens één keer te splitsen in een trainingsset en een testset, husselden zij de 158 dossiers herhaaldelijk in verschillende groepen, waarbij de modellen trainden op sommige en testten op andere, een proces dat zij honderd keer herhaalden om ervoor te zorgen dat de resultaten stabiel waren en niet slechts een gelukstreffer. De resultaten waren opmerkelijk. Zowel het kunstmatige neurale netwerk als het XGBoost-model presteerden met uitzonderlijke nauwkeurigheid en classificeerden de overgrote meerderheid van de gevallen correct. Het neurale netwerk was iets nauwkeuriger in algemene zin en kreeg bijna in elk geval het juiste antwoord, terwijl het XGBoost-model ook zeer effectief was en slechts enkele gevallen miste. Beide geavanceerde instrumenten presteerden aanzienlijk beter dan een traditionele statistische methode, die weliswaar nog steeds goed was, maar minder precies.

Misschien wel belangrijker dan de ruwe scores was wat de computers de onderzoekers vertelden over de doodsoorzaken. Toen de misleidende variabele werd verwijderd, identificeerden de modellen een nieuwe set factoren die de mortaliteit onder moeders dreigden. De krachtigste voorspeller was eclampsie, een gevaarlijke aandoening waarbij aanvallen optreden tijdens de zwangerschap. Daarna volgden de methode die werd gebruikt voor de bevalling, het aantal eerdere bevallingen, het totale aantal zwangerschappen en het gezinsinkomen van de moeder. Deze bevindingen stemden perfect overeen met wat medische experts al wisten over de gevaren van de zwangerschap, wat de onderzoekers het vertrouwen gaf dat hun modellen werkelijke medische waarheden leerden in plaats van enkel gegevenskenmerken te memoriseren. De modellen legden succesvol de complexe manieren vast waarop deze factoren samenwerkten, waarbij zij lieten zien dat het risico van een vrouw niet slechts over één ding gaat, maar over een combinatie van haar medische geschiedenis, haar bevallingsomstandigheden en haar sociale omstandigheden.

Ondanks deze indrukwekkende resultaten waren de onderzoekers voorzichtig om het probleem niet als opgelost te verklaren. Zij merkten op dat de dataset vrij klein was, met slechts 158 dossiers, en dat de hoge nauwkeurigheid deels kon komen doordat de computer de specifieke patronen van deze kleine groep vrouwen te goed had geleerd. Het is mogelijk dat als de modellen zouden worden getest op een compleet andere groep vrouwen uit een ander ziekenhuis of een andere stad, hun prestaties zouden dalen. De studie dient als een sterk bewijs van concept, dat aantoont dat deze digitale instrumenten betekenisvolle patronen in lokale gegevens kunnen vinden, maar het is nog geen definitieve oplossing die klaar is voor onmiddellijk gebruik in elke kliniek. De onderzoekers benadrukten dat voordat deze instrumenten kunnen worden vertrouwd om levensbeslissende keuzes in een ziekenhuis te sturen, zij moeten worden getest op veel grotere groepen mensen en gevalideerd moeten worden in verschillende omgevingen.

De studie concludeert dat hoewel kunstmatige intelligentie grote belofte inhoudt voor het helpen van artsen in gebieden met beperkte middelen en door conflicten getroffen gebieden bij het vroegtijdig identificeren van hoogrisicoschommelingen in de zwangerschap, het met voorzichtigheid en nederigheid moet worden gebruikt. De technologie is krachtig, maar zij is slechts zo goed als de gegevens die zij gevoed krijgt en de zorg die wordt genomen om te verzekeren dat die gegevens eerlijk en compleet zijn. Voor de vrouwen van Maiduguri houdt de weg vooruit niet alleen het omarmen van nieuwe technologie in, maar ook het verbeteren van de manier waarop medische dossiers worden bijgehouden en het waarborgen dat de geregistreerde informatie werkelijk onafhankelijk is van de uitkomst. Met betere gegevens en verdere testen zouden instrumenten zoals neurale netwerken en gradient boosting vitale partners kunnen worden voor zorgverleners, waarbij zij hen helpen de schaarse middelen toe te wijzen aan de moeders die hen het hardst nodig hebben, wat potentieel levens kan redden in enkele van de meest uitdagende omgevingen ter wereld.