Statistical Methods and Methodological Quality in Health Research in Somalia: A Review of Current Practices, Gaps, and Opportunities

Om de gezondheid van een natie te begrijpen, moeten wetenschappers eerst de verhalen begrijpen die de data hen vertellen. Gezondheidsonderzoek is het proces van het verzamelen van feiten over ziekte, zorg en welzijn om beslissingen te sturen die levens redden. Maar feiten alleen zijn niet genoeg; de manier waarop die feiten worden verzameld en de instrumenten die worden gebruikt om ze te interpreteren, doen er net zo toe. Als een studie de verkeerde vragen stelt, de verkeerde groep mensen interviewt, of een rekenmachine gebruikt die de complexiteit van de antwoorden niet aankan, zal het resulterende beeld van de werkelijkheid vertekend zijn. In de wereld van de geneeskunde kan deze vertekening leiden tot beleid dat de mensen die de meeste hulp nodig hebben, mist, of behandelingen die schijnbaar werken door een fout in de wiskunde. Voor een land dat zijn instituties aan het herbouwen is na decennia van conflict, is het goed krijgen van deze methoden niet slechts een academische oefening; het is het fundament voor een toekomst waarin gezondheidszorg elke burger bereikt, van de bruisende hoofdstad tot de afgelegen nomadische kampen.

In een recente review onderzochten twee onderzoekers van de Somali National University de kwaliteit van het gezondheidsonderzoek dat binnen Somalië zelf wordt geproduceerd. Ze wilden weten of de studies die door Somalische wetenschappers werden gepubliceerd sterke, betrouwbare methoden gebruikten of dat het vakgebied nog steeds worstelde met basisinconsistenties. Om het antwoord te vinden, verzamelden zij veertig gepubliceerde artikelen die een breed scala aan onderwerpen beslaan, van moederlijke gezondheid en infectieziekten tot mentaal welzijn en de organisatie van ziekenhuizen. Ze keken niet naar de patiënten of de ruwe data binnen de studies; in plaats daarvan bekeken ze de studies zelf, waarbij ze de methodensecties lazen om te zien hoe de onderzoekers hun werk hadden ontworpen, hoe ze hun deelnemers hadden gekozen en hoe ze hun resultaten hadden geanalyseerd. Het was een systematische controle van de instrumenten en de blauwdrukken, in plaats van de gebouwen zelf.

De onderzoekers vonden dat het landschap van het Somalische gezondheidsonderzoek actief en groeiend is, maar dat het zwaar leunt op een paar specifieke, eenvoudigere benaderingen. Het meest voorkomende type studie dat zij tegenkwamen, was een dwarsdoorsnede-ontwerp (cross-sectional design), wat dertig-vijf procent van de papers beslaat. Dit is een methode waarbij onderzoekers een momentopname maken van een populatie op een enkel punt in de tijd, zoals het maken van een foto van een menigte om te zien wie er op dit moment ziek is en wie gezond. Hoewel dit nuttig is om de huidige stand van zaken te begrijpen, kan het wetenschappers niet vertellen wat de ziekte heeft veroorzaakt of wat er in de toekomst zal gebeuren. Slechts een klein aantal van de studies gebruikte meer rigoureuze ontwerpen die mensen over een langere periode volgen of nieuwe behandelingen testen via gecontroleerde experimenten. De review identificeerde slechts één studie die een groep mensen in de toekomst volgde en slechts één die een gerandomiseerde trial gebruikte, waarbij deelnemers door toeval aan verschillende groepen worden toegewezen om een specifieke interventie te testen.

Wat betreell de keuze van wie te bestuderen, varieerden de methoden, maar er was een duidelijke neiging tot het vertrouwen op gemak. In bijna de helft van de studies waar een steekproefmethode werd beschreven, gebruikten onderzoekers niet-waarschijnlijkheidstechnieken, zoals het vragen aan de eerste mensen die ze bij een ziekenhuis konden vinden of het selecteren van deelnemers op basis van specifie even specifieke criteria zonder een willekeurig selectieproces. Dit is als het proberen te begrijpen van de smaak van een hele pan soep door alleen de lepel te proeven die toevallig aan de oppervlakte ligt; het kan accuraat zijn, maar het kan ook de smaken missen die dieper in de pan gemengd zijn. Hoewel deze aanpak acceptabel is voor sommige soorten verkennend werk, maakt het het moeilijk om met zekerheid te zeggen dat de bevindingen gelden voor de gehele Somalische populatie. De data toonden ook een aanzienlijk geografisch evenwicht aan. Bijna de helft van alle studies richtte zich exclusief op Mogadishu en de Banadir-regio, het gebied rond de hoofdstad. Dit laat de rurale gemeenschappen, de nomadische herders en de ontheemde populaties in andere regio's grotendeels onzichtbaar in de nationale bewijslast.

De manier waarop de onderzoekers met de cijfers omgingen, onthulde ook tekortkomingen in de rapportagestandaarden. Hoewel veel studies basale instrumenten gebruikten om hun data te samenvatten, zoals het tellen hoeveel mensen een bepaalde aandoening hadden of het berekenen van gemiddelden, gebruikten minder studies geavanceerde statistische technieken om complexe relaties tussen verschillende factoren te verklaren. Wanneer onderzoekers wel deze geavanceerde instrumenten gebruiken, moeten ze controleren of de wiskunde standhoudt onder kritische blik, een proces dat bekend staat als het testen van aannames. De review vond dat slechts een fractie van de studies, drie van de veertig, rapporteerde dat zij deze aannames hadden gecontroleerd. Bovendien keken de onderzoekers naar specifieke manieren om aan te tonen hoe precies hun resultaten waren. Zij vonden dat hoewel sommige studies de onzekerheidsmarge rond hun cijfers rapporteerden, geen van de veertig studies expliciet een gestandaardiseerde maatstaf voor de omvang van een effect rapporteerde, wat een lezer vertelt hoe sterk een relatie daadwerkelijk is. Daarnaast rapporteerde geen enkele studie een systematische controle om te zien of hun resultaten zouden veranderen als ze een iets andere methode zouden gebruiken, en geen enkele beschreef hoe zij omgingen met ontbrekende informatie van deelnemers die niet op elke vraag hadden geantwoord.

De instrumenten die werden gebruikt om deze berekeningen uit te voeren, waren ook ongelijk verdeeld. Het meest genoemde softwarepakket was SPSS, gebruikt in vijftien studies, gevolgd door STATA en NVivo. Echter, zeven studies vermelden helemaal niet welke software zij gebruikten. De onderzoekers merkten op dat de aanwezigheid van geavanceerde methoden in een paar hoogwaardige studies bewijst dat het mogelijk is om in Somalië geavanceerd onderzoek te doen. Zo gebruikte één cluster-gerandomiseerde trial complexe modellering om rekening te houden met hoe mensen in hetzelfde dorp elkaar beïnvloeden, en sommige ruimtelijke studies brachten ziektepatronen in regio's in kaart. Deze voorbeelden laten zien dat de capaciteit bestaat, maar dat het nog niet de standaardpraktijk is over de hele linie.

De auteurs concludeerden dat hoewel het volume van het gezondheidsonderzoek in Somalië uitbreidt, de methodologische kwaliteit ongelijkmatig blijft. Het veld wordt momenteel gedomineerd door momentopnames van stedelijke populaties met basis statistische instrumenten, met significante hiaten in de wijze waarop onzekerheid wordt gerapporteerd en hoe ontbrekende data wordt afgehandeld. Om de bewijslast die het gezondheidsbeleid stuurt te versterken, suggereren de onderzoekers een verschuiving naar ontwerpen die mensen over een langere periode volgen, het gebruik van willekeurige selectiemethoden om ervoor te zorgen dat alle delen van het land vertegenwoordigd zijn, en een toewijding aan transparante rapportage die checks voor wiskundige fouten en duidelijke verklaringen over hoe met ontbrekende informatie is omgegaan, omvat. De weg vooruit houdt in dat de capaciteit wordt opgebouwd om deze meer rigoureuze methoden consistent te gebruiken, zodat de gezondheidsverhalen van alle Somaliërs, en niet alleen die in de hoofdstad, met helderheid en precisie worden verteld.