Four Practical Indicators for Real-Time Verbal Autopsy Data Quality Assessment: A Cross-National Validation Study

In veel delen van de wereld is er bij het overlijden van een persoon geen arts aanwezig om een certificaat te ondertekenen waarin de doodsoorzaak wordt vermeld. In deze plaatsen is de enige manier om te begrijpen waarom mensen sterven, door de familieleden te vragen die erbij waren. Dit proces, bekend als een verbale autopsie, houdt in dat een getrainde interviewer met een rouwende relatieve zit en een lange, gestructureerde reeks vragen stelt over de laatste dagen van de overledene. De antwoorden worden vervolgens in een computersysteem ingevoerd dat een waarschijnlijke doodsoorzaak toewijst, zoals malaria, hartziekte of complicaties bij de bevalling. Deze informatie is essentieel voor regeringen en gezondheidsorganisaties. Als zij niet weten wat hun burgers doodt, kunnen zij niet de juiste ziekenhuizen, vaccins of publieke gezondheidscampagnes plannen. De gehele methode rust echter op één kwetsbaar ding: de kwaliteit van het gesprek. Als het familielid in de war is, als de interviewer haast heeft, of als de antwoorden logische tegenstrijdigheden bevatten, is de resulterende data gebrekkig en zullen de publieke gezondheidsbeslissingen die erop gebaseerd zijn, foutief zijn.

Lama tijd vond het controleren van de kwaliteit van deze interviews te laat plaats. Onderzoekers wachtten tot de data verzameld, geaggregeerd en door algoritmen verwerkt was om doodsoorzaken toe te wijzen. Pas dan, weken of maanden later, ontdekten zij dat een specifieke interviewer vragen oversloeg of dat een dataset onmogelijke antwoorden bevatte, zoals een man die stierf aan zwangerschapcomplicaties. Tegen die tijd waren de interviewers al verdergegaan, konden de families niet opnieuw worden bereikt en waren de fouten permanent geworden. Een nieuwe studie, gepubliceerd door onderzoekers van instellingen uit Tanzania, Eswatini, Nigeria en internationale partners, heeft tot doel deze vertraging op te lossen. Zij hebben een reeks van vier eenvoudige, praktische instrumenten ontwikkeld die de kwaliteit van een enkel interview kunnen controleren op het moment dat het is afgerond, waardoor toezichthouders problemen direct kunnen signaleren en kunnen corrigeren voordat de data ooit wordt gebruikt om sterfgevallen te tellen.

De onderzoekers testten deze instrumenten op realistische gegevens uit drie verschillende landen: Tanzania, Eswatini en Nigeria. Deze datasets bevatten duizenden interviews die werden afgenomen met de standaardvragenlijsten van de Wereldgezondheidsorganisatie. Het team creëerde vier specifieke manieren om de gezondheid van elk interviewrecord te meten. Het eerste instrument, dat zij de Informatieve Volledigheidsscore noemen, controleert simpelweg hoeveel "ja" of "nee" vragen beantwoord zijn met een duidelijk besluit in plaats van een "ik weet het niet" of een weigering. Een hoge score betekent dat het familielid betrokken was en de antwoorden kende; een lage score suggereert dat het interview niet productief was. Het tweede instrument, de Betrouwbaarheidsscore van de Respondent, kijkt naar wie de vragen beantwoordde. Het geeft een hogere betrouwbaarheidsscore als de persoon die sprak een naaste familiebetrekking had, zoals een echtgenoot of ouder, als diegene aanwezig was bij het overlijden, en als de persoon relatief kort na de dood was geïnterviewd. Het houdt ook rekening met het opleidingsniveau van de overledene als een surrogaat voor het waarschijnlijke opleidingsniveau van de respondent, uitgaande van het feit dat echtgenoten of volwassen kinderen vaak een vergelijkbare opleiding hebben genoten.

Het derde instrument is een Interne Consistentie-index, die fungeert als een logische controle. Het scant de antwoorden op biologische onmogelijkheden. Bijvoorbeeld, het markeert een record als er wordt gerapporteerd dat een man symptomen gerelateerd aan zwangerschap had, of als het aantal dagen dat iemand koorts had langer is dan het totale aantal dagen dat die persoon ziek was. Deze tegenstrijdigheden ontstaan vaak wanneer een interviewer een fout maakt of wanneer het systeem voor gegevensinvoer er niet in slaagt een vraag te stoppen die overgeslagen had moeten worden. Het vierde instrument meet de tijd die nodig was om het interview uit te voeren. Hoewel een gemiddeld interview ongeveer een half uur kan duren, vonden de onderzoekers dat de mediaan — een maatstaf die extreme uitschieters negeert — een betere indicator is voor normale prestaties. Als een interview in slechts enkele minuten wordt afgerond, betekent dit waarschijnlijk dat de interviewer grote delen heeft overgeslagen. Als het vele uren duurt, kan het betekenen dat de gegevens over meerdere dagen zijn ingevoerd of dat de interviewer moeite had met de respondent.

Toen het team deze vier controles toepaste op de gegevens uit de drie landen, ontdekten zij dat de meeste interviews van hoge kwaliteit waren. De overgrote meerderheid van de records toonde aan dat respondenten betrokken, betrouwbaar en consistent waren. In Tanzania bijvoorbeeld, werden bijna 98 procent van de binaire vragen beantwoord met duidelijke "ja" of "nee" reacties. In Eswatini en Nigeria waren de scores eveneens hoog. Dit suggereert dat de veldteams in deze landen over het algemeen goed werk verrichten. De kracht van deze nieuwe instrumenten ligt echter in hun vermogen om de kleine groep slechte records te vinden die erdoorheen glippen. De onderzoekers ontdekten specifieke patronen die gemist zouden zijn door te wachten op de uiteindelijke toewijzing van de doodsoorzaak. In Eswatini ontdekten zij dat een kleine groep interviews een specifieke fout vertoonde waarbij de duur van een hoest langer werd geregistreerd dan de totale tijd dat de persoon ziek was. Dit was geen willekeurige fout, maar een patroon dat voorkwam in 6,1 procent van de records, wat duidt op een specifiek trainingsgat of een misverstand over hoe men naar de duur van symptomen moet vragen.

In Nigeria brachten de instrumenten een veel groter probleem aan het licht met een ander soort logische fout. Het systeem gaf aan dat in bijna 6 procent van de records voor mannen de interview vragen bevatte over zwangerschap. Omdat mannen niet zwanger kunnen worden, duidde dit erop dat het digitale formulier dat de interviewers gebruikten, de vragen voor mannelijke respondenten niet correct verborg, of dat de data op een manier werd verwerkt die het geslacht van de overledene negeerde. Dit is een cruciale bevinding, omdat als deze records zouden worden gebruikt om sterftecijfers te berekenen, ze het begrip van moedersterfte zouden vertekenen. In Tanzania onthulden de instrumenten een periode waarin de datakwaliteit aanzienlijk daalde. Tijdens een specifieke periode in 2024 en 2025 nam het aantal interviews met lage betrokkenheidsscores en onmogelijke data — waarbij de interview werd geregistreerd als plaatsvindend vóór het overlijden van de persoon — plotseling toe. Dit wees op een tijdelijke breuk in de supervisie of het toezicht op de gegevensinvoer die het lokale team nu kon onderzoeken en herstellen.

De studie benadrukte ook dat deze instrumenten flexibel genoeg zijn om te werken met verschillende versies van de vragenlijst die in verschillende jaren worden gebruikt, en dat ze geen grote hoeveelheid data nodig hebben om nuttig te zijn. Een toezichthouder kan een enkel interview controleren en direct weten of het betrouwbaar is. De onderzoekers merkten op dat hoewel deze instrumenten krachtig zijn, ze geen wondermiddel zijn dat de noodzaak voor goede training of goed ontworpen formulieren vervangt. In plaats daarvan fungeren ze als een vangnet dat de fouten opvangt die ondanks de beste inspanningen van de training toch voorkomen. De studie bevestigde dat deze indicatoren automatisch berekend kunnen worden door de softwaresystemen die het beheer van de gegevens uitvoeren, wat betekent dat ze kunnen worden ingebouwd in de dagelijkse workflow van gezondheidsprogramma's. Door kwaliteitscontrole te verplaatsen van een analyse achteraf naar een realtime controle, kunnen gezondheidsfunctionarissen ervoor zorgen dat de verhalen die door rouwende families worden verteld, worden vertaald naar nauwkeurige, levensreddende kennis over waarom mensen sterven.