Four Practical Indicators for Real-Time Verbal Autopsy Data Quality Assessment: A Cross-National Validation Study

In vielen Teilen der Welt ist bei Todesfällen kein Arzt anwesend, der ein Zertifikat über die Todesursache ausstellen kann. In diesen Regionen ist der einzige Weg, die Todesursachen zu verstehen, die Befragung der Familienangehörigen, die anwesend waren. Dieser Prozess, bekannt als verbale Autopsie, beinhaltet einen geschulten Interviewer, der sich zu einem trauernden Angehörigen setzt und eine lange, strukturierte Serie von Fragen über die letzten Tage des Verstorbenen stellt. Die Antworten werden dann in ein Computersystem eingespeist, das eine wahrscheinliche Todesursache zuordnet, wie etwa Malaria, Herzkrankheiten oder Komplikationen bei der Entbindung. Diese Informationen sind für Regierungen und Gesundheitsorganisationen von entscheidender Bedeutung. Wenn sie nicht wissen, was ihre Bürger tötet, können sie nicht die richtigen Krankenhäuser, Impfstoffe oder Kampagnen im Bereich der öffentlichen Gesundheit planen. Das gesamte System stützt sich jedoch auf eine einzige, fragile Sache: die Qualität des Gesprächs. Wenn das Familienmitglied verwirrt ist, wenn der Interviewer überstürzt vorgeht oder wenn die Antworten logische Widersprüche enthalten, sind die resultierenden Daten fehlerhaft und die darauf basierenden Entscheidungen der öffentlichen Gesundheit werden falsch sein.

Lange Zeit erfolgte die Überprüfung der Interviewqualität zu spät. Forscher warteten, bis die Daten gesammelt, aggregiert und durch Algorithmen verarbeitet worden waren, um die Todesursachen zuzuweisen. Erst dann, Wochen oder Monate später, stellten sie fest, dass ein bestimmter Interviewer Fragen übersprungen hatte oder dass ein Datensatz unmögliche Antworten enthielt, wie etwa einen Mann, der an Schwangerschaftskomplikationen starb. Zu diesem Zeitpunkt waren die Interviewer bereits weitergezogen, die Familien konnten nicht erneut erreicht werden und die Fehler waren dauerhaft. Eine neue Studie, veröffentlicht von Forschern aus Institutionen in Tansania, Eswatini, Nigeria und internationalen Partnern, zielt darauf ab, diese Verzögerung zu beheben. Sie haben eine Gruppe von vier einfachen, praktischen Werkzeugen entwickelt, mit denen die Qualität eines einzelnen Interviews unmittelbar nach dessen Abschluss überprüft werden kann, sodass Aufseher Probleme sofort erkennen und korrigieren können, bevor die Daten jemals zur Zählung von Todesfällen verwendet werden.

Die Forscher testeten diese Werkzeuge an realen Daten aus drei verschiedenen Ländern: Tansania, Eswatini und Nigeria. Diese Datensätze enthielten tausende von Interviews, die unter Verwendung der Standardfragebögen der Weltgesundheitsorganisation durchgeführt wurden. Das Team entwickelte vier spezifische Wege, um die Integrität jedes Interviewdatensatzes zu messen. Das erste Werkzeug, das sie den „Informative Completeness Score“ nennen, prüft schlichtweg, wie viele „Ja“- oder „Nein“-Fragen mit einer klaren Entscheidung beantwortet wurden, statt mit einem „Ich weiß nicht“ oder einer Verweigerung. Ein hoher Wert bedeutet, dass das Familienmitglied engagiert war und die Antworten kannte; ein niedriger Wert deutet darauf hin, dass das Interview unproduktiv war. Der zweite Wert, der „Respondent Reliability Score“, untersucht, wer die Fragen beantwortete. Er vergibt eine höhere Zuverlässigkeitsbewertung, wenn die sprekende Person ein naher Angehöriger war, wie etwa ein Ehepartner oder ein Elternteil, wenn sie zum Zeitpunkt des Todes anwesend war und wenn das Interview relativ kurz nach dem Tod geführt wurde. Er berücksichtigt auch das Bildungsniveau des Verstorbenen als Stellvertreter für das wahrscheinliche Bildungsniveau des Interviewers, unter der Annahme, dass Ehepartner oder erwachsene Kinder oft eine ähnliche Schulbildung teilen.

Das dritte Werkzeug ist ein „Internal Consistency Index“, der als Logikprüfung fungiert. Es scannt die Antworten auf biologische Unmöglichkeiten. Beispielsweise markiert es einen Datensatz, wenn ein Mann Symptome im Zusammenhang mit einer Schwangerschaft aufweist oder wenn die Anzahl der Tage, an denen eine Person Fieber hatte, länger ist als die Gesamtzahl der Tage, an denen die Person krank war. Solche Widersprüche entstehen oft, wenn ein Interviewer einen Fehler macht oder wenn das Datenerfassungssystem versäumt, eine Frage zu überspringen, die eigentlich übersprungen werden sollte. Das vierte Werkzeug misst die Zeit, die für die Durchführung des Interviews benötigt wurde. Während ein durchschnittliches Interview etwa eine halbe Stunde dauern kann, fanden die Forscher heraus, dass der Median – ein Maß, das extreme Ausreißer ignoriert – ein besserer Indikator für eine normale Leistung ist. Wenn ein Interview in nur wenigen Minuten abgeschlossen ist, bedeutet dies wahrscheinlich, dass der Interviewer große Abschnitte übersprungen hat. Wenn es viele Stunden dauert, könnte dies bedeuten, dass die Daten über mehrere Tage eingegeben wurden oder dass der Interviewer Schwierigkeiten mit dem Befragten hatte.

Als das Team diese vier Prüfungen auf die Daten aus den drei Nationen anwandte, stellte es fest, dass die meisten Interviews von hoher Qualität waren. Die überwiegende Mehrheit der Datensätze zeigte, dass die Befragten engagiert, zuverlässig und konsistent waren. In Tansania beispielsweise wurden fast 98 Prozent der binären Fragen mit klaren „Ja“- oder „Nein“-Antworten beantwortet. In Eswatini und Nigeria waren die Werte ähnlich hoch. Dies deutet darauf hin, dass die Teams vor Ort in diesen Ländern im Allgemeinen gute Arbeit leisten. Die Stärke dieser neuen Werkzeuge liegt jedoch in ihrer Fähigkeit, die kleine Anzahl schlechter Datensätze zu finden, die durch das Raster gleiten. Die Forscher entdeckten spezifische Muster, die unentdeckt geblieben wären, wenn man auf die endgültige Zuweisung der Todesursache gewartet hätte. In Eswatini fanden sie eine kleine Gruppe von Interviews mit einem spezifischen Fehler, bei dem die Dauer eines Hustens als länger als die Gesamtdauer der Erkrankung der Person angegeben wurde. Dies war kein zufälliger Fehler, sondern ein Muster, das in 6,1 Prozent der Datensätze auftrat, was auf eine spezifische Lücke in der Ausbildung oder ein Missverständnis darüber hindeutete, wie man nach der Dauer von Symptomen fragt.

In Nigeria deckten die Werkzeuge ein viel größeres Problem mit einer anderen Art von Logikfehler auf. Das System markierte, dass in fast 6 Prozent der Datensätze für Männer die Fragen zu Schwangerschaftsthemen enthalten waren. Da Männer nicht schwanger werden können, deutete dies darauf hin, dass das Computerformular, das die Interviewer verwendeten, diese Fragen nicht korrekt vor männlichen Befragten verborgen hatte oder dass die Daten so verarbeitet wurden, dass das Geschlecht des Verstorbenen ignoriert wurde. Dies ist ein kritischer Befund, da diese Datensätze, falls sie zur Berechnung der Sterberaten verwendet würden, das Verständnis der Müttergesundheit verzerren würden. In Tansania zeigten die Werkzeuge einen Zeitraum auf, in dem die Datenqualität signifikant sank. Während eines bestimmten Zeitfensters in den Jahren 2024 und 2025 stieg die Zahl der Interviews mit niedrigen Engagement-Scores und unmöglichen Daten – bei denen das Interview als vor dem Tod der Person stattfindend protokolliert wurde – sprunghaft an. Dies deutte auf einen vorübergehenden Zusammenbruch der Aufsicht oder der Dateneingabe-Kontrolle hin, den das lokale Team nun untersuchen und beheben kann.

Die Studie hob auch hervor, dass diese Werkzeuge flexibel genug sind, um mit verschiedenen Versionen der Fragebögen zu arbeiten, die in unterschiedlichen Jahren verwendet wurden, und dass sie keine großen Datenmengen benötigen, um nützlich zu sein. Ein Aufseher kann ein einzelnes Interview prüfen und sofort wissen, ob es vertrauenswürdig ist. Die Forscher merkten an, dass diese Werkzeuge zwar leistungsstark sind, aber kein Allheilmittel darstellen, das die Notwendigkeit einer guten Ausbildung oder gut gestalteter Formulare ersetzt. Stattdessen fungieren sie als Sicherheitsnetz, das die Fehler auffängt, die trotz der besten Bemühungen der Ausbildung auftreten. Die Studie bestätigte, dass diese Indikatoren automatisch durch die Softwaresysteme berechnet werden können, die die Daten verwalten, was bedeutet, dass sie in den täglichen Arbeitsablauf von Gesundheitsprogrammen integriert werden können. Indem sie die Qualitätskontrolle von einer Post-Mortem-Analyse zu einer Echtzeit-Prüfung verlagern, können Gesundheitsbehörden sicherstellen, dass die Geschichten der trauernden Familien in präzise, lebensrettende Erkenntnisse darüber übersetzt werden, warum Menschen sterben.