Four Practical Indicators for Real-Time Verbal Autopsy Data Quality Assessment: A Cross-National Validation Study

Dans de nombreuses parties du monde, lorsqu'une personne décède, aucun médecin n'est présent pour signer un certificat indiquant la cause du décès. Dans ces endroits, le seul moyen de comprendre pourquoi les gens meurent est d'interroger les membres de la famille qui étaient présents. Ce processus, appelé autopsie verbale, implique un enquêteur formé qui s'assoit avec un proche en deuil et pose une série de questions longues et structurées sur les derniers jours du défunt. Les réponses sont ensuite injectées dans un système informatique qui attribue une cause probable de décès, telle que le paludisme, une maladie cardiaque ou des complications liées à l'accouchement. Cette information est vitale pour les gouvernements et les organisations de santé. S'ils ne savent pas ce qui tue leurs citoyens, ils ne peuvent pas planifier les bons hôpitaux, vaccins ou campagnes de santé publique. Cependant, l'ensemble du système repose sur une chose fragile : la qualité de la conversation. Si le membre de la famille est confus, si l'enquêteur se précipite, ou si les réponses contiennent des contradictions logiques, les données résultantes sont erronées, et les décisions de santé publique basées sur celles-ci seront fausses.

Pendant longtemps, la vérification de la qualité de ces entretiens se faisait trop tard. Les chercheurs attendaient que les données soient collectées, agrégées et traitées par des algorithmes pour attribuer les causes de décès. Ce n'est qu'à ce moment-là, des semaines ou des mois plus tard, qu'ils découvraient qu'un enquêteur spécifique avait sauté des questions ou qu'un ensemble de données contenait des réponses impossibles, comme un homme décédé de complications liées à la grossesse. À ce stade, les enquêteurs étaient déjà passés à autre chose, les familles ne pouvaient plus être contactées, et les erreurs étaient permanentes. Une nouvelle étude publiée par des chercheurs issus d'institutions en Tanzanie, en Eswatini, au Nigeria et de partenaires internationaux vise à corriger ce retard. Ils ont développé un ensemble de quatre outils simples et pratiques qui peuvent vérifier la qualité d'un entretien unique dès qu'il est terminé, permettant aux superviseurs de repérer les problèmes immédiatement et de les corriger avant que la donnée ne soit jamais utilisée pour compter les décès.

Les chercheurs ont testé ces outils sur des données réelles provenant de trois pays différents : la Tanzanie, l'Eswatini et le Nigeria. Ces ensembles de données comprenaient des milliers d'entretiens menés à l'aide des questionnaires standards de l'Organisation mondiale de la Santé. L'équipe a créé quatre façons spécifiques de mesurer la santé de chaque dossier d'entretien. Le premier outil, qu'ils appellent le Score de Complétude Informative (Informative Completeness Score), vérifie simplement combien de questions par « oui » ou « non » ont été répondues par une décision claire plutôt que par un « je ne sais pas » ou un refus. Un score élevé signifie que le membre de la famille était engagé et connaissait les réponses ; un score faible suggère que l'entretien a été improductif. Le deuxième outil, le Score de Fiabilité du Répondant (Respondent Reliability Score), examine qui répondait aux questions. Il accorde une évaluation de fiabilité plus élevée si la personne qui parle est un membre proche de la famille, comme un conjoint ou un parent, si elle était présente lors du décès, et si elle a été interrogée relativement peu de temps après le décès. Il prend également en compte le niveau d'éducation du défunt comme un indicateur de l'éducation probable de l'enquêteur, en supposant que les conjoints ou les enfants adultes partagent souvent un niveau de scolarité similaire.

Le troisième outil, un Indice de Cohérence Interne (Internal Consistency Index), agit comme un contrôle de logique. Il scanne les réponses pour détecter les impossibilités biologiques. Par exemple, il signale un dossier si un homme est déclaré avoir eu des symptômes liés à la grossesse, ou si le nombre de jours où une personne a eu de la fièvre est plus long que le nombre total de jours où elle était malade. Ces contradictions surviennent souvent lorsqu'un enquêteur commet une erreur ou lorsque le système de saisie des données ne parvient pas à bloquer une question qui aurait dû être sautée. Le quatrième outil mesure le temps nécessaire pour mener l'entretien. Bien que l'entretien moyen puisse durer environ une demi-heure, les chercheurs ont constaté que la médiane — une mesure qui ignore les valeurs extrêmes — est un meilleur indicateur de la performance normale. Si un entretien se termine en quelques minutes seulement, cela signifie probablement que l'enquêteur a sauté de larges sections. S'il dure de nombreuses heures, cela peut signifier que les données ont été saisies sur plusieurs jours ou que l'enquêteur a eu des difficultés avec le répondant.

Lorsque l'équipe a appliqué ces quatre contrôles aux données des trois nations, elle a constaté que la plupart des entretiens étaient de haute qualité. La grande majorité des dossiers montraient que les répondants étaient engagés, fiables et cohérents. En Tanzanie, par exemple, près de 98 % des questions binaires ont été répondues par des « oui » ou des « non » clairs. En Eswatini et au Nigeria, les scores étaient également élevés. Cela suggère que les équipes de terrain dans ces pays font généralement un bon travail. Cependant, la force de ces nouveaux outils réside dans leur capacité à trouver le petit nombre de mauvais dossiers qui passent entre les mailles du filet. Les chercheurs ont découvert des schémas spécifiques qui auraient été manqués en attendant l'attribution finale de la cause du décès. En Eswini, ils ont découvert qu'un petit groupe d'entretiens présentait une erreur spécifique où la durée d'une toux était enregistrée comme étant plus longue que la durée totale de la maladie de la personne. Il ne s'agissait pas d'une erreur aléatoire mais d'un schéma qui apparaissait dans 6,1 % des dossiers, suggérant une lacune spécifique en matière de formation ou une mauvaise compréhension de la manière de poser des questions sur la durée des symptômes.

Au Nigeria, les outils ont mis au jour un problème beaucoup plus important avec un autre type d'erreur de logique. Le système a signalé que dans près de 6 % des dossiers concernant des hommes, l'entretien incluait des réponses à des questions sur la grossesse. Puisque les hommes ne peuvent pas être enceintes, cela indiquait que le formulaire informatique utilisé par les enquêteurs ne masquait pas correctement ces questions pour les répondants masculins, ou que les données étaient traitées d'une manière qui ignorait le sexe du défunt. C'est une découverte critique car si ces dossiers étaient utilisés pour calculer les taux de mortalité, ils fausseraient la compréhension de la santé maternelle. En Tanzanie, les outils ont révélé une période où la qualité des données a chuté de manière significative. Pendant une fenêtre spécifique en 2024 et 2025, le nombre d'entretiens présentant de faibles scores d'engagement et des dates impossibles — où l'entretien était enregistré comme ayant eu lieu avant le décès de la personne — a grimpé en flèche. Cela a pointé vers une rupture temporaire de la supervision ou de la surveillance de la saisie des données que l'équipe locale pouvait désormais étudier et corriger.

L'étude a également souligné que ces outils sont assez flexibles pour fonctionner avec différentes versions du questionnaire utilisées au cours de différentes années, et qu'ils ne nécessitent pas un grand volume de données pour être utiles. Un superviseur peut vérifier un seul entretien et savoir immédiatement s'il est digne de confiance. Les chercheurs ont noté que bien que ces outils soient puissants, ils ne sont pas un remède miracle remplaçant le besoin d'une bonne formation ou de formulaires bien conçés. Au contraire, ils agissent comme un filet de sécurité, capturant les erreurs qui surviennent malgré les meilleurs efforts de la formation. L'étude a confirmé que ces indicateurs peuvent être calculés automatiquement par les systèmes logiciels qui gèrent les données, ce qui signifie qu'ils peuvent être intégrés dans le flux de travail quotidien des programmes de santé. En déplaçant le contrôle de la qualité d'une analyse post-mortem vers une vérification en temps réel, les responsables de la santé peuvent s'assurer que les récits des familles endeuillées sont traduits en connaissances précises et vitales sur les raisons pour lesquelles les gens meurent.