Four Practical Indicators for Real-Time Verbal Autopsy Data Quality Assessment: A Cross-National Validation Study

In molte parti del mondo, quando una persona muore, non è presente un medico per firmare un certificato che ne indichi la causa. In questi luoghi, l'unico modo per capire perché le persone muoiano è chiedere ai familiari che erano presenti. Questo processo, noto come autopsia verbale, prevede un intervistatore formato che siede con un parente in lutto e pone una lunga serie strutturata di domande sugli ultimi giorni del defunto. Le risposte vengono poi inserite in un sistema informatico che assegna una probabile causa di morte, come la malaria, le malattie cardiache o complicazioni legate al parto. Queste informazioni sono vitali per i governi e le organizzazioni sanitarie. Se non sanno cosa sta uccidendo i loro cittadini, non possono pianificare gli ospedali, i vaccini o le campagne di salute pubblica corretti. Tuttavia, l'intero sistema si basa su un'unica cosa fragile: la qualità della conversazione. Se il familiare è confuso, se l'intervistatore ha fretta o se le risposte contengono contraddizioni logiche, i dati risultanti sono difettosi e le decisioni di sanità pubblica basate su di essi saranno errate.

Per molto tempo, il controllo della qualità di queste interviste avveniva troppo tardi. I ricercatori aspettavano che i dati venissero raccolti, aggregati ed elaborati dagli algoritmi per assegnare le cause di morte. Solo allora, settimane o mesi dopo, scoprivano che un particolare intervistatore aveva saltato delle domande o che un set di dati conteneva risposte impossibili, come un uomo morto per complicazioni legate alla gravidanza. A quel punto, gli intervistatori si erano già spostati, i familiari non potevano più essere ricontattati e gli errori erano permanenti. Un nuovo studio pubblicato da ricercatori di istituzioni in Tanzania, Eswatini, Nigeria e partner internazionali mira a risolvere questo ritardo. Hanno sviluppato un insieme di quattro strumenti semplici e pratici che possono controllare la qualità di una singola intervista nel momento stesso in cui viene conclusa, permettendo ai supervisori di individuare i problemi immediatamente e correggerli prima che il dato venga utilizzato per contare i decessi.

I ricercatori hanno testato questi strumenti su dati reali provenienti da tre diversi paesi: Tanzania, Eswatini e Nigeria. Questi dataset contenevano migliaia di interviste condotte utilizzando i questionari standard dell'Organizzazione Mondiale della Sanità. Il team ha creato quattro modi specifici per misurare la salute di ogni record di intervista. Il primo strumento, che chiamano Informative Completeness Score (Punteggio di Completezza Informativa), controlla semplicemente quante domande con risposta "sì" o "no" siano state contestualizzate con una decisione chiara piuttosto che con un "non lo so" o un rifiuto. Un punteggio alto significa che il familiare era coinvolto e conosceva le risposte; un punteggio basso suggerisce che l'intervista è stata improduttiva. Il secondo strumento, il Respondent Reliability Score (Punteggio di Affidabilità del Respondente), analizza chi stava rispondendo alle domande. Assegna un punteggio di affidabilità più alto se la persona che parlava era un parente stretto, come un coniuge o un genitore, se era presente al momento della morte e se era stata intervistata relativamente presto dopo il decesso. Considera anche il livello di istruzione del defunto come un sostituto per l'istruzione probabile dell'intervistatore, assumendo che coniugi o figli adulti condividano spesso un livello di scolarizzazione simile.

Il terzo strumento è un Internal Consistency Index (Indice di Coerenza Interna), che funge da controllo logico. Scansiona le risposte alla ricerca di impossibilità biologiche. Per esempio, segnala un record se a un uomo vengono riportati sintomi relativi alla gravidanza, o se il numero di giorni in cui una persona ha avuto la febbre è superiore al numero totale di giorni in cui è stata malata. Queste contraddizioni accadono spesso quando un intervistatore commette un errore o quando il sistema di inserimento dati non riesce a bloccare una domanda che dovrebbe essere saltata. Il quarto strumento misura il tempo impiegato per condurre l'intervista. Mentre l'intervista media potrebbe durare circa mezz'ora, i ricercatori hanno scoperto che il tempo mediano — una misura che ignora gli estremi anomali — è un indicatore migliore della performance normale. Se un'intervista viene terminata in pochi minuti, significa probabilmente che l'intervistatore ha saltato ampie sezioni. Se richiede molte ore, potrebbe significare che i dati sono stati inseriti nell'arco di diversi giorni o che l'intervistatore ha avuto difficoltà con il rispondente.

Quando il team ha applicato questi quattro controlli ai dati dei tre paesi, ha scoperto che la maggior parte delle interviste era di alta qualità. La stragrande maggioranza dei record mostrava che i rispondenti erano coinvolti, affidabili e coerenti. In Tanzania, ad esempio, quasi il 98 percento delle domande binarie sono state contestualizzate con risposte chiare "sì" o "no". In Eswatini e in Nigeria, i punteggi erano altrettanto alti. Ciò suggerisce che i team sul campo in questi paesi stiano generalmente svolgendo un buon lavoro. Tuttavia, la forza di questi nuovi strumenti risiede nella loro capacità di trovare il piccolo numero di cattivi record che sfuggono. I ricercatori hanno scoperto schemi specifici che sarebbero stati ignorati aspettando l'assegnazione finale della causa di morte. In Eswatini, hanno trovato un gruppo di interviste che presentava un errore specifico in cui la durata di una tosse veniva registrata come più lunga del tempo totale in cui la persona era stata malata. Questo non era un errore casuale, ma un modello che appariva nel 6,1 percento dei record, suggerendo una specifica lacuna nella formazione o un malinteso su come porre domande sulla durata dei sintomi.

In Nigeria, gli strumenti hanno scoperto un problema molto più grande con un diverso tipo di errore logico. Il sistema ha segnalato che in quasi il 6 percento dei record relativi agli uomini, l'intervista includeva risposte a domande sulla gravidanza. Poiché gli uomini non possono essere incinti, ciò indicava che il modulo informatico utilizzato dagli intervistatori non nascondeva correttamente quelle domande per i rispondenti di sesso maschile, o che i dati venivano elaborati in un modo che ignorava il genere del defunto. Questa è una scoperta critica perché, se questi record fossero utilizzati per calcolare i tassi di mortalità, distorcerebbero la comprensione della salute materna. In Tanzania, gli strumenti hanno rivelato un periodo in cui la qualità dei dati è scesa significativamente. Durante una specifica finestra nel 2024 e 2025, è aumentato il numero di interviste con bassi punteggi di coinvolgimento e date impossibili — dove l'intervista veniva registrata come avvenuta prima della morte della persona. Ciò ha indicato un temporaneo breakdown nella supervisione o nella gestione dell'inserimento dati che il team locale poteva ora indagare e correggere.

Lo studio ha inoltre evidenziato che questi strumenti sono abbastanza flessibili da lavorare con diverse versioni del questionario utilizzate in anni differenti e non richiedono un grande volume di dati per essere utili. Un supervisore può controllare una singola intervista e sapere immediatamente se è affidabile. I ricercatori hanno osservato che, sebbene questi strumenti siano potenti, non sono una soluzione magica che sostituisce la necessità di una buona formazione o di moduli ben progettati. Al contrario, agiscono come una rete di sicurezza, intercettando gli errori che accadono nonostante i migliori sforzi della formazione. Lo studio ha confermato che questi indicatori possono essere calcolati automaticamente dai sistemi software che gestiscono i dati, il che significa che possono essere integrati nel flusso di lavoro quotidiano dei programmi sanitari. Spostando il controllo della qualità da un'analisi post-mortem a un controllo in tempo reale, gli operatori sanitari possono garantire che le storie raccontate dalle famiglie in lutto siano tradotte in conoscenze accurate e salvavita sul perché le persone muoiano.