Four Practical Indicators for Real-Time Verbal Autopsy Data Quality Assessment: A Cross-National Validation Study

세계 여러 지역에서는 사람이 사망했을 때 사망 원인을 명시할 의사가 동석하지 않는 경우가 많습니다. 이런 곳에서 사람들이 왜 죽는지 이해할 수 있는 유일한 방법은 그 자리에 있었던 가족들에게 묻는 것입니다. '구두 부검(verbal autopsy)'이라고 알려진 이 과정은 숙련된 면담자가 슬픔에 잠긴 친척과 함께 앉아 고인의 마지막 며칠 동안의 상태에 대해 길고 구조화된 일련의 질문을 던지는 과정을 포함합니다. 그 답변들은 컴퓨터 시스템에 입력되어 말라리아, 심장병, 또는 출산 합병증과 같은 가장 가능성 높은 사망 원인을 할당합니다. 이 정보는 정부와 보건 기구에 매우 중요합니다. 만약 그들이 무엇이 시민들을 죽이고 있는지 알지 못한다면, 적절한 병원, 백신 또는 공중 보건 캠페인을 계획할 수 없기 때문입니다. 그러나 전체 시스템은 단 하나, '대화의 질'이라는 취약한 요소에 의존하고 있습니다. 만약 가족이 혼란스러워하거나, 면담자가 서두르거나, 혹은 답변에 논리적 모순이 포함되어 있다면, 결과 데이터는 결함이 생기게 되며, 그 데이터를 기반으로 한 공중 보건 결정 또한 잘못될 것입니다.

오랫동안 이러한 인터뷰의 품질을 점검하는 작업은 너무 늦게 이루어졌습니다. 연구자들은 데이터를 수집하고, 집계하고, 알고리즘을 통해 사망 원인을 할당할 때까지 기다려야 했습니다. 그로부터 몇 주 또는 몇 달이 지난 후에야 특정 면담자가 질문을 건너뛰었다거나, 남성이 임신 합병증으로 사망했다는 것과 같은 불가능한 답변이 포함된 데이터셋이 있다는 사실을 발견하곤 했습니다. 그 시점에는 면담자들은 이미 다른 곳으로 이동했고, 가족들과 다시 연락할 수도 없었기에 그 오류들은 영구적인 것이 되었습니다. 탄자니아, 에스와티니, 나이지리아의 연구 기관 및 국제 파트너들이 발표한 새로운 연구는 이러한 지연 문제를 해결하고자 합니다. 그들은 면담이 끝나는 즉시 단일 인터뷰의 품질을 확인할 수 있는 네 가지 간단하고 실용적인 도구를 개발하여, 감독관들이 문제를 즉시 발견하고 데이터가 사용되기 전에 수정할 수 있도록 했습니다.

연구진은 이 도구들을 탄자니아, 에스와티니, 나이지리아의 실제 데이터를 사용하여 테스트했습니다. 이 데이터셋들은 세계보건기구(WHO) 설문지를 사용하여 수행된 수천 건의 인터뷰를 포함하고 있습니다. 연구팀은 각 인터뷰 기록의 건강성을 측정하기 위한 네 가지 구체적인 방법을 만들었습니다. 첫 번째 도구인 '정보 완결성 점수(Informative Completeness Score)'는 단순히 "예/아니오" 질문에 대해 "모름"이나 거부 대신 명확한 결정으로 답변되었는지를 확인합니다. 점수가 높다는 것은 가족이 적극적으로 참여했고 답을 알고 있었다는 것을 의미하며, 점수가 낮다는 것은 인터뷰가 비생산적이었음을 시사합니다. 두로 번째 도구인 '응답자 신뢰도 점수(Respondent Reliabilityability Score)'는 누가 질문에 답하고 있는지를 살펴봅니다. 답변자가 배우자나 부모처럼 가까운 가족이고, 사망 당시 현장에 있었으며, 사망 후 비교적 최근에 인터해졌을 경우 더 높은 신뢰도 등급을 부여합니다. 또한 이 도구는 면담자의 교육 수준을 추정하기 위해 고인의 교육 수준을 대리 지표로 고려하는데, 이는 배우자나 성인 자녀가 보통 비슷한 교육 수준을 공유한다는 가정을 바탕으로 합니다.

세 번째 도구인 '내적 일관성 지수(Internal Consistency Index)'는 논리 체크 역할을 합니다. 이 도구는 생물학적 불가능성을 찾아내기 위해 답변을 스캔합니다. 예를 들어, 남성이 임신 관련 증상을 보였다고 보고되거나, 열이 난 일수가 총 병치 기간보다 긴 경우 이를 표시합니다. 이러한 모순은 면담자가 실수를 했거나 데이터 입력 시스템이 건너뛰어야 할 질문을 막지 못했을 때 발생합니다. 네 번째 도구는 인터뷰를 진행하는 데 걸린 시간을 측정합니다. 평균 인터뷰 시간은 약 30분 정도이지만, 연구진은 극단적인 이상치를 제외한 수치인 '중앙값(median)'이 일반적인 성과를 나타내는 더 나은 지표라는 것을 발견했습니다. 만약 인터뷰가 단 몇 분 만에 끝났다면, 면담자가 많은 부분을 건너뛰었을 가능성이 큽니다. 반대로 몇 시간이 걸렸다면, 데이터가 며칠에 걸쳐 입력되었거나 면담자가 응답자와 소통하는 데 어려움을 겪었을 수 있습니다.

연구팀이 세 국가의 데이터에 이 네 가지 점검 도구를 적용했을 때, 대부분의 인터뷰는 높은 품질을 보였습니다. 대다수의 기록에서 응답자들은 적극적이고 신뢰할 수 있으며 일관된 모습을 보였습니다. 예를 들어 탄자니아의 경우, 이진 질문(yes/no)의 거의 98%가 명확한 "예" 또는 "아니오" 답변으로 채워졌습니다. 에스와티니와 나이지리아의 점수 역시 비슷하게 높았습니다. 이는 이들 국가의 현장 팀들이 전반적으로 잘 수행하고 있음을 시사합니다. 그러나 이 새로운 도구들의 진정한 힘은 놓치기 쉬운 소수의 불량 기록을 찾아내는 능력에 있습니다. 연구진은 최종 사망 원인 할당을 기다렸을 때라면 놓쳤을 구체적인 패턴들을 발견했습니다. 에스와티니에서는 기침의 지속 기간이 총 질병 기간보다 길게 기록된 특정 오류가 발견되었습니다. 이는 무작위적인 실수가 아니라 전체 기록의 6.1%에서 나타난 패턴으로, 특정 교육의 부재나 증상 지속 기간을 묻는 방식에 대한 오해를 시사했습니다.

나이지리아에서는 도구들을 통해 또 다른 종류의 논리 오류가 훨씬 더 큰 규모로 드러났습니다. 시스템은 남성에 대한 기록 중 약 6%에서 임신 관련 질문에 대한 답변이 포함되어 있음을 포착했습니다. 남성은 임신할 수 없으므로, 이는 면담자들이 사용하는 컴퓨터 양식이 남성 응답자에게 해당 질문을 제대로 숨기지 못했거나, 데이터를 처리하는 과정에서 고인의 성별을 무시했음을 나타냅니다. 이는 만약 이 기록들이 사망률 계산에 사용된다면 모성 보건에 대한 이해를 왜곡할 수 있기 때문에 매우 중요한 발견입니다. 탄자니아의 경우, 도구들은 데이터 품질이 급격히 떨어졌던 특정 시기를 밝혀냈습니다. 2024년과 2025년 사이의 특정 기간 동안, 참여도가 낮은 점수와 (인터뷰가 사망 전에 발생한 것으로 기록되는 등의) 불가능한 날짜가 급증했습니다. 이는 현지 팀이 조사하고 수정할 수 있는 일시적인 감독 체계의 붕첨이나 데이터 입력 관리의 부실을 가리켰습니다.

이 연구는 또한 이 도구들이 서로 다른 연도의 다양한 설문지 버전과도 유연하게 작동하며, 유용한 결과를 내기 위해 방대한 양의 데이터 묶치가 필요하지 않다는 점을 강조했습니다. 감독관은 단 하나의 인터뷰만 확인하고도 그것이 신뢰할 수 있는지 즉시 알 수 있습니다. 연구진은 이 도구들이 강력하지만, 좋은 교육이나 잘 설계된 양식을 대체하는 마법의 지팡이는 아니라고 언급했습니다. 대신, 이 도구들은 최선의 교육 노력에도 불구하고 발생하는 오류를 잡아내는 안전망 역할을 합니다. 연구는 이러한 지표들이 데이터를 관리하는 소프트웨어 시스템에 의해 자동으로 계산될 수 있음을 확인했으며, 이는 보건 프로그램의 일상적인 업무 흐름에 통합될 수 있음을 의미합니다. 품질 관리를 사후 분석에서 실시간 점검으로 전환함으로써, 보건 관계자들은 슬픔에 잠긴 가족들이 들려주는 이야기가 왜 사람들이 죽는지에 대한 정확하고 생명을 살리는 지식으로 번역될 수 있도록 보장할 수 있습니다.