Temporally non-local harmonisation and cardiovascular model transport between England and China: a measurement-methods study

공중 보건의 세계에서 연구자들은 종종 여러 지역의 의사들에게 가이드를 제공할 수 있는 단일한 위험 지도를 구축하려고 노력합니다. 그들은 수년에 걸쳐 대규모 집단의 데이터를 수집하며, 누가 심장 질환을 앓게 되는지 혹은 그렇지 않는지를 추적합니다. 목표는 연령, 흡연 습 습관, 병력을 바탕으로 한 환자가 심장마비를 일으킬 가능성을 한 국가의 의사에게 알려주는, 어디서나 작동하는 예측 도구를 만드는 것입니다. 그러나 이러한 도구들은 사람들이 자신의 과거 건강에 대해 말하는 이야기에 의존합니다. 여기서 주요한 과제가 발생하는데, 연구자들이 서로 다른 국가나 서로 다른 시기의 데이터를 결합하려고 할 때입니다. 때때로 한 사람의 의료 기록은 인터뷰 사이에 변하기도 합니다. 몇 년 후 보고된 진단명이 초기 연구 당시의 건강 상태에 대해 알려졌던 내용을 다시 쓰는 데 사용될 수 있습니다. 이는 문제를 야기합니다. 만약 이야기의 시작점이 바뀐다면, 예측 도구의 전체 여정도 바뀔 수 있으며, 결과적으로 누가 위험군인지와 그 도구가 얼마나 잘 작동하는지에 대해 서로 다른 결론을 내리게 될 수 있습니다.

영국의 고령층을 추적한 연구와 중국의 유사한 집단을 추적한 두 개의 대규모 연구는 이러한 변화하는 이력이 의료 예측에 어떤 영향을 미치는지 테스트할 수 있는 독특한 기회를 제공했습니다. 유니버시티 칼리지 런던(UCL)과 중국의 한 병원 연구진은 의료 기록 방식의 차이가 모델을 다른 국가로 옮겼을 때 신뢰성을 변화시키는지 조사하기로 했습니다. 그들은 특정 문제, 즉 '해제된(released)' 이력(분석 시점에 사용 가능한 모든 정보가 포함된 것)과 '시간 고정형(time-anchored)' 이력(나중에 수정된 사항을 무시하고, 각 인터뷰 시점에 환자와 연구자에게 실제로 알려졌던 내용을 재구성한 것) 사이의 차이에 집중했습니다. 이 두 가지 버전을 비교함으로써, 그들은 타임라인을 바로잡는 것이 예측의 정확도를 높이는지, 아니면 단순히 연구 대상이 되는 사람들의 구성을 바꾸는 것인지를 확인하고자 했습니다.

연구진은 양국에서 가져온 데이터를 사용하여 모든 참가자에 대해 두 가지 버전의 건강 이력을 구축했습니다. 첫 번째 버전에서는 표준 데이터 파일을 사용했는데, 이는 종종 나중의 인터뷰에서 보고된 진단명을 반영하여 이전 기록을 업데이트하는 방식을 취합니다. 두로 두 번째 버전에서는 그러한 나중의 업데이트를 제거하여, 각 인터뷰 시점에 알려졌던 정보로 이력을 고정했습니다. 그런 다음, 중국에서 구축된 모델이 영국의 심장 질환을 얼마나 잘 예측하는지, 그리고 그 반대의 경우(영국에서 중국으로)에도 마찬가지인지를 두 가지 버전의 이력을 사용하여 테스트했습니다. 결과는 데이터의 타임라인을 변경하는 것이 예측 모델에 실질적이고 측정 가능한 영향을 미친다는 것을 보여주었습니다. 중국 연구에서는 참가자의 약 9%가 타임라인이 교정되었을 때 심장 질환 상태가 변했습니다. 영국 연구에서는 그 수치가 약 4.5%였습니다. 더 중요한 것은, '건강한' 그룹에서 들어오고 나가는 전체 인원의 수가 훨씬 더 많았는데, 중국 그룹에서는 10% 이상, 영국 그룹에서는 거의 6%가 상태가 변했습니다. 이는 전체 참가자 수는 비슷해 보일지라도, 두 버전에서 연구되는 사람들의 구성이 서로 달랐음을 의미했습니다.

연구진이 예측 모델을 테스트했을 때, 타임라인을 교정하는 것이 모델을 보편적으로 더 좋게 만들지는 않는다는 것을 발견했습니다. 중국에서 영국 방향으로 적용했을 때, 모델의 순위 매기기 능력(사람들을 위험도에 따라 분류하는 능력)은 약간 개선되었습니다. 즉, 누가 더 아플 가능성이 높은지 혹은 낮은지를 식별하는 능력이 좋아졌습니다. 그러나 모델이 실제 발병 확률을 예측하는 능력은 더 좋아지지 않았습니다. 반대 방향인 영국에서 중국 방향의 경우, 순위 매기기는 개선되었으나 실제 위험을 예측하는 오차는 크게 증가했습니다. 모델은 타임라인을 교정하더라도 영국에서 중국으로 넘어가는 그룹에 대해 위험을 과소평가하는 경섬을 지속했습니다. 연구진은 순위 매기기의 개선이 모델이 위험 요인에 대한 더 나은 규칙을 학습했기 때문이 아님을 발견했습니다. 대신, 타임라인 교정이 연구에 참여할 수 있는 사람들을 변경했기 때문에 개선이 일어난 것이었습니다. 이력을 수정하여 사람들을 제외함으로써 연구진은 집단의 구성을 바꾸었고, 이것이 결과의 변화를 가져왔습니다.

또한 연구는 이러한 변화가 남성과 여성에게 다르게 영향을 미치는지, 혹은 심장마비보다 뇌졸중에 더 많이 적용되는지를 살펴보았습니다. 데이터는 타임라인 교정의 효과가 성별에 따라 달라진다는 증거를 보여주지 않았습니다. 중국 연구에서 여성들이 남성들보다 이력이 더 자주 수정되기는 했지만, 예측 모델에 미치는 영향은 두 집단 모두 동일했습니다. 마찬가지로, 심장 질환 이력이 뇌졸차 이력보다 더 자주 수정되었음에도 불구하고, 이 차이가 모델의 성능 결과에 다른 결과를 초래하지는 않았습니다. 핵심적인 발견은 일관되었습니다. 즉, 타임라인을 고정하는 행위가 분석되는 집단을 변화시켰으며, 이 집단의 변화가 모델 성능의 변화를 일으킨 주된 원인이었다는 점입니다.

궁극적으로 이 연구는 의료 이력의 타임라인을 정리하는 것이 국가 간 예측 도구를 위한 마법 같은 해결책이 아님을 시사합니다. 인터뷰 당시 정확히 무엇이 알려졌는지 아는 것도 중요하지만, 그렇게 한다고 해서 한 국가에서 개발된 모델이 다른 국가에서 완벽하게 작동하게 되는 것은 아닙니다. 이 연구는 사람들이 연구에 참여하는 방식이 예측 규칙만큼이나 중요하다는 점을 강조합니다. 타임라인이 조정될 때 구성원이 바뀌며, 이 변화가 예측 규칙 자체의 개선보다 결과에 더 큰 영향을 미칩니다. 의료진과 연구자들에게 이는 어떤 국가의 예측 모델을 다른 국가에서 사용하기 전에, 환자의 의료 이력뿐만 아니라 데이터가 어떻게 수집되었는지, 그리고 그 집단이 어떻게 선정되었는지도 이해해야 함을 의미합니다. 연구는 타임라인을 고정하는 것이 사건의 순서를 명확히 하는 데는 도움이 되지만, 위험 예측을 서로 다른 인구 집단 간에 전이시키는 근본적인 문제를 해결하지는 못하며, 이 도구들을 진정으로 신뢰할 수 있게 만들기 위해 더 많은 연구가 필요하다고 결론지었습니다.