Missing Data Governance in Real-World Cardiovascular Risk Prediction: Effects on Machine Learning Performance and Interpretability
본 연구는 실제 심혈관 위험 예측에 있어 결측치 처리를 위한 대치법이나 혼합 전략을 적절히 사용하는 것이 모델의 신뢰성과 해석력을 유지하는 데 매우 중요한 반면, 불완전한 기록을 무비판적으로 삭제하는 것은 성능을 크게 저하시키고 결측 자체가 지닌 정보적 가치를 간과하게 된다는 점을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
심장 질환은 여전히 전 세계적으로 주요한 사망 원인으로 남아 있으며, 의사들은 생명을 구하기 위해 조기 발견에 의존합니다. 이를 위해 그들은 각 환자에 대한 나이, 혈압, 콜레스테롤 수치, 그리고 흡연이나 당뇨병 병력이 있는지와 같은 방대한 정보를 수집합니다. 최근 몇 년 동안, 머신러닝이라고 알려진 컴퓨터 프로그램들이 이 정보를 살펴보고 누가 위험에 처해 있는지를 예측하도록 훈련되어 왔습니다. 이 프로그램들은 깨끗하고 완벽한 데이터에서 패턴을 찾는 데 매우 뛰어납니다. 하지만 현실 세계는 결코 완벽하지 않습니다. 실제 병원에서는 기록이 엉망인 경우가 많습니다. 의사가 혈압 수치를 적는 것을 잊어버릴 수도 있고, 검사 결과가 누락될 수도 있으며, 환자가 다른 클리닉에서 받은 검사 결과가 파일에 포함되지 않을 수도 있습니다. 오랫동안 이 컴퓨터 프로그램들을 테스트해 온 과학자들은 대부분 현실을 반영하지 못하는 오래되고 정제된 데이터셋을 사용해 왔습니다. 그들은 어떤 컴퓨터 알고리즘이 더 똑똑한지에만 집중하며, 데이터 자체가 불완전하다는 사실은 종종 간과해 왔습니다. 이는 중요한 질문을 던집니다. 만약 컴퓨터 프로그램이 완벽한 데이터로 훈련받았다면, 실제 병원에서 발견되는 지저도 있고 불완전한 기록을 마주했을 때도 여전히 제대로 작동할 수 있을까요?
터키 데니즐리의 한 연구팀은 컴퓨터 프로그램보다는 데이터 자체를 중심으로 연구를 구축함으로써 이 질문에 답하기로 했습니다. 그들은 사립 병원의 순환기 내과로 직접 가서 2019년부터 2024년 사이에 진료를 받은 환자들의 모든 기록을 추출했습니다. 그들은 데이터를 먼저 정제하지 않았습니다. 숫자가 빠진 기록을 버리지도 않았습니다. 대신, 그들은 병원 데이터베이스에 있는 그대로의 가공되지 않은, 필터링되지 않은 정보를 그 결함과 불일치가 있는 상태 그대로 가져왔습니다. 이 기록들로부터 나이, 성별, 콜레스테롤, 그리고 다양한 심장 측정치와 같은 19가지 핵심 건강 파라미터를 선택하여, 서로 다른 컴퓨터 프로그램들이 누락된 정보가 있는 상황에서 심장 질환을 얼마나 잘 예측할 수 있는지 확인하고자 했습니다. 그들은 단순한 통계적 방법부터 여러 작은 모델을 함께 구축하여 작동하는 복잡하고 현대적인 시스템에 이르기까지 11가지의 서로 다른 학습 알고리즘을 테스트했습니다. 결정적으로, 그들은 누락된 숫자를 해결하는 단 한 가지 방법만을 선택하지 않았습니다. 그들은 네 가지의 완전히 다른 전략을 테스트했습니다. 한 전략은 추정된 숫자로 빈칸을 채우는 것이었습니다. 다른 하나는 빈칸을 비워두어 컴퓨터가 스스로 이를 처리할 수 있는지 보는 것이었습니다. 세 번째 전략은 누락된 값을 그 자체의 특정 범주로 취급하는 것으로, 본질적으로 컴퓨터에게 "우리는 이것을 모르지만, 모른다는 사실 자체가 중요할 수 있다"라고 말하는 것이었습니다. 네 번째 전략은 많은 연구에서 흔히 쓰이는 방식으로, 단 하나의 누락된 숫자라도 있는 모든 기록을 단순히 삭제하는 것이었습니다.
결과는 연구자들이 누락된 데이터를 어떻게 처리했느냐가 어떤 컴퓨터 프로그램을 선택했느냐보다 훨씬 더 중요하다는 것을 보여주었습니다. 불완전한 기록을 삭제하는 전략을 사용했을 때, 모든 컴퓨터 모델의 성능이 현저히 떨어졌습니다. 가장 정확했던 모델들은 약 77%였던 사례 식별 정확도가 69%로 떨어졌습니다. 이러한 손실은 기록을 삭제하는 과정에서 가치 있는 정보가 너무 많이 제거되었고, 컴퓨터가 학습할 수 있는 사례가 너무 적어졌기 때문에 발생했습니다. 반면, 빈칸을 채우거나 누락 자체를 알려진 사실로 취급하여 불완전한 기록을 유지하는 전략들은 모델이 심장 질환을 정확하게 예측하는 능력을 보존해주었습니다. 가장 좋은 성능을 보인 컴퓨터 프로그램은 지저도 있는 데이터를 버리지 않고 처리할 수 있는 것들이었습니다. 테스트된 다양한 알고리즘 중에서 부스팅 앙상블(boosting ensembles)이라 불리는 시스템 군이 가장 회복력이 높았습니다. 이 시스템들은 많은 단순한 의사결정자들을 결합하여 강력한 예측을 만들어내며, 데이터가 불완전할 때도 높은 정확도를 유지했습니다. 데이터셋에서 가장 가까운 이웃을 찾는 방식에 기반한 단순한 방법들은 누락된 값에 직면했을 때 가장 고전했습니다.
아마도 가장 놀라운 발견은 연구자들이 컴퓨터 프로그램이 어떻게 결정을 내리는지 자세히 들여다보았을 때 나왔을 것입니다. 그들은 특수한 분석 도구를 사용하여 컴퓨터가 어떤 특징을 가장 중요하게 고려하는지 확인했습니다. 그들은 컴퓨터가 특정 측정치가 누락되었다는 사실에 주목하고 있다는 것을 발견했습니다. 구체적으로, 혈압 수치가 누락되었다는 지표가 심장 질환을 예측하는 데 있어 가장 영향력 있는 요인 중 하나로 꼽혔습니다. 이것이 혈압 수치가 없다는 사실이 심장 질환을 유발한다는 의미는 아닙니다. 대신, 누락의 패턴이 그 자체의 정보를 담고 있음을 시사합니다. 이 병원에서는 혈압 수치가 기록되지 않았다는 사실이 환자의 상황, 예를 들어 특정 유형의 방문이나 어떤 검사를 주문할지에 영향을 미친 사회경제적 요인 등을 나타낼 수 있습니다. 컴퓨터는 이 부재(absence)가 높은 콜레스테롤 수치만큼이나 실질적인 신호라는 것을 학습했습니다. 이 발견은 누락된 데이터가 단순히 수정하거나 무시해야 할 결함이라는 생각을 뒤집습니다. 이는 실제 임상 현장에서 정보가 기록되는 방식, 혹은 기록되지 않는 방식 또한 데이터가 들려주는 이야기의 일부임을 보여줍니다.
이 연구는 컴퓨터 프로그램이 실제 병원에서 신뢰받기 위해서는, 과학자들이 데이터 품질을 본격적인 작업 시작 전에 처리해야 할 사소한 세부 사항으로 취급하는 것을 멈춰야 한다고 결론짓습니다. 누락된 정보를 처리하는 방식은 과학의 근본적인 부분입니다. 만약 연구자들이 단순히 불완전한 기록을 삭제한다면, 서류상으로는 잘 작동하지만 실제 현장에서는 실패하는 모델을 만들 위험이 있습니다. 가장 신뢰할 수 있는 접근법은 간격을 신중하게 채우거나, 측정치의 부재 자체가 하나의 정보임을 인정함으로써 데이터의 불완전함을 존중하는 방법을 사용하는 것입니다. 터키의 현지 데이터를 사용함으로써, 연구자들은 실제의 지저도한 데이터를 바탕으로 구축된 모델이 의사들이 직면하는 실제 조건들을 더 잘 나타낸다는 것을 입증했습니다. 그들은 모델이 완벽하지는 않더라도, 정직하고 견고하다는 것을 발견했습니다. 이 연구는 의료 예측의 미래가 완벽한 데이터 위에서 실행될 약간 더 나은 알고리즘을 찾는 것이 아니라, 인간 건강 기록의 불완전한 현실을 이해하고 배울 수 있는 시스템을 구축하는 데 있다고 주장합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.