The AI-CDSS Evidence Gap: A Critical Analysis of Outcome Measurement, Human-AI Interaction, and Implementation Validation

병원들은 의사들의 의사결정을 돕기 위해 새로운 종류의 디지털 비서를 사용하기 시작하고 있습니다. 인공지능을 기반으로 구축된 이 도구들은 의료 영상을 스캔하거나 환자의 기록을 검토하여 폐렴이나 패혈증 같은 질병을 인간보다 더 빠르게 찾아냅니다. 그 약속은 엄청납니다. 놓치는 진단이 줄어들고, 과중한 업무에 시달리는 의료진의 부담이 줄어들며, 모두를 위한 더 나은 케어가 가능해진다는 것입니다. 하지만 우리는 이 도구들이 실제로 도움이 되는지 해가 되는지 진정으로 알기도 전에 이를 실무에 도입하려 서두르고 있다는 우려가 커지고 있습니다. 핵심적인 질문은 컴퓨터가 사진 속에서 패턴을 찾을 수 있느냐가 아니라, 그 패턴이 실제로 환자를 더 건강하게 만드느냐는 것입니다. 이를 답하기 위해서, 우리는 컴퓨터의 성적표 너머를 바라보고 실제 의사들이 기계와 어떻게 상호작용하는지, 그리고 시스템이 통제된 실험실이 아닌 바쁘고 혼란스러운 임상 현장에서 어떻게 작동하는지를 살펴봐야 합니다.

한 연구팀은 바로 이러한 괴리점을 조사하기 위해 연구를 시작했습니다. 그들은 이 인공지능 도구들을 둘러싼 증거에 대한 비판적 검토를 수행하며, 수천 개의 연구를 살펴보고 우리가 이들에 대해 정말로 무엇을 알고 있는지 확인했습니다. 그들의 작업은 우리의 이해에 심각한 공백이 있음을 드러냅니다. 현재 이 분야는 컴퓨터가 테스트 환경에서 얼마나 정확하게 질병을 식별하는지를 측정하는 데 집착하고 있습니다. 그러나 연구진은 이러한 기술적 정확성에 대한 집중이 그 도구가 실제로 환자의 생존율을 높이거나, 입원 기간을 단축하거나, 고통을 예방하는지에 대해서는 거의 알려주는 바가 없다는 것을 발견했습니다. 사실, 컴퓨터의 점수에만 집중함으로써 우리는 가장 위험한 부분, 즉 그 도구가 의사의 사고방식과 행동을 어떻게 변화시키는지에 대한 이야기를 놓치고 있을 수도 있습니다.

연구진은 증거가 부족한 세 가지 구체적인 단계를 식별했으며, 이는 신뢰를 어렵게 만드는 불확실성의 사슬을 형성합니다. 첫 번째 실패는 성공을 측정하는 방식, 즉 아주 초기 단계에서 발생합니다. 대부분의 연구는 종양을 얼마나 정확하게 찾아내는지와 같은 진단 정확도만을 보고합니다. 이것은 마치 새로운 자동차를 테스트 트랙에서 직선으로 얼마나 빨리 달릴 수 있는지만으로 판단하는 것과 같으며, 정작 차가 안전하게 멈출 수 있는지 혹은 빗길에서 잘 조종되는지는 전혀 확인하지 않는 것과 같습니다. 검토 결과, 1만 2천 명 이상의 환자를 포함한 무작위 대조 시험 중 가장 강력한 증거조차 진단 정확도에서 아주 미미한 개선만을 보여주었습니다. 더 중요한 것은, 이러한 주요 연구 중 어느 것도 사망률이나 입원 기간처럼 환자에게 실제로 중요한 결과들을 측정하지 않았다는 점입니다. 우리는 컴퓨터가 질병을 찾을 수 있다는 것은 알지만, 그것을 일찍 발견하는 것이 실제로 생명을 구하는지는 알지 못합니다.

두 번째 실패는 컴퓨터가 인간을 만날 때 발생합니다. 연구진은 의사들이 이러한 도구와 상호작용하는 방식이 종종 예측 불가능하며 때로는 해로울 수 있다는 것을 발견했습니다. 컴퓨터가 진단을 제안할 때, 의사들은 그것을 항상 중립적인 데이터로 취급하지 않습니다. 때때로 그들은 기계가 틀렸을 때조차 너무 믿어버리는데, 이는 '자동화 편향(automation bias)'이라고 알려진 경향입니다. 문헌에서 발견된 한 인상적인 사례에 따르면, 유방 촬영 검사 중에 AI가 잘못된 조언을 제공했을 때 숙련된 방사선 전문의들의 진단 정확도가 급격히 떨어졌습니다. 잘못된 AI의 제안이 존재함으로써 의사들은 혼자 일했을 때보다 오히려 일을 더 못하게 되었습니다. 반대로, 컴퓨터가 너무 많은 가짜 알람을 생성하면 의사들은 지치게 되어 경고를 완전히 무시하기 시작하는데, 이를 '알람 피로(alert fatigue)'라고 합니다. 시스템이 너무 자주 늑대라고 울부짖으면, 진짜 늑대는 지나치게 됩니다. 현재의 증거는 의사를 수동적인 정보 수신자가 아니라, 판단력이 약화되거나 현혹될 수 있는 능동적인 파트너로 보는 대신, 이러한 인간의 행동을 대체로 무시하고 있습니다.

세 번째 실패는 이러한 시스템이 현실 세계에서 어떻게 배포되고 모니터링되는지에 있습니다. 병원이 이러한 도구를 안전하게 도입하도록 돕기 위해 설계된 많은 가이드라인과 프레임워크가 있지만, 연구진은 이러한 계획들이 실제 현장에서 테스트되거나 준수되는 경우가 드물다는 것을 발견했습니다. 이는 특히 증거가 거의 존재하지 않는 저소득 및 중저소득 국가에서 더욱 그러합니다. 배포를 안내하기 위해 사용된 프레임워크들은 종종 첨단 기술과 안정적인 인프라를 갖춘 부유한 국가에서 만들어졌습니다. 자원이 제한된 환경에 적용될 때, 그것들은 전혀 작동하지 않을 수 있습니다. 예를 들어, 한 지역의 데이터로 훈련된 시스템은 다른 질병 패턴이나 생활 조건을 가진 다른 인구 집단에서 사용될 때 완전히 실패할 수 있습니다. 적절한 모니터링이 없다면, 서류상으로는 좋아 보이는 시스템이 시간이 흐름에 따라 변질되어 환자 집단이 변함에 따라 정확도가 떨어질 수 있음에도 불구하고, 아무도 제대로 된 것을 감시하지 않기 때문에 아무도 이를 알아차리지 못하게 됩니다.

연구진은 이 세 가지 실패가 단순히 나란히 존재하는 것이 아니라, 서로 영향을 주고받으며 더 큰 위험을 만들어낸다고 주장합니다. 정확도만을 측정하기 때문에, 정확도가 예측할 수 없는 인간의 오류를 놓치게 됩니다. 인간의 행동을 측정하지 않기 때문에, 실제로 작동하는 구현 계획을 세울 수 없습니다. 그 결과, 병원들은 불완전한 정보에 기반하여 강력한 도구들을 배치하고 있는 상황입니다. 이 검토는 부유한 국가에서는 잘 작동하지만 서아프리카의 한 지역 병원에 배치된 시스템의 구체적인 시나리오를 강조합니다. 그곳에서 시스템은 환자의 특성이 다르기 때문에 너무 많은 가짜 알람을 생성합니다. 과도한 업무에 시달리는 의료진은 경고를 보는 것을 멈춥니다. 시스템의 정확도 점수는 서류상으로는 여전히 높지만, 실제로는 의사들이 꼭 필요한 경고조차 무시하도록 훈련시킴으로써 해를 끼치고 있습니다.

이 분석이 인공지능가 의학에서 설 자리가 없다는 뜻은 아닙니다. 연구진은 당뇨병성 망막병증을 선별하거나 긴급한 스캔의 우선순위를 정하는 도구와 같이 성공적인 사례들이 있음을 지적하며, 기술이 분명히 도움이 되었음을 언급했습니다. 그러나 이러한 성공 사례들은 규칙이 아니라 예외이며, 매우 구체적이고 좁은 과업에 의존하는 경우가 많습니다. 결론적으로, 현재의 도구가 안전하고 효과적임을 입증하는 기준은 불충분합니다. 우리는 단순히 컴퓨터가 똑똑한지를 묻는 것을 멈추고, 컴퓨터와 의사가 함께하는 전체 시스템이 환자를 더 낫게 만드는지를 묻기 시작해야 합니다.

이를 해결하기 위해 저자들은 새로운 최소 증거 표준을 제안합니다. 어떤 도구가 널리 사용되기 전에, 그것은 질병을 찾는 능력뿐만 아니라 생존이나 삶의 질과 같은 환자의 결과를 개선하는 능력에 대해서도 테스트되어야 합니다. 또한 의사들이 그것을 실제로 어떻게 사용하는지 연구하여, 그들이 너무 많이 신뢰하는지 혹은 너무 자주 무시하는지를 측정해야 합니다. 마지막으로, 도구들이 배포된 후에도 효과를 잃지 않도록 지속적으로 모니터링되어야 합니다. 이러한 접근 방식은 더 많은 노력과 시간을 요구하지만, 인공지능을 채택하려는 급박한 움직임이 환자들을 뒤처지게 만들지 않도록 보장하는 유일한 방법입니다. 기술은 준비되었지만, 이를 뒷받침할 증거는 아직 준비되지 않았습니다. 이 간극을 메우기 전까지, 이러한 시스템의 배포는 그들이 돕고자 하는 바로 그 사람들을 대상으로 하는 거대하고 통제되지 않은 실험으로 남을 것입니다.