Invisible Agents, Uninformed Patients: Towards Responsible Deployment Of Autonomous AI Diagnostic Agents In Sub-Saharan Africa

사하라 이남 아프리카의 북적이는 클리닉과 외딴 마을에서는 사람들이 의료 서비스에 접근하는 방식에 있어 조용한 혁명이 일어나고 있습니다. 수년 동안 의사들은 결정을 내리는 데 도움을 주는 도구, 즉 보조적인 눈이나 참고 가이드 역할을 하는 도구에 의존해 왔습니다. 하지만 이제 새로운 세대의 기술인 자율 인공지능 에이전트가 등장했습니다. 과거의 유용한 조수들과 달리, 이 시스템들은 의사가 질문하기를 기다리지 않습니다. 대신 환자의 증상, 엑스레이 영상, 또는 혈액 검사 결과와 같은 데이터를 가져와 독립적으로 진단을 내리거나 환자가 다음에 어디로 가야 할지에 대한 결정을 내립니다. 이들은 실시간으로 누군가 지켜보고 있지 않아도 작동합니다. 이러한 변화는 이 지역의 심각한 전문의 부족 문제에 강력한 해결책을 제시하며, 그렇지 않았다면 혜택을 받지 못했을 수백만 명에게 의료 서비스를 확장할 것을 약속합니다. 그러나 이러한 속도는 다음과 같은 근본적인 질문을 던집니다. 만약 기계가 단독으로 삶을 바꾸는 의료 결정을 내린다면, 환자는 그것이 일어나고 있다는 사실을 알고 있는가?

연구자 퍼시 브라운(Percy Brown)과 퀘쿠 야모아(Kweku Yamoah)의 최근 논문은 바로 이 간극을 조사합니다. 그들은 결핵이나 당뇨망막병증 같은 질병을 진단하는 기술은 빠르게 발전하고 있지만, 이러한 진단을 받는 사람들을 위한 규칙과 보호 장치는 그 속도를 따라잡지 못하고 있다고 주장합니다. 연구진은 사하라 이남 아프리카의 많은 지역에서 환자들이 자신의 건강 데이터를 분석하고 치료에 대한 최종 결정을 내리는 것이 자율 컴퓨터 프로그램이라는 사실을 전혀 모르는 경우가 많다는 것을 발견했습니다. 이러한 인식의 부재는 기계가 실수를 했을 때 아무도 명확하게 책임을 질 수 없는 위험한 공백을 만듭니다. 논문은 단순히 더 나은, 더 정확한 기계를 만드는 것만으로는 충분하지 않으며, 환자가 정보를 제공받고, 인간의 제2 의견을 요청할 수 있으며, 결정이 어떻게 도출되었는지 이해할 수 있도록 전체 시스템을 재설계해야 한다고 제안합니다.

문제의 규모를 이해하기 위해 연구진은 이 시스템들이 대륙 전역에서 현재 어떻게 사용되고 있는지 세 가지 구체적인 사례를 살펴보았습니다. 탄자니아에서는 흉부 엑스레이를 분석하여 결핵을 선별하기 위해 컴퓨터 소프트웨어가 널리 배치되어 있습니다. 많은 외딴 지역에는 영상을 검토할 방사선 전문의가 없습니다. 이 소프트웨어는 엑스레이를 읽고 환자가 질병을 앓고 있는지 결정하도록 설계되었으며, 환자가 치료를 받으러 가거나 집으로 돌아가기 전에 인간이 결과를 검토하는 일은 거의 없습니다. 잠비아에서는 이와 유사한 딥러닝 시스템이 실명을 유발할 수 있는 질환인 당뇨망막병증과 결핵을 선별하는 데 사용됩니다. 이러한 시스템은 연구 단계에서 인간 의사의 성능과 일치하는 것으로 입증되어 기술적으로 잘 작동함이 증명되었습니다. 그러나 이 도구들이 연구실을 벗어나 실제 클리닉에 도입되었을 때, 환자들은 컴퓨터가 진단을 내리고 있다는 사실을 거의 듣지 못했으며, 결과에 대해 우려될 경우 인간의 검토를 요청할 방법도 제공받지 못했습니다.

가나의 상황은 더욱 직접적입니다. 이곳에서는 모바일 헬스 챗봇이 사람들이 의료 조언을 구하는 주요 수단이 되고 있습니다. 이 디지털 어시스턴트들은 휴대폰 문자 메시지를 통해 환자의 증상을 묻고, 그다음 단계로 무엇을 해야 할지에 대한 위험 평가나 권고를 제공합니다. 많은 사용자에게 이 챗봇은 의료 체계와의 유일한 접점입니다. 연구진은 이러한 상호작용이 자율 진단 에이전트로 기능하고 있음에도 불구하고, 인터페이스에서 알고리즘이 건강 판단을 내리고 있다는 사실을 거의 공개하지 않는다는 것을 발견했습니다. 환자는 자신이 알고 있는 것이 기계에 의한 것인지 사람에 의한 것인지 모른 채 심각한 권고를 받거나 자신의 증상이 무시되는 경험을 할 수 있습니다. 세 가지 사례 모두에서 기술은 엔지니어들이 의도한 대로 작동하고 있지만, 신뢰와 책임이라는 인간적 요소는 뒤처져 있습니다.

저자들이 식별한 핵심 문제는 두 가지 수준에서 작동하는 "투명성 결핍"입니다. 첫째, 기술 자체가 종종 '블랙박스'라는 점입니다. 즉, 개발자들조차 컴퓨터가 특정 결론에 어떻게 도달했는지 정확히 설명하지 못할 때가 많습니다. 둘째, 환자에게 더 결정적으로 중요한 것은 소통의 실패입니다. 환자들은 자율 에이전트가 관여하고 있다는 사실, 해당 에이전트가 무엇을 할 수 있는지, 그리고 결과에 동의하지 않을 경우 어떤 권리가 있는지 알지 못합니다. 이는 책임 소재의 구조적 간극을 만듭니다. 인간 의사가 실수를 하면 환자는 누구에게 책임을 물어야 할지 알 수 있고 결정에 이의를 제기할 수 있습니다. 하지만 자율 시스템이 실수를 하고 이를 검토한 인간이 없다면, 책임의 사슬은 끊어집니다. 환자는 이해하지 못한 의료 결과를 떠안게 되며, 이에 도전할 명확한 경로도 갖지 못하게 됩니다.

이러한 조사 결과에 대응하여, 논문은 이러한 기술의 책임 있는 사용을 안내하기 위한 세 가지 단순하지만 필수적인 원칙을 바탕으로 한 새로운 프레임워크를 제안합니다. 첫 번째 원칙은 "에이전트 인지적 고지된 동의(agent-aware informed consent)"입니다. 이는 환자의 데이터가 자율 시스템에 의해 분석되기 전에, 인간이 아닌 컴퓨터가 결정을 내리고 있다는 사실을 쉽고 명확한 언어로 반드시 알려야 함을 의미합니다. 이러한 공개는 다양한 교육 수준을 가진 사람들도 접근 가능해야 하며, 현지 언어로 이루어져야 하여, 동의가 단순히 형식적인 절차가 아닌 진정한 의미의 '고지된 동의'가 되도록 보장해야 합니다.

두 번째 원칙은 구조적 요구 사항으로서 "인간의 개입(human override)"을 요구합니다. 어떤 자율 시스템도 인간 전문가의 검토를 받을 수 없는 최종 의료 결정을 내려서는 안 됩니다. 모든 시스템은 환자나 지역 보건 요원이 기계의 출력을 중단시키고 치료를 시작하기 전에 인간의 검토를 요청할 수 있는 내장된 경로를 갖추도록 설계되어야 합니다. 이것은 부유한 병원을 위한 사치가 아니라, 자원이 얼마나 부족하든 상관없이 모든 배치 현장에 존재해야 하는 근본적인 안전 기능입니다.

세 번째 원칙은 "맥락에 맞게 조정된 설명 가능성(contextually adapted explainability)"을 촉구합니다. AI의 결정 뒤에 숨겨진 복잡한 수학을 환자에게 설명하는 것은 불가능할지라도, 권고의 이유는 환자가 이해할 수 있는 방식으로 전달되어야 합니다. 기술적인 전문 용어 대신, 시스템은 환자의 문해력과 언어에 맞춰 무엇을 발견했고 왜 그런 결과가 나왔는지에 대한 간단한 설명을 제공해야 합니다. 이를 통해 투명성이 엔지니어를 위한 기술적 특징을 넘어, 의료 서비스를 받는 사람의 실제적인 경험이 되도록 보장해야 합니다.

연구진은 이러한 원칙들이 인공지능을 거부하는 것이 아니라고 강조합니다. AI는 의사가 적은 지역에서 생명을 구하는 데 진정한 잠재력을 가지고 있습니다. 대신, 그들은 현재의 배치가 필요한 거버넌스보다 너무 빠르게 진행되고 있다고 주장합니다. 이 기계들이 할 수 있는 능력에 대한 열정이 환자의 권리를 희생시켜서는 안 됩니다. 이 세 가지 안전장치를 설계와 배치 과정에 내재시킴으로써, 보건 체계는 의료 서비스의 확장이 디지털 안개 속에 가장 취약한 사람들을 남겨두지 않도록 보장할 수 있습니다. 논문은 이러한 구조적 변화 없이는 아프리카 의료 분야에서의 AI의 약속이 미완성 상태로 남을 것이며, 속도와 효율성은 제공할지언정 치유 관계의 토대인 책임감과 신뢰는 제공하지 못할 것이라고 결론짓습니다.