Quality of physicians responses using a conversational artificial intelligence system: a randomized vignette experiment in Latin America

라틴 아메리카의 북적이는 클리닉에서 의사들은 종종 조용한 불확실성의 순간에 직면한다. 환자가 복잡한 증상들을 보일 때, 올바른 치료 경로가 즉각적으로 명확해지지 않는 상황이다. 수십 년 동안 그 해결책은 잠시 멈춰 서서 답을 찾는 것이었으며, 교과서를 뒤적이거나 디지털 데이터베이스에 검색어를 입력하는 방식이었다. 이 과정은 방대한 양의 의료 정보를 빠르게 찾고, 읽고, 해석하는 의사의 능력에 의존한다. 오늘날, 대화형 인공지능이라는 새로운 도구가 이 풍경 속에 등장했다. 방대한 인간 지식의 집합체 위에 구축된 이 시스템들은 대화를 나누고, 질문에 답하며, 복잡한 주제를 몇 초 만에 요약할 수 있다. 이러한 도구가 침대 곁의 파트너 역할을 하여 의사가 더 빠르고 정확하게 근거를 찾아낼 수 있도록 도울 수 있다는 것이 그 약속이다. 그러나 이 시스템들에 대한 대부분의 테스트는 저소득 또는 중소득 국가의 바쁜 병원이라는 현실과는 동떨어진, 통제되고 정적인 환경에서 수행되어 왔다. 핵심적인 질문은 이 디지털 조수들이 실제 의사들이 실제 환경에서 사용할 때 실제로 의료 서비스의 질을 향상시키는지, 아니면 단지 자신감 있게 들리지만 실질적인 도움은 거의 주지 못하는 정교한 챗봇에 불과한 것인지에 관한 것이다.

그 답을 찾기 위해, 라틴 아메리카의 연구진들은 202명의 의사를 포함하는 직접적인 비교 실험을 설계했다. 연구진은 의사들에게 네 가지 가상의 환자 사례를 해결하도록 요청했으며, 각 사례는 네 개의 개방형 질문에 대한 답변을 요구했다. 의사들은 무작위로 두 그룹으로 나뉘었다. 한 그룹은 평소처럼 표준적인 자원을 검색하며 기존의 방식을 사용하여 정보를 찾았다. 다른 그룹은 의료적 근거를 추적할 수 있는 답변을 제공하도록 설계된 특정 대화형 시스템을 사용했다. 공정성을 보장하기 위해, 각 의사가 어떤 방법을 사용했는지 알지 못하는 두 명의 독립적인 전문가가 모든 답변을 채점했다. 그들은 여섯 가지의 서로 다른 품질 차원을 기준으로 답변을 평가하였으며, 제공된 의료 조언의 전반적인 타당성을 반영하는 종합 점수를 생성했다.

결과는 두 접근 방식 사이에 명확한 차이가 있음을 보여주었다. 대화형 시스템을 사용한 의사들은 기존의 검색 관행에 의존한 의사들보다 평균적으로 더 타당한 답변을 만들어냈다. 지원을 받은 그룹의 점수는 중앙값 2.83으로, 기존 방식 그룹의 2.46보다 높았다. 연구진이 의사의 학위와 같은 요인들을 조정했을 때, 데이터를 보면 시스템을 사용하는 의사가 높은 타당성 기준을 충족하는 답변을 생성할 가능성이 유의미하게 더 높았다. 이러한 이점은 전문가 심사위원들이 서로 가장 강력하게 동의한 구체적인 기준들을 중심으로, 사용된 대부분의 세부 기준에서 유효했다. 그러나 연구는 한 가지 미묘한 차이점을 드러냈다. 오직 사실의 정확성만을 엄격히 살펴보았을 때, 두 그룹 간의 차이는 통계적 유의 수준에 도달하지 못했다. 이로 인해 연구진은 더 넓은 개념인 종합적 타당성을 주요 결과로 지정하였으며, 외부 평가자가 정확성만을 분석했을 때도 동일한 차이 없음이 발견됨으로써 이 결정은 더욱 강화되었다.

답변의 질 외에도, 연구는 의사들이 그 과정에 대해 어떻게 느꼈는지와 시간이 얼마나 걸렸는지를 조사했다. 시스템을 사용한 의사들은 높은 수준의 만족도를 보였으며, 해당 도구가 수용 가능하고 사용하기 쉽다고 평가했다. 흥 প미롭게도, 과제를 완료하는 데 걸린 시간과 의사들이 보고한 검색 횟수는 두 그룹 사이에 명확한 차이를 보이지 않았으나, 연구진은 누락된 데이터로 인해 이 특정 비교를 확실하게 해석하기 어렵다는 점을 언급했다. 연구는 연구의 범위에 대한 중요한 주의 사항으로 마무리된다. 참가자들은 이 연습을 완료하기로 선택한 자원봉사자들이었으므로, 이 결과는 모든 의사와 모든 상황에서 이 도구가 어떻게 작동하는지에 대한 확정적인 증거라기보다는 탐색적인 성격을 띤다. 이 시스템이 모든 문제를 즉각적으로 해결하는 마법 지팡이 역할을 하지는 못했지만, 이 지역의 현직 의사들이 사용할 때 환자에게 제공하는 의료 정보의 질을 높이는 데 도움을 줄 수 있다는 증거를 제시한다.