From clinician review to measurable human oversight of AI-drafted paediatric discharge documents

아이가 응급실을 떠날 때, 가족들은 두 가지 어려운 일을 동시에 수행해야 하는 문서를 받게 됩니다. 이 문서는 다음 의사에게 어떤 일이 일어났고 어떤 치료가 이루어졌는지 정확한 의학 용어를 사용하여 전달해야 합니다. 동시에, 부모가 아이를 어떻게 돌봐야 하는지, 그리고 상황이 악화될 경우 언제 다시 돌아와야 하는지를 알 수 있도록 평이한 단어로 동일한 사건들을 설명해야 합니다. 수십 년 동안 의사들은 이 요약본을 수기로 작성하거나 정해진 양식을 채우는 방식으로 작성해 왔는데, 이 과정은 느릴 수 있고 때로는 중요한 세부 사항을 누락하거나 이해하기 어려운 언어를 사용하는 문제를 낳았습니다. 최근에는 거대 언어 모델(LLM)로 알려진 새로운 종류의 컴퓨터 프로그램이 등장했습니다. 이 프로그램들은 환자의 의무 기록을 읽고 몇 초 만에 퇴원 요약본 초안을 작성할 수 있습니다. 이러한 도구들이 문서를 더 명확하고 빠르게 만들기를 기대하는 것입니다. 하지만 결정적인 질문이 남아 있습니다. 만약 컴퓨터가 첫 번째 초안을 작성한다면, 의사는 가족이 종이를 들고 집으로 가기 전에 실제로 컴퓨터가 저지른 실수를 잡아낼 수 있을까요?

프랑스 몽펠리에의 한 병원에서 연구진은 의사들이 이러한 새로운 도구와 어떻게 상호작용하는지를 실시간으로 관찰함으로써 이 질문에 대한 답을 찾고자 했습니다. 연구진은 단순히 의사들에게 컴퓨터의 작업물이 마음에 드는지 묻는 대신, 컴퓨터가 초안을 생성하는 순간부터 의사가 최종 서류에 서명하는 순간까지의 전 과정을 지켜보았습니다. 연구팀은 소아 응급실에서 퇴원하는 153명의 어린이를 모집했습니다. 이 가족들을 두 그룹으로 나누었습니다. 한 그룹은 병원이 기존에 사용하던 고정된 템플릿 기반의 표준 퇴원 요약본을 받았습니다. 다른 그룹은 병원의 자체 보안 서버에서 구동되는 컴퓨터 프로그램이 작성한 초안을 받았으며, 해당 아이를 진료한 의사가 이를 검토하고 서명했습니다. 연구진은 문서의 모든 버전을 보존했습니다. 즉, 원래의 의학 기록, 컴퓨터의 첫 번째 초안, 그리고 가족에게 전달된 최종 서류입니다. 이를 통해 연구진은 컴퓨터가 무엇을 변경했는지, 의사가 무엇을 수정했는지, 그리고 어떤 오류가 빠져나갔는지를 정확히 파악할 수 있었습니다.

연구 결과, 컴퓨터는 언어를 단순하게 만드는 데 매우 능숙한 것으로 나타났습니다. 컴퓨터의 도움을 받은 그룹의 문서는 표준 문서보다 더 흔한 단어를 사용하고 기술적인 용어를 적게 사용했습니다. 그러나 며칠 후 가족들이 실제로 지침을 얼마나 잘 이해했는지 확인했을 때, 두 그룹 간에는 차이가 없었습니다. 문서가 템플릿으로 작성되었든 컴퓨터로 작성되었든, 가족들이 추적 관찰 계획과 주의 깊게 살펴봐야 할 징후를 기억하는 정확도는 비슷했습니다. 사실, 두 그룹 모두에서 거의 절반에 가까운 가족들이 추적 관찰 계획의 세부 사항을 잘못 이해했는데, 이는 문제가 단지 단어가 어떻게 쓰였느냐가 아니라, 퇴원하는 분주한 순간에 정보가 어떻게 전달되느냐에 달려 있음을 시사합니다.

가장 드러내는 바가 컸던 부분은 의사가 컴퓨터의 초안을 검토할 때 배후에서 어떤 일이 일어났는가 하는 점이었습니다. 연구진은 컴퓨터가 실수를 한다는 것을 발견했지만, 의사들은 능동적이고 신중한 편집자였습니다. 컴퓨터가 초안을 작성한 그룹에서 의사들은 거의 모든 사례에서 텍스트를 수정했습니다. 그들은 컴퓨터가 의무 기록에 없는 내용을 지어낸 경우를 제거했으며, 컴퓨터가 의학 약어를 오해하여 발생한 오류를 바로잡았습니다. 예를 들어, 컴퓨터는 때때로 짧은 의학 코드를 잘못된 전체 용어로 확장하여, 비뇨기 증상에 대한 설명을 완전히 다른 의학적 상태로 바꾸어 놓기도 했습니다. 의사들은 이러한 특정 오류 중 아주 적은 부분만을 수정했습니다. 즉, 22개의 잘못된 약어 확장을 기준으로 6개만을 수정했으며, 이는 16개의 실수가 가족들에게 전달된 최종 문서에 그대로 남아 있었음을 의미합니다. 이는 지어낸 사실은 생소해 보이기 때문에 찾아내기 쉽지만, 의학 용어에서의 미묘한 오류는 완벽하게 정상적으로 보일 수 있어 신중한 검토조차 통과할 수 있음을 시사합니다.

결정적으로, 연구는 의사들에게 전달된 최종 문서의 오류 중 어떤 것도 심각한 위해를 가할 만큼 심각하다고 판단되지 않았음을 보여주었습니다. 컴퓨터는 위험한 의학적 조언을 지어내지 않았으며, 의사들은 가장 중요한 문제들을 잡아냈습니다. 그러나 연구진은 또한 컴퓨터가 표준 템플릿과는 다른 종류의 정보를 누락시킨다는 사실도 발견했습니다. 표준 템플릿은 과거 알레르기와 같은 특정 필드를 예측 가능한 방식으로 단순히 전달하지 못하는 경우가 있었습니다. 반면 컴퓨터는 때때로 누가 의학적 소견을 냈는지에 대한 구체적인 세부 사항을 놓치거나, 의무 기록에 기록된 부정적인 소견(negative findings)을 누락하기도 했습니다. 이러한 누락은 최종 텍스트에서 항상 눈에 띄는 것은 아니었기에, 의사가 최종 서류를 원래의 기록과 직접 비교하지 않는 한 무언가가 빠졌다는 사실을 깨닫지 못할 수도 있었습니다.

이 연구는 이러한 컴퓨터 도구가 의학 문서를 읽기 쉽게 만드는 데 도움을 줄 수는 있지만, 그것이 자동으로 더 안전하거나 더 정확하게 만드는 것은 아니라고 결론짓습니다. 인간 의사는 여전히 필수적이지만, 그들의 역할은 글을 쓰는 것에서 신중하게 검토하는 것으로 변했습니다. 연구진은 의사가 서류에 서명했다고 해서 단순히 모든 실수를 잡아냈다고 가정해서는 안 된다고 주장합니다. 인간이 이러한 도구를 얼마나 잘 감독하는지 진정으로 측정하려면, 최종 결과물뿐만 아니라 그 사이의 단계들, 즉 컴퓨터가 무엇을 썼고, 의사가 무엇을 보았으며, 의사가 무엇을 수정하거나 그대로 두기로 선택했는지를 보아야 합니다. 이러한 단계들을 측정할 수 있는 방법이 마련되기 전까지는, 인간의 검토라는 안전망이 필요한 모든 것을 제대로 잡아내고 있는지 확신할 수 없습니다. 이 연구는 의료 문서화의 미래가 더 나은 컴퓨터뿐만 아니라, 의사가 컴퓨터가 만들어낸 결과물을 보고 수정하는 더 나은 방식에 달려 있음을 시사합니다.