Performance of a domain-specific large language model in answering patient questions in psychiatry

현대 의료 환경에서 환자들은 약물에 대한 정보를 얻기 위해 점점 더 인터넷으로 눈을 돌리고 있으며, 약물이 어떻게 작용하는지, 어떤 부작용을 예상해야 하는지, 또는 일상생활에 어떤 영향을 미칠지에 대한 명확한 설명을 찾고 있습니다. 인간처럼 텍스트를 생성할 수 있는 강력한 컴퓨터 프로그램인 거대 언어 모델은 의료 질문에 답하는 데 있어 유망한 가능성을 보여주었지만, 임상 진료의 구체적인 요구 사항을 충족하는 데는 종종 어려움을 겪습니다. 이러한 범용 도구들은 유창하고 정보가 풍부한 답변을 생성할 수는 있지만, 때때로 필요한 미묘한 차이를 놓치거나, 중요한 안전 경고를 누락하거나, 취약한 상태에 있는 사람을 오도할 수 있는 사실을 지어내기도 합니다. 이미 공공 정보가 불일치하고 약물 복용 준수가 주요 과제인 정신 의학 분야에서는 부정확한 조언을 받을 위험이 특히 높습니다. 의사들은 대개 한 번의 방문당 15분에서 20분 정도의 시간만을 할애하기 때문에 모든 환자의 질문을 다루기에 시간이 부족하며, 이로 인해 많은 환자가 검증되지 않은 온라인 소스에서 정보를 찾게 됩니다. 연구자들의 핵심 질문은 신뢰할 수 있는 의학적 출처만을 학습한 특화된 컴퓨터 모델이 일반적인 챗봇에서 흔히 나타나는 오류 없이, 환자들에게 필요한 정확하고 안전하며 개인화된 가이드를 제공할 수 있는지 여부였습니다.

이를 조사하기 위해 시카고 루리 아동 병원(Lurie Children's Hospital of Chicago)의 연구진은 MIND라고 명명한 특화된 인공지능 시스템을 개발했습니다. 방대한 양의 검증되지 않은 인터넷 데이터를 학습하는 일반적인 챗봇과 달리, MIND는 훨씬 더 좁고 안전한 접근 방식을 사용하여 구축되었습니다. 연구진은 미국 정신의학회(APA), 식품의약국(FDA), 국립의학도서관(NLM)을 포함한 7개의 권위 있는 출처에서 가져온 환자 교육 자료만을 이 시스템에 입력했습니다. 이 시스템은 엄격한 안전 원칙에 따라 설계되었습니다. 즉, 검증된 문서로부터만 답변을 추출하고, 출처를 인용하며, 환자가 컴퓨터에 의존하기보다 의사와 상담해야 할 때를 명확하게 밝히도록 프로그래밍되었습니다. 연구진은 이 새로운 도구를 두 가지 다른 잘 알려진 시스템, 즉 널리 사용되는 범용 챗봇과 일반 대중이 아닌 의사들을 위해 설계된 의료 의사 결정 플랫폼과 비교 테스트했습니다. 그들은 세 시스템 모두에 에스시탈로프람(escitalopram)이라는 특정 항우울제에 관한 50가지의 흔한 질문을 던졌으며, 질문 내용은 약물의 작용 기전과 복용법부터 부작 side 효과, 그리고 임산부나 노인과 같은 특별한 집단에 대한 안전성까지 폭넓게 다루었습니다.

비교 결과, 신뢰성과 완결성 측면에서 특화된 모델이 뚜렷한 우위를 점하는 것으로 나타났습니다. 정확성, 명확성 및 안전성을 점검하는 컴퓨터 기반 루브릭(rubric)으로 응답을 평가했을 때, MIND 시스템은 모든 카테고리에서 일반 챗봇과 의사 중심 플랫폼보다 뛰어난 성과를 보였습니다. MIND는 더 완전한 답변을 제공했고, 불확실성을 더 효과적으로 인정했으며, 환자를 의사에게 리퍼(refer)해야 할 시점을 더 잘 파악했습니다. 그러나 연구진이 10명의 전문의(board-certified psychiatrists)에게 답변 검토를 요청했을 때 이야기는 더 미묘해졌습니다. 의사들은 특화된 모델이 더 안전하고 완전하다는 점에는 동의했지만, 특정 주장에 있어서는 일반 챗봇이 약간 더 정확하다고 판단했습니다. 더욱 놀라운 점은, 정신과 의사들이 특화된 모델보다 일반 챗봇의 응답을 압도적으로 선호했다는 것입니다. 이러한 선호도는 특히 젊은 초기 경력의 의사들 사이에서 강하게 나타났습니다. 연구진은 일반 챗봇이 더 짧고 간결하며 직접적인 느낌을 주는 답변을 제공하는 반면, 특화된 모델은 때때로 의사들이 짧은 요약 맥락에서 불필요하거나 약간 부정확하다고 느끼는 정보까지 포함하여 더 길고 상세한 답변을 제공한다고 언급했습니다.

이 연구는 의료 인공지능 설계에 있어 복잡한 트레이드오프(trade-off)를 보여줍니다. 특화된 모델은 검증된 사실에 근거하여 일반 시스템에서 흔히 발생하는 환각 현상을 피한다는 일차적인 목표를 달кси했으나, 인간 전문가들이 가장 매력적으로 느끼는 간결함과 스타일을 맞추는 데는 어려움을 겪었습니다. 연구진은 답변이 더 상세하고 완전해질수록 때때로 정확도가 낮게 평가되는 것을 관찰했는데, 이는 필요한 맥락을 추가하는 것이 인간 독자에게는 정밀함을 떨어뜨리는 것처럼 느껴질 수 있음을 시사합니다. 또한, 특화된 모델은 모든 질문에 답할 수 없었습니다. 50개의 질의 중 12개에 대해 모델은 정보가 없음을 올바르게 인정했는데, 이는 다른 시스템들이 모든 질문에 답변을 시도했던 것과 대조적입니다. 이러한 답변 거부는 의도적인 안전 장치였으나, 이로 인해 도구의 범용성은 경쟁 모델들보다 낮아졌습니다. 정신과 의사들은 또한 특화된 모델의 응답이 일반 챗봇보다 높은 수준의 읽기 난이도를 가지고 있다고 지적했는데, 이는 환자용 자료로 권장되는 읽기 수준보다 훨씬 높은 수준의 복잡한 문서를 원천 자료로 사용했기 때문입니다.

궁극적으로, 이 연구는 특화된 제한적 말뭉치(restricted-corpus) 모델이 일반 챗봇보다 더 안전하고 완전한 환자 교육의 토대를 제공할 수 있지만, 아직 인간의 판단이나 임상의가 선호하는 소통 방식을 완전히 대체하기에는 부족하다는 점을 시사합니다. 특화된 시스템은 의학적 증거를 엄격히 준수하고 일반적인 시스템에서 나타나는 위험한 오류를 피하는 인공지능을 구축하는 것이 가능하다는 것을 입증했지만, 동시에 높은 정확성과 완결성을 달성하는 것이 때로는 가독성이나 사용자 선호도를 희생시킬 수 있다는 점도 드러냈습니다. 저자들은 자신들의 작업이 미래의 의료 케어를 강화할 수 있는 도구를 구축하는 템플릿 역할을 한다고 결론지으면서도, 이러한 시스템이 안전성, 정확성, 그리고 인간이 실제로 정보를 받고 싶어 하는 방식을 균형 있게 맞추기 위한 추가적인 최적화가 필요하다고 강조했습니다. 향후 과제는 이러한 모델을 특화된 시스템만큼 신뢰할 수 있으면서도 일반 챗봇만큼 명확하고 매력적으로 다듬어, 환자들이 혼란이나 지연 없이 고품질의 근거 기반 가이드를 받을 수 있도록 하는 것입니다.