Performance of Large Language Models as Assistive Tools for Clinical Pharmacists in the Stomatological Hospital: A Multi-dimensional Comparative Study

치과 병원이라는 특화된 영역에서 임상 약사는 약물 안전의 수호자 역할을 수행합니다. 이들의 업무는 구강 질환을 위해 처방된 모든 약물이 적절한 선택인지, 적절한 용량인지, 그리고 환자의 특정 건강 이력에 안전한지를 확인하는 것입니다. 이 작업에는 처방전 검토, 위험한 약물 상호작용 확인, 그리고 신장 질환이나 간 질환과 같은 복합적인 상태를 가진 환자를 위한 치료법 조정 등이 포함됩니다. 그러나 이러한 역할은 점점 더 어려워지고 있습니다. 의료 정보의 양은 매일 증가하고 가이드라인은 끊임없이 변하며, 약사들은 심도 있는 연구를 할 시간이 부족할 정도로 과중한 업무량에 직면하곤 합니다. 그들은 구강 및 전신 건강 문제로 여러 가지 약물을 복용 중인 환자들을 관리하면서, 빠르고 정확한 결정을 내려야 합니다.

이러한 압박감을 관리하기 위해 많은 병원이 인공지능, 특히 대규모 언语言 모델(LLM)을 주목하고 있습니다. 대규모 언어 모델은 방대한 양의 텍스트를 학습하여 인간의 언어를 이해하고 생성할 수 있는 컴퓨터 프로그램입니다. 이들은 정보를 검색하고, 복잡한 시나리오를 분석하며, 보통 수년간의 전문적인 학습이 필요한 질문에 대한 답을 제공하도록 설계되었습니다. 의료계가 직면한 질문은 이 디지털 도구들이 진정으로 인간 전문가를 돕는 신뢰할 수 있는 조수가 될 수 있는지, 아니면 그저 확신에 차 있지만 틀린 조언을 제공할 수도 있는 정교한 챗봇에 불과한지 여부입니다. 중국의 연구진들은 일반적인 질문을 넘어, 치과 병원이라는 구체적이고 높은 수준의 전문성을 요구하는 환경에서 이 모델들이 얼마나 잘 수행되는지 테스트하기 위해 새로운 연구를 진행했습니다.

연구진은 당시 사용 가능한 가장 발전된 세 가지 대규모 언어 모델인 ChatGPT-5.5 Instant, Gemini-3.5 Flash-Lite, 그리고 DeepSeek-V3를 선정했습니다. 공정한 테스트를 위해 연구팀은 실제 임상 약사들이 매일 접하는 현실적인 질문 30개를 제작했습니다. 이 질문들은 투여량, 약물 간 상호작용, 특정 약물을 절대 복용해서는 안 되는 환자군, 함께 혼합할 수 없는 정맥 주사(IV) 약물, 약물 투여 방법, 그리고 신장이나 간 기능이 저하된 환자를 위한 용량 조절 등 6가지 핵심 영역을 다루었습니다. 질문은 단순한 사실부터 깊은 의학적 추론이 필요한 복잡한 시나리오까지 다양했습니다.

다섯 명의 선임 임상 약사들이 각 모델이 제공한 답변을 검토했습니다. 이들은 어떤 모델이 어떤 답변을 생성했는지 알지 못하는 상태에서 편향되지 않은 판단을 내리도록 했습니다. 이들은 답변의 정확성, 완전성, 그리고 실제 약국 현장에서의 유용성을 기준으로 점수를 매겼습니다. 결과는 명확한 성능 계층을 보여주었습니다. ChatGPT-5.5 Instant는 가장 높은 품질의 답변을 생성하며 '양호'에서 '우수' 범위에 해당하는 중앙값을 기록했습니다. DeepSeek-V3가 2위를 차지했으며, Gemini-3.5 Flash-Lite가 세 모델 중 가장 낮은 점수를 받았습니다. 이러한 차이는 통계적으로 유의미했으며, 이는 성능의 격차가 우연이 아닌 실제적인 것임을 의미합니다.

흥미롭게도, 질문의 난이도는 순위에 영향을 미치지 않았습니다. 질문이 단순하든 복잡하든 ChatGPT는 일관되게 다른 모델들보다 뛰어난 성능을 보였습니다. 연구 결과, 질문이 어려워진다고 해서 모델의 성능이 저하된다는 증거는 발견되지 않았으며, 모델들은 도전 과제의 난이도와 상관없이 상대적인 위치를 유지했습니다. 이는 모델의 성능이 단순히 단순한 사실을 회상하는 능력이 아니라, 고유한 추론 능력과 지식 접근 능력에 의해 결정됨을 시사합니다. 그러나 연구는 또한 세 모델 모두에서 나타나는 중요한 한계점인 '가독성'을 강조했습니다. 모델이 생성한 답변은 일반인이 이해하기 매우 어려운 문체로 작성되었으며, 종종 대학 수준의 교육을 받아야 따라갈 수 있는 수준이었습니다. 이는 임상 현장에서 매우 중요한 지점인데, 약사는 이러한 개념을 환자에게 설명해야 하지만, 현재의 모델들은 정확성을 잃지 않으면서 언어를 단순화하는 데 어려움을 겪고 있기 때문입니다.

정보 출처에 관한 또 다른 중요한 발견이 있었습니다. 연구진은 모델들이 제공한 정보 출신의 품질을 평가했는데, 세 모델 간의 신뢰도 점수에서 통계적으로 유의미한 차이는 발견되지 않았습니다. 그러나 저자들은 치의학 및 관련 의학 분야의 광범위한 문헌들이 대규모 언어 모델이 가공의 서적 제목, 학술지 명칭, 저자 이름을 포함하여 허위 참조를 빈번하게 생성한다는 점을 일관되게 보고하고 있다고 강조했습니다. 이번 연구는 출처의 품질을 평가했지만, 환각 현상(hallucination)을 통한 인용 오류가 발생하는 광범위한 분야의 문제를 고려할 때, 현재 어떤 모델도 검증 없이 단독적인 '진실의 원천'으로 사용하기에는 안전하지 않습니다. 즉, 이들은 공식적인 약물 데이터베이스나 면허를 가진 약사의 판단을 대체할 수 없습니다.

연구진은 이러한 인공지능 도구들이 치과 병원의 임상 약사들에게 훌륭한 조력자로서 큰 가능성을 보여준다고 결론지었습니다. 이들은 전문적인 지원이 가능한 수준의 품질로 다양한 약물 정보 과업을 처리할 수 있습니다. 그러나 이들은 독립적인 의사 결정자가 아닌, 인간의 의사 결정을 돕는 도구로 간주되어야 합니다. 정보를 검증하고, 최신 가이드라인을 확인하며, 환자의 안전을 보장하기 위해서는 인간 약사가 반드시 필요합니다. 이 모델들이 계속 진화함에 따라 더욱 유능해질 수는 있겠지만, 현재로서는 환자를 안전하게 지키는 전문가들을 위한 강력한 '제2의 눈'으로서 가장 적합합니다.