Evaluating Methods for Assessing LLM-Translated Clinical Discharge Instructions: A Comparison of Automated Metrics, MQM-Based Evaluation, and Clinician Review

환자가 병원을 떠날 때 받는 퇴원 안내서는 단순히 과업의 목록 그 이상입니다. 그것은 전문적인 치료와 일상생활 사이를 잇는 중요한 가교 역할을 합니다. 만약 이 안내서가 제대로 이해되지 않는다면, 투약 오류, 후속 진료 예약 누락, 그리고 건강 상태 악화의 위험이 급격히 높아집니다. 주 언어가 스페인어인 환자들에게 이 가교는 그들의 모국어로 구축되어야 합니다. 수십 년 동안 병원들은 이 문서들의 정확성을 보장하기 위해 인간 번역가에게 의존해 왔지만, 인공지능의 급격한 발전은 더 빠르고 새로운 번의 방식을 제안하고 있습니다. 에세이를 쓰거나 복잡한 질문에 답할 수 있는 것과 동일한 유형의 기술인 거대 언어 모델은 이제 의료 문서를 인간 전문가만큼 세심하고 정밀하게 번역할 수 있는지 테스트되고 있습니다. 핵심적인 질문은 단순히 기계가 단어를 번역할 수 있느냐가 아니라, 단 하나의 잘못된 단어가 환자의 건강에 대한 이해를 바꿀 수 있는 상황에서 기계가 '의미'를 번역할 수 있느냐 하는 것입니다.

콜로라도 대학교 의과대학의 연구팀은 인공지능이 영어 퇴원 안내서를 스페인어로 얼마나 잘 번역하는지 테스트함으로써 이 질문에 답하고자 했습니다. 그들은 단순히 컴퓨터에 번역을 요청한 것이 아니라, 컴퓨터에게 요청하는 방식이 결과에 어떻게 변화를 주는지 확인하기 위해 엄격한 실험을 설계했습니다. 연구진은 대규모 의료 데이터베이스에서 추출한 200개의 실제 익명화된 퇴원 안내서를 가져와 세 가지 서로 다른 인공지능 모델에 입력했습니다. 기계에게 말을 거는 방식이 중요한지를 확인하기 위해, 그들은 두 가지 구별된 프롬프트(prompting) 방식을 사용했습니다. 한 가지 방법에서는 컴퓨터에게 중환자실의 전문 임상의 역할을 수행하며 텍스트를 번역하라고 지시했습니다. 다른 한 방법에서는 역할이나 맥락을 부여하지 않고 단순히 단어를 번역하라는 훨씬 단순하고 직설적인 지시를 내렸습니다. 목표는 기계를 의사로 설정하는 것이 단순한 단어 교체 도구로 취급하는 것보다 더 나은 의료 번역을 이끌어내는지 확인하는 것이었습니다.

번역의 품질을 판단하기 위해 연구진은 각기 다른 관점에서 텍스트를 살펴보는 세 가지 접근 방식을 사용했습니다. 첫째, 연구진은 번역된 내용이 원문과 얼마나 일치하는지 단어와 구절의 수를 세는 방식인 자동화된 컴퓨터 지표를 사용했습니다. 이러한 도구들은 빠르고 수천 개의 문서를 처리할 수 있지만, 주로 표면적인 유사성을 파악합니다. 둘째, 연구진은 다차원 품질 지표(MQM)라고 불리는 구조화된 프레임워크를 사용했습니다. 이 방법은 번역을 의료 용어의 정확성, 환자에게 적절한 어조, 문법의 자연스러움과 같은 특정 범주로 세분화합니다. 연구진은 인공지능 시스템이 이 범주들에 따라 번역 점수를 매기도록 했습니다. 마지막으로, 가장 중요한 단계로 인간 전문가를 투입했습니다. 영어와 스페인어에 모두 능통한 두 명의 이중 언어 구사 의사가 무작위로 선정된 번역본들을 검토했습니다. 이들은 고품질의 안전한 번역이 갖추어야 할 표준(gold standard)으로서 동일한 구조적 범주를 사용하여 문서를 평가했습니다.

결과는 컴퓨터가 생각하는 '좋은 번역'과 인간 의사가 생각하는 '좋은 번역' 사이에 놀라운 괴리가 있음을 보여주었습니다. 원문의 단어 중복을 계산하는 자동화된 지표들은 일관되게 단순하고 직설적인 프롬프트에 의해 생성된 번역을 선호했습니다. 컴퓨터에게 단순히 단어 대 단어로 번역하도록 명령했을 때 자동화된 점수가 더 높게 나타났으며, 이는 출력물이 원래의 영어 텍텍스트에 더 가깝다는 것을 시사했습니다. 그러나 연구진이 구조화된 품질 점수와 인간의 검토를 살펴보았을 때, 다른 그림이 드러났습니다. 컴퓨터에게 의료 전문가 역할을 맡긴 '임상의' 프롬프트로 생성된 번역은, 비록 자동화된 단어 계산 도구에서는 낮은 점수를 받았을지라도 스타일과 어조 측면에서 종종 더 우수한 성능을 보였습니다. 이는 과거에 번역의 성공을 측정하기 위해 사용되었던 도구들이 병원 환경에서 가장 중요한 미묘한 차이를 포착하지 못하고 있을 수도 있음을 시사합니다.

연구진이 인공지능 판독가가 준 점수와 인간 의사가 준 점수를 비교했을 때, 그 일치도는 놀라울 정도로 낮았습니다. 컴퓨터와 인간 전문가는 번역이 정확한지 또는 의료 용어가 올바른지에 대해 자주 의견이 엇갈렸습니다. 기계와 인간 사이의 가장 높은 일치도는 규칙이 명확하고 객관적인 서식이나 지역적 관례와 같은 영역에서 발견되었습니다. 그러나 의료적 의미의 정확성이나 환자에게 적절한 언어 사용과 같이 가장 중요한 영역에서는 기계와 인간이 서로 다르게 인식하는 경우가 빈번했습니다. 심지어 두 명의 인간 의사조차 서로 의견이 일치하지 않는 경우가 있었는데, 이는 의료 번역을 판단하는 과정에 자동화하기 어려운 인간적 해석의 영역이 포함되어 있음을 강조합니다. 이 연구는 인공지능 모델이 일반적으로 높은 품질의 번역을 생성하지만, 가장 어려움을 겪는 부분은 바로 깊은 임상적 맥락에 대한 이해가 필요한 영역임을 밝혀냈습니다.

연구진은 번역된 의료 문서의 안전성을 보장하기 위해 단 하나의 방법만으로는 충분하지 않다고 결론지었습니다. 자동화된 도구는 대량의 텍스트를 빠르게 확인하는 데 유용하며, 구조화된 채점 시스템은 평가를 체계화하는 데 도움을 주지만, 둘 다 인간 전문가의 판단을 완전히 대체할 수는 없습니다. 이 연구는 최선의 접근 방식이 '계층적' 방식이어야 한다고 제안합니다. 즉, 빠른 자동화 점검을 통해 명백한 오류를 걸러낸 뒤, 가장 중요한 텍스트 부분에 대해서는 인간 임상의의 표적 검토를 수행하는 것입니다. 이러한 결합은 인공지능의 효율성과 환자의 안전을 보호하기 위한 필수적인 인간의 감독 사이의 균형을 보장합니다. 이 연구 결과는 의료와 같이 이해관계가 걸린 환경에서, 단어를 번역하는 능력과 돌봄(care)을 전달하는 능력은 같지 않으며, 인간의 전문성이 여전히 과정의 필수적인 부분임을 상기시켜 줍니다.