Evaluating Clinical Symptom Extraction and Reasoning in Local Large Language Models: A Proof-of-Concept Study of Symptom-Specific Performance in Cardiology

병원들은 매일 환자의 통증에 대한 초기 기술부터 회복에 관한 최종 기록에 이르기까지 방대한 양의 서면 기록을 생성합니다. 이러한 정보의 상당 부분은 자유로운 형식의 문단 속에 갇혀 있어, 이를 빠르게 분류, 검색 또는 분석하기 어렵게 만듭니다. 수십 년 동안 의사와 연구자들은 이 기록들을 읽고 특정 세부 사항을 추출하기 위해 수동적인 노력에 의존해 왔으며, 이는 느리고 지루하며 인간의 오류가 발생하기 쉬운 과정이었습니다. 최근에는 대규모 언어 모델로 알려진 새로운 유형의 컴퓨터 프로그램이 잠재적인 해결책으로 등장했습니다. 이러한 시스템은 거대한 텍스트 라이브 library를 학습하여 인간의 언어를 잘 이해할 수 있으며, 의료 기록을 읽고 환자가 숨 가쁨을 느꼈는지 또는 가슴 통증을 경험했는지와 같은 특정 사실을 식별할 수 있습니다. 이러한 도구들은 외부로 개인 데이터를 보내지 않고 병원 자체의 보안 컴퓨터 내에서 완전히 작동할 수 있기 때문에, 엉망인 필기 또는 타이핑된 노트를 개선된 환자 진료에 사용할 수 있는 깨끗하고 조직된 데이터로 바꿀 수 있는 유망한 방법을 제공합니다.

도쿄 대학교의 연구팀은 두 가지의 이러한 로컬 컴퓨터 프로그램이 심부전이라는 구체적이고 중대한 분야에서 이 과업을 얼마나 잘 수행할 수 있는지 테스트하기 위해 연구를 시작했습니다. 그들은 심장 이식을 평가받고 있는 진행성 심부전 환자들에게 집중했는데, 이 그룹의 증상은 복잡하고 다양합니다. 연구진은 2017년에서 2023년 사이의 실제 환자 기록 10건을 선정했습니다. 이 기록들은 일본어로 작성되었으며, 환자의 호소 내용, 의사가 검사 중에 발견한 것, 그리고 상태가 시간이 경과함에 따라 어떻게 변했는지를 포함하여 각 환자의 입원 생활 전체를 담고 있었습니다. 연구팀은 컴퓨터 프로그램에게 이 열 가지 이야기를 살펴보고 심장 박동의 느낌(palpitations), 극심한 피로감(extreme tiredness), 실신(fainting) 등 이식 목록 등록에 필요한 8가지 특정 증상의 존재 여부를 식별하도록 요청했습니다. 컴퓨터의 답변이 정확한지 확인하기 위해, 5명의 전문 심장 전문의들이 동일한 10개의 기록을 독립적으로 검토하여 각 증상에 대한 '정답(ground truth)'에 합의함으로써 기계를 측정할 신뢰할 수 있는 기준을 만들었습니다.

연구진은 요청의 문구가 결과에 어떻게 변화를 주는지 보기 위해 서로 다른 일련의 지침 하에 컴퓨터 프로그램을 테스트했습니다. 한 시나리오에서 프로그램들은 전체 의료 기록을 스캔하여 증상이 언급되었는지 확인하라는 지시를 받았습니다. 또 다른 시나리오에서는 환자의 과거 병력에서 언급되었을 수 있는 증상은 무시하고 오직 이번 특정 입원 기간 동안 발생한 것에만 집중하라는 명시적인 지시를 받았습니다. 또한, 프로그램들에게 답변을 내놓기 전에 자신의 추론 과정을 "소리 내어 생각하고(think out loud)" 설명하도록 요청하는 것이 정확도를 높이는지 테스트했습니다. 연구 결과, 두 컴퓨터 프로그램 모두 일반적으로 이 과업을 매우 잘 수행했으며, 대부분의 경우 증상의 존재 또는 부재를 정확하게 식별했습니다. 그러나 성능이 완벽하지는 않았으며, 오류는 무작위로 발생하지 않았습니다. 프로그램들은 특히 두 가지 특정 증상, 즉 심장이 두근거리거나 쿵쾅거리는 느낌인 심계 항진(palpitations)과 압도적인 피로감을 의미하는 피로성(fatigability)에서 가장 어려움을 겪었습니다.

연구진이 컴퓨터가 저지른 실수를 조사했을 때, 기계가 생각하는 방식에서 명확한 패턴을 발견했습니다. 심계 항진 증상의 경우, 프로그램들은 환자가 실제로 심장이 두근거린다고 쓰거나 말하지 않았더라도 의료 기록에 비정상적인 심장 리듬이나 빠른 심박수가 나타나면 단순히 환자가 이를 경험하고 있다고 결정하곤 했습니다. 컴퓨터는 직접적인 환자의 호소보다는 객관적인 의료 데이터로부터 증상을 추론한 것입니다. 마찬가지로, 피로성의 경우, 프로그램들은 환자가 심부전(피로를 유발하는 것으로 알려진 질환)을 앓고 있다는 이유로 환자가 피로를 느낀다고 결론 내리는 경우가 많았는데, 이는 특정 기록에 피로에 대한 언급이 전혀 없음에도 그러했습니다. 컴퓨터는 텍스트에 엄격히 머무르는 대신 의료적 논리로 빈틈을 채운 것입니다. 이러한 경향은 매우 강력하여, 어떤 경우에는 컴퓨터가 환자가 부정맥이 있다는 것을 정확히 식별하면서도 여전히 환자가 심계 항진을 느낀다고 잘못 주장한 반면, 동일한 의료적 소견이 있는 다른 사례에서는 환자가 이를 느끼지 않는다고 정확히 말하는 등 추론의 일관성이 없는 모습을 보이기도 했습니다.

연구는 또한 지침의 문구가 구성되는 방식이 상당히 중요하다는 것을 보여주었습니다. 연구진이 한 프로그램에게 과거 병력을 무시하고 현재의 입원 기간에만 집중하라고 지시했을 때, 그 프로그램은 증상을 찾는 데 훨씬 더 주의를 기울였지만, 실제로 존재하는 많은 증상을 놓치기도 했습니다. 프로그램은 현재의 맥락에 명시적으로 적혀 있지 않은 것은 무시하는 데 너무 엄격해진 나머지, 환자의 현재 상태의 명백한 일부인 증상들까지 포착하지 못했습니다. 이는 이러한 컴퓨터 프로그램들이 강력한 도구이기는 하지만, 인간처럼 단어를 단순히 읽는 것이 아니라, 학습된 의료적 연관성과 패턴을 바탕으로 텍스트를 해석한다는 것을 시사합니다. 이들은 어떤 사실에 기반하여 증상이 존재한다고 추론할 수 있는데, 이는 도움이 될 수도 있지만 잘못된 추론으로 이어져 오류를 낳기도 합니다. 연구진은 이러한 발견이 적은 수의 사례를 바탕으로 하고 있으며, 프로그램들이 주어진 특정 지침에 따라 다르게 행동했다는 점을 언급하며, 이는 기술이 여전히 진화 중임을 나타낸다고 밝혔습니다.

궁극적으로, 이 연구는 로컬 컴퓨터 프로그램이 의료 정보 추출을 자동화할 수는 있지만, 아직 인간 독자의 신중한 판단을 대체하지는 못한다는 것을 보여줍니다. 기계는 의료 기록의 맥락을 이해할 수 있지만, 때때로 질병이 작동하는 방식에 대한 지식이 실제 페이지에 적힌 내용을 압도하게 만듭니다. 이러한 도구들이 병원 환경에서 진정으로 유용해지기 위해서는, 개발자들이 프로그램이 진단을 위해 어떻게 추론하는지 정확히 이해하고, 의료적 가정보다는 명시적인 환자의 호소에 의존하도록 어떻게 유도할 수 있는지 알아내야 할 것입니다. 이 연구는 이러한 시스템이 병원의 보안 네트워크 내에서 작동할 수 있고 복잡한 의료 텍스트를 처리할 수 있음을 보여주는 개념 증명(proof of concept) 역할을 하는 동시에, 자동화된 증상 추출이 정확하고 신뢰할 수 있도록 하기 위해 세심한 감독이 필요하다는 점을 강조합니다.