당신이 미스터리를 풀려고 노력 중이라고 상상해 보세요. 하지만 단서들은 서로 다른 탐정들이 수년의 간격을 두고 작성한 수백 권의 서로 다른 노트에 흩어져 있습니다. 어떤 단서는 명확하고, 어떤 것은 지저분한 페이지 중간에 숨겨져 있으며, 어떤 질문은 기록에 답이 없기 때문에 단순히 대답할 수 없는 상태입니다. 이것이 복잡하고 장기적인 건강 이력을 가진 환자를 치료하는 의사들이 마주하는 일상적인 현실입니다. 그들은 오늘날의 증상을 이해하기 위해 5년 전 병원 방문에서 무슨 일이 있었는지를 기억해야 하며, 동시에 기록이 침묵하고 있다면 "모르겠습니다"라고 말할 줄도 알아야 합니다.

여기서 거대 언어 모델(LLM)이 등장합니다. 최근 책 전체를 읽고 그 내용에 대해 질문에 답하는 것으로 유명해진 초지능형 AI 챗봇들입니다. 과학자들은 이 AI들이 의사들을 위해 똑같은 일을 할 수 있을지, 즉 환자의 인생 전체를 읽고, 수년 간격으로 떨어진 방문 사이의 점들을 연결하여 정확한 의학적 조언을 제공할 수 있을지 기대하고 있습니다. 하지만 함정이 있습니다. 오늘날 대부분의 AI 테스트는 짧고 단순한 질문을 던지는 '쪽지 시험'과 같습니다. 단 하나의 문단만을 바탕으로 한 질문이죠. 이 테스트들은 AI가 실제 삶의 긴 여정(medical marathon)을 감당할 수 있는지, 즉 답이 3년 전의 대화 속에 파묻혀 있을 때 이를 찾아낼 수 있는지, 혹은 자신이 막혔을 때 이를 인정할 줄 아는지 테스트하지 않습니다.

이 지점에서 MedLoCoMo라는 새로운 연구가 등장합니다. 연구진은 AI가 환자 케어의 복잡하고 장기적인 현실을 감당할 수 있는지 확인하기 위해 특별히 설계된 거대하고 도전적인 테스트를 구축했습니다. 그들은 단순히 AI에게 짧은 노트를 읽게 한 것이 아니라, 각 환자에 대해 수십 번의 병원 방문을 포함하는 74,000단어 분량의 소설에 해당하는 내용을 입력했습니다. 결과는 다소 냉혹한 현실을 보여주었습니다. AI 모델들은 단일 방문에 대한 질문에는 뛰어난 성능을 보였지만, 여러 방문 사이의 점들을 연결해야 할 때는 현저히 어려움을 겪었습니다. 가장 똑똑한 모델들과 특별한 의학적 훈련을 받은 모델들조차 '새로운 미스터리'를 풀기 위해 필요한 '오래된 단서'를 기억하는 데 애를 먹었습니다. 이 연구는 단순히 AI를 더 똑똑하게 만들거나 더 큰 기억력을 주는 것만으로는 부족하며, 세부 사항 속에서 길을 잃지 않고 환자의 과거와 현재를 진정으로 연결하는 법을 여전히 배워야 한다는 점을 시사합니다.

MedLoCoMo의 이야기: 의료 기억력 테스트

환자의 의료 이력을 단일한 일기가 아니라, 거대한 다시즌 TV 쇼라고 생각해보세요. 환자가 병원에 갈 때마다 새로운 "시즌"이 시작되며, 그 안에는 새로운 에피소드(의사 방문), 반전(진단), 그리고 캐릭터의 변화(변화하는 건강 상태)가 가득합니다. 현재의 에피소드를 이해하려면 시즌 1, 시즌 3, 혹은 시즌 5에서 무슨 일이 있었는지 기억해야 할 때가 많습니다.

MedLoCoMo(Medical Long-Context Memory의 약자)를 만든 연구진은 AI가 이러한 의료 TV 쇼의 궁극적인 "열혈 팬"이 될 수 있을지 알고 싶었습니다. 그들은 MIMIC-IV 데이터베이스의 실제 익명화된 데이터를 사용하여 표준화된 테스트인 벤치마크를 구축했습니다. 그들은 단순히 무작위 노트를 가져온 것이 아니라, 100개의 고유한 환자 타임라인을 정교하게 구성했습니다. 각 타임라인은 평균 1,669.8회의 대화(주고받는 대화)로 이루어진 긴 대화이며, 29.7회의 세션(병원 방문)을 가로지르고, 한 대화당 무려 74,512.2 토큰(텍스트 덩어리)을 포함합니다. 어떤 이야기들은 150,000 토큰 이상 길게 이어지기도 합니다!

세 가지 유형의 도전 과제

테스트를 공정하고 철저하게 만들기 위해, 연구진은 비디오 게임의 레벨처럼 세 가지 다른 유형의 질문을 만들었습니다.

1. "단일 시즌" 챌린지: 이 질문들은 단 한 번의 병원 방문 중에 일어난 일에 대해 묻습니다. 이는 마치 "시즌 2의 에피소드 5에서 의사가 뭐라고 말했나요?"라고 묻는 것과 같습니다. 이는 AI가 긴 문서 속에서 특정 사실을 찾아낼 수 있는지를 테스트합니다.
2. "멀티 시즌" 챌린지: 이것은 어려운 단계입니다. 서로 다른 방문 사이의 점들을 연결하도록 AI에게 요구합니다. 예를 들어, "환자가 2014년에 심장 문제가 있었고 2016년에 폐 문제가 있었다면, 이것들이 현재의 호흡 곤박과 어떻게 연관되나요?"와 같은 질문입니다. 이는 AI가 과거를 기억하고 그것을 현재와 연결할 수 있는지를 테스트합니다.
3. "함정 질문" 챌린지: 때로는 질문이 마치 답이 있을 것처럼 들리지만, 실제 의료 기록에는 해당 정보가 포함되어 있지 않을 수 있습니다. 이것들은 "적대적(adversarial)" 질문입니다. 좋은 AI라면 가짜 답을 만들어내기보다 "모르겠습니다"라고 말할 줄 알아야 합니다. 이를 "기권(abstention)"이라고 합니다.

AI가 맞힌 것 (그리고 틀린 것)

연구진은 일반 목적 모델(GPT-5.1 및 Qwen 등)과 의료 데이터에 특화된 모델(MedGemma 등)을 포함한 다양한 AI 모델을 테스트했습니다. 결과는 다음과 같았습니다:

• "로컬(Local)" 전문가: 질문이 단일 병원 방문에 관한 것이었을 때, AI는 꽤 잘 해냈습니다. 그들은 이야기의 "현재 시즌"에서 올바른 사실을 찾아낼 수 있었습니다.
• "장기적" 고전: 질문이 여러 방문에 걸친 정보를 연결해야 하는 순간, AI의 성능은 급격히 떨어졌습니다. 가장 크고 똑똑한 모델들조차 과거와 현재를 연결하는 데 어려움을 겪었습니다. 마치 AI가 현재 에피소드의 줄거리는 기억하지만, 쇼의 전체 배경 이야기는 잊어버린 것과 같았습니다.
• 전문화가 구원하지 못했다: 의료 교과서로 특별히 훈련된 모델이라면 더 나을 것이라고 생각할 수도 있습니다. 놀랍게도, 의료 특화 모델들이 일반 모델보다 일관되게 더 나은 성능을 보이진 않았습니다. 그들도 긴 타임라인 속에서 길을 잃기 일쑤였습니다.
• "모르겠습니다" 요소: 일부 모델은 기록에 답이 없을 때 "모르겠습니다"라고 말하는 데 매우 능숙했습니다. 이는 좋은 신호입니다! 하지만 연구진은 모델이 모든 질문에 "모르겠습니다"라고 답함으로써 높은 점수를 받을 수도 있다는 점에 주목했습니다. 즉, 실제로 답할 수 있는 질문에도 답하지 못할 수 있다는 것입니다. 그래서 그들은 "기권율"과 "실제 답변의 품질"을 모두 살펴보았습니다.

메모리 실험

이야기가 매우 길었기 때문에, 연구진은 AI에게 "외부 메모리"(노트처럼 쓰고 다시 볼 수 있는 것)를 제공하는 것이 도움이 될지 테스트했습니다. 그들은 단순한 검색 엔진(BM25)부터 더 복잡한 메모리 시스템까지 다양한 도구를 시도했습니다.

결과는 엇갈렸습니다. 메모리 도구들은 답이 없을 때 AI가 더 정확하게 "모르겠습니다"라고 말하도록 도와주었습니다. 하지만 이 도구들이 서로 다른 병원 방문 사이의 점들을 연결하는 문제를 마법처럼 해결해주지는 못했습니다. 더 큰 메모리나 더 나은 검색 도구를 갖는 것이 '시간을 가로지르는 추론 능력'을 갖는 것과는 다르다는 것이 드러났습니다. AI는 여전히 어떤 오래된 단서가 새로운 문제에 중요한지를 파악하는 데 어려움을 겪었습니다.

시사점

MedLoCoMo 연구는 AI가 긴 텍스트를 읽는 능력은 향에지고 있지만, 환자의 인생 이야기를 진정으로 이해하는 의사처럼 행동하기까지는 아직 갈 길이 멀다는 것을 시사합니다. 이는 단순히 더 큰 뇌나 더 긴 기억력을 갖는 문제가 아닙니다. 환자의 이력을 하나의 일관된 이야기로 엮어내는 법을 배우는 문제입니다.

연구진은 이 연구가 연구를 위한 테스트이지, 아직 실제 의료 상담을 위한 도구는 아니라는 점을 분명히 하고 있습니다. 대화와 질문들은 실제 의료 기록을 바탕으로 AI가 생성한 것이지만, 이는 합성된 데이터입니다. 목표는 과학자들이 언젠가 의사들이 복잡한 환자의 이력을 놓치지 않고 관리할 수 있도록 돕는 더 나은 시스템을 구축할 수 있도록 돕는 것입니다. 현재로서 AI는 한 챕터를 읽을 수는 있지만, 책 전체를 쓰는 법은 여전히 배워야 하는 아주 똑똑한 학생과 같습니다.