Can Large Language Models Diagnose Primary Immunodeficiency from Patient-Described Symptoms?

수백만 명의 사람들에게 의학적 진단으로 가는 길은 직선이 아니라 길고 혼란스러운 여정입니다. 이는 특히 증상이 모호하거나 흔하며, 다른 것으로 오해받기 쉬운 희귀 질환을 가진 이들에게 더욱 그렇습니다. 최근 몇 년 동안, 많은 이들이 새로운 종류의 조력자인 거대 언어 모델(LLM)로 눈을 돌렸습니다. 이들은 방대한 양의 텍스트를 학습하여 대화를 나누고 건강에 관한 질문에 답할 수 있는 고급 컴퓨터 프로그램입니다. 이들은 전문가를 만나기 전, 자신의 몸 상태를 이해하려고 노력하는 사람들에게 필수적인 자원이 되었습니다. 그러나 한 가지 결정적인 질문이 남아 있습니다. 환자가 직접 문제를 설명할 때, 이 디지털 도구들이 진정으로 환자를 이해할 수 있는가 하는 점입니다. 그 답은 누가 말하느냐에 따라 크게 달라집니다. 의사가 정확한 의학 용어를 사용하여 사례를 요약할 때 컴퓨터는 완벽하게 이해합니다. 하지만 일반인이 자신의 통증, 피로 또는 반복되는 감염을 일상적인 언어로 설명할 때, 컴퓨터는 종종 길을 잃습니다.

연구팀은 전문가의 언어와 환자의 언어 사이의 이러한 격차를 테스트하기 위해 일차성 면역결핍증(primary immunodeficiencies)이라 불리는 희귀 질환 그룹에 초점을 맞추어 연구를 수행했습니다. 이는 신체의 자연 방어 체계가 세균과 싸우는 역할을 제대로 하지 못하거나 결여된 상태를 의미합니다. 이러한 질환을 가진 사람들은 매우 자주 병에 걸리며, 때로는 입원이 필요한 심각한 감염을 겪기도 하고, 자가면역 질환과 같은 다른 합병증의 위험도 높습니다. 이러한 질환은 드물고 복잡하기 때문에 환자들은 종면 정확한 진단을 받기까지 수년을 기다리기도 하는데, 이러한 지연은 위험하고 정서적으로도 소모적일 수 있습니다. 이 대기 기간 동안 많은 이들이 답변을 찾기 위해 챗봇을 활용합니다. 연구진은 이 챗봇들이 의사의 설명이 아닌 환자의 직접적인 설명으로부터 면역 체계의 이상 징격을 포착할 수 있는지 알고 싶었습니다.

이를 확인하기 위해 연구진은 이미 일차성 면역결핍증 진단을 받은 21명의 성인으로부터 이야기를 수집했습니다. 이들은 모두 진단을 받기까지 오랜 지연을 경험한 이들이었습니다. 연구팀은 이들에게 무언가 잘못되었다고 느끼게 만든 최초의 증상들을 설명해 달라고 요청했습니다. 연구진은 환자들이 말한 그대로의, 즉 모든 망설임, 반복, 그리고 일상적인 단어들이 포함된 가공되지 않은 원본 설명을 수집하여 강력한 거대 언어 모델에 입력했습니다. 연구진은 컴퓨터가 최종 진단명에 의존하지 않고 오직 증상에만 의존하도록 진단명을 언급한 부분을 모두 제거했습니다. 목표는 간단했습니다. 컴퓨터가 환자에게 일차성 면역결핍증이 있을 수 있다고 제안하거나, 적어도 그들의 면역 체계가 문제라는 것을 인식할 것인가 하는 것이었습니다.

결과는 전문가의 입력값과 환자의 입력값 사이에서 컴퓨터가 어떻게 다르게 작동하는지를 극명하게 보여주었습니다. 동일한 컴퓨터 모델을 사용한 이전 연구에서 의사들이 전문적인 의학 용어를 사용하여 환자의 병력을 작성했을 때, 컴퓨터는 96%의 사례에서 해당 질환을 정확히 식and별했습니다. 거의 완벽했습니다. 그러나 연구진이 환자 자신의 언어를 사용했을 때, 컴퓨터의 성능은 급격히 떨어졌습니다. 컴퓨터는 21개 사례 중 7개 사례, 즉 약 3분의 1의 경우에만 일차성 면역결핍증을 정확히 식별했습니다. 환자들은 정확히 같은 질병을 설명하고 있었음에도 불구하고, 컴퓨터는 대다수의 사례에서 구체적인 질환명을 찾아내는 데 실패했습니다.

구체적인 진단명을 놓쳤음에도 불구하고, 컴퓨터가 전혀 도움이 되지 않았던 것은 아닙니다. 21개 사례 중 17개 사례에서 컴퓨터는 비록 특정 희귀 질환의 이름은 대지 못했지만, 환자가 일반적인 면역 체계 문제를 겪고 있을 가능성을 시사했습니다. 이는 이 도구가 여전히 유용한 신호로서 역할을 할 수 있음을 시사한다는 점에서 중요한 발견입니다. 자신의 증상이 그저 스트레스나 알레르기 때문이라고 여러 의사로부터 들어온 환자에게, 컴퓨터가 "면역 체계 문제"를 제안하는 것은 전문의를 찾아가도록 독려하는 계기가 될 수 있습니다. 그러나 연구는 또한 컴퓨터가 다른 더 흔한 질환들을 추측하는 경우가 많다는 점을 보여주었습니다. 컴퓨터는 자주 알레르기, 공기 질과 같은 환경적 요인, 또는 갑상선 문제와 같은 내분비계 문제를 제안했습니다. 이것들은 의사들이 가장 먼저 고려하는 것들이지만, 실제로는 희귀 면역 질환을 가진 사람들에게는 막다른 골목이 될 수 있는 것들입니다.

연구진은 환자의 이야기에 세 가지 특정 단서가 포함되었을 때 컴퓨터가 진단을 맞출 확률이 가장 높다는 것을 발견했습니다. 그것은 바로 어린 시절부터 시작된 감염, 입원이 필요했던 매우 심각한 감염, 또는 감염이 아닌 성장 부진이나 소화기 문제와 같은 증상들입니다. 환자들이 이러한 명확하고 전형적인 방식으로 어려움을 설명했을 때, 컴퓨터는 점들을 연결할 확률이 더 높았습니다. 하지만 설명이 더 미묘하거나 단순히 몸이 좋지 않다는 일반적인 느낌에 집중될 때, 컴퓨터는 어려움을 겪었습니다. 이는 근본적인 약점을 드러냅니다. 즉, 이 도구는 이야기가 전달되는 방식에 매우 민감하다는 것입니다. 이 도구는 의학의 구조적이고 정밀한 언어에는 잘 반응하지만, 사람들이 건강에 대해 실제로 말하는 무질서하고 감정적이며 다양한 방식에는 취약합니다.

연구 저자들은 이것이 현재 사용되는 도구들의 안전성이나 유용성에 대한 최종 판결이 아니라, 오히려 현재 어떻게 사용되고 있는지에 대한 경고임을 명시했습니다. 그들은 자신들의 테스트가 최선의 시나리오였다는 점을 지적합니다. 인터뷰에 참여한 환자들은 이미 자신의 진단명을 알고 있었으며, 질병의 초기 단계보다 증상을 더 명확하게 기억하고 있었을 수도 있기 때문입니다. 만약 컴퓨터가 이렇게 명확한 회고적 설명에서도 이토록 낮은 성능을 보인다면, 무엇이 문제인지 확신하지 못하는 진단 전의 환자들을 대상으로 할 때는 훨씬 더 낮은 성능을 보일 수 있습니다. 나아가, 이 연구는 컴퓨터가 건강한 사람들에게 얼마나 자주 가짜 경보를 울리는지에 대해서는 테스트하지 않았으며, 이는 주요한 우려 사항입니다. 만약 이 도구가 너무 많은 건강한 사람들을 면역 문제가 있는 것으로 분류한다면, 의료진에게 과부하를 주고 정말로 치료가 필요한 사람들의 진료를 지연시킬 수 있습니다.

궁극적으로, 이 연구는 현대 의학의 커지는 과제를 강조합니다. 점점 더 많은 사람이 건강 안내를 위해 인공지능에 의존함에 따라, 기술이 할 수 있는 것과 사람들이 실제로 사용하는 방식 사이의 간극은 안전 문제로 직결됩니다. 컴퓨터가 고장 난 것이 아닙니다. 단지 전문가의 언어를 이해하도록 훈련되었을 뿐, 환자의 언어를 이해하지 못할 뿐입니다. 진단의 긴 여정을 헤매고 있는 수백만 명의 사람들에게, 이 도구들의 약속은 그것이 단순한 추측이 아니라 필요한 케어로 향하는 신뢰할 수 있는 가이드가 되어, 의료 차트가 아닌 방 안에 있는 사람의 목소리에 귀를 기울일 수 있게 될 때까지는 아직 실현되지 않은 채로 남아 있습니다. 앞으로 나아갈 길은 이 간극을 메울 수 있는 시스템을 구축하여, 환자가 자신의 고통을 자신의 언어로 설명할 때 그들이 얻는 답이 단순한 추측이 아니라 신뢰할 수 있는 안내가 되도록 보장하는 것입니다.