Evaluating LLMs for HIV Epidemiological Surveillance in Spanish: Clinical Summarization, Risk Factor Extraction, and Inference Stability across Models

분주하고 압박감이 심한 병원 응급실 환경에서 의사들은 끊임없이 시간과 사투를 벌입니다. 그들은 파편화된 기록, 흩어진 검사 결과, 그리고 서둘러 적은 관찰 기록들을 모아 환자의 이야기를 재구성하여 생명을 구하는 결정을 내려야 합니다. 면역 체계를 약화시키는 바이러스인 HIV 환자들에게 이 과정은 특히나 중요합니다. 보호되지 않은 성관계, 주사기 공동 사용, 또는 특정 증상과 같은 위험 요인을 조기에 식별하는 것은 바이러스의 확산을 막는 검사와 치료로 이어질 수 있기 때문입니다. 하지만 의사가 하루에 수십 명의 환자를 돌보느라 과부하 상태에 빠지면, 결정적인 세부 사항들이 쉽게 누락될 수 있습니다. 의료 기록에 존재하는 방대한 양의 비정형 텍스트는 모든 관련 단서를 수동으로 추출하는 것을 어렵게 만들며, 이는 진단을 지연시키고 질병이 소리 없이 계속 퍼지게 만드는 병목 현상을 초ys룹니다.

이를 해결하기 위해 연구자들은 대규모 언어 모델(LLM)로 알려진 고급 컴퓨터 프로그램의 활용을 탐색하고 있습니다. 이들은 방대한 양의 텍스트를 학습하여 인간의 언어를 읽고, 이해하며, 요약할 수 있는 인공지능 시스템입니다. 이 도구들이 수천 개의 의료 기록을 빠르게 스캔하여 핵심 세부 사항을 강조하고 환자의 병력을 요약함으로써, 마치 '제2의 눈'과 같은 역할을 할 수 있다는 아이디어입니다. 그러나 이 기술이 실제 병원에서 작동하려면 믿을 수 없을 만큼 신뢰할 수 있어야 합니다. 사실을 지어내거나, 중요한 정보를 누락하거나, 예측 불가능하게 행동해서는 안 됩니다. 더욱이, 이 도구들이 종종 스페인어권 국가에서 테스트되고 있기 때문에, 단순히 영어가 아니라 스페인어 임상 기록의 특정한 의학 용어와 문화적 뉘앙스를 이해해야 합니다.

스페인의 한 연구팀은 최근 이 아이디어를 실제로 시험해 보았습니다. 그들은 이 인공지능 프로그램들이 새로운 데이터로 먼저 재학습하지 않고도, 스페인어 텍스트로부터 응급실 기록을 정확하게 요약하고 특정 HIV 위험 요인을 추출해 낼 수 있는지 확인하고자 했습니다. 그들은 대학 병원에서 익명화된 100개의 환자 기록을 수집했는데, 여기에는 나중에 HIV 양성으로 판명된 사람들과 그렇지 않은 사람들이 섞여 있었습니다. 기록의 길이는 매우 다양했고 복잡성 또한 달랐는데, 이는 일상적인 응급 의료의 무질서한 현실을 반영합니다. 연구진은 이 기록들을 강력한 클라우드 기반 시스템부터 병원의 자체 보안 서버에서 실행할 수 있는 오픈 소스 프로그램에 이르기까지 11가지의 서로 다른 AI 모델에 입력했습니다. 그들은 모델들에게 두 가지 작업을 수행하도록 요청했습니다: 환자의 방문 내용을 짧고 명확하게 요약하는 것, 그리고 특정 위험 요인이 텍스트에 존재하는지, 부재하는지, 혹은 단순히 언급되지 않았는지를 식별하는 것입니다.

결과에 따르면 요약 작업에서 명확한 승자가 나타났습니다. 구글의 클라우드 기반 시스템 중 하나는 오픈 소스 대안보다 훨씬 더 정확하고 완전한 요약을 생성했습니다. 의사들이 이 요약본들을 검토했을 때, 클라우드 기반 모델이 훨씬 적은 실수를 범한다는 것을 발견했습니다. 이 모델은 존재하지 않는 사실을 거의 지어내지 않았으며, 중요한 세부 사항을 놓치는 경우도 훨씬 적었습니다. 오픈 소스 모델은 능력이 있긴 했지만, 대기 중인 검사 결과나 과거 병력과 같은 결정적인 정보를 자주 누락했는데, 이는 의사가 요약본에만 의존할 경우 위험할 수 있습니다. 또한 연구진은 AI가 인간 의사만큼 잘 요약의 품질을 판단할 수 있는지 테스트했습니다. 그 결과, AI 판독기는 지어낸 사실이나 명백한 오류를 찾아내는 데는 매우 뛰어났지만, 무엇이 누락된 세부 사항인지에 대해서는 인간 의사의 의견과 일치하는 데 어려움을 겪었습니다. 이는 AI가 나쁜 요약본을 걸러내는 데 도움을 줄 수는 있지만, 미묘한 누락을 잡아내기 위해서는 여전히 인간의 감독이 필수적임을 시사합니다.

위험 요인을 추출하는 문제에 있어서, 모델의 성능은 결과가 얼마나 엄격하게 측정되느냐에 따라 크게 달라졌습니다. 연구진은 모델이 매번 동일한 답변을 내놓는지 확인하기 위해 동일한 기록에 대해 각 모델을 다섯 번씩 실행했습니다. 그들은 모델들이 약물 사용이나 성적 이력과 같이 환자가 직접 언급하는 사회적 위험 요인을 식별하는 데 일반적으로 더 뛰어나다는 것을 발견했습니다. 그러나 특정 증상이나 과거 감염과 같이 긴 의료 기록의 여러 부분에서 흩어진 단서들을 조합해야 하는 임상적 위험 요인을 식별할 때는 일관성이 떨어졌습니다. 모델들이 최대한 일관성을 유지하도록 설정되었음에도 불구하고, 반복 실행 시 때때로 다른 답변을 내놓기도 했습니다. 이러한 불안정성은 단일 테스트에서는 훌륭해 보였던 모델이 실제 업무 흐름 속의 연속적인 환경에서는 다르게 작동할 수 있음을 의미합니다.

연구는 이러한 AI 도구들이 스페인어권 응급실의 업무량을 관리하는 데 큰 가능성을 보여주지만, 아직 완벽하지는 않다고 결론지었습니다. 가장 우수한 모델들은 의사들이 요약을 작성하는 시간을 크게 줄여줄 수 있고, 놓칠 수 있는 위험 요인을 드러내는 데 도움을 줄 수 있습니다. 그러나 연구진은 이 기술을 주의해서 사용해야 한다고 강조했습니다. 가장 흔한 오류는 무언가를 지어내는 것이 아니라, 중요한 정보를 누락하는 것이었습니다. 진단 누락을 방지하기 위해 설계된 시스템에서, 세부 사항을 빠뜨리는 것은 정보를 지어내는 것만큼이나 위험합니다. 이 연구 결과는 가장 효과적인 접근 방식이 하이브리드 방식임을 시사합니다. 즉, AI가 읽기와 요약이라는 힘든 작업을 처리하게 하되, 인간 의사가 결과물을 검증하고 중요한 퍼즐 조각이 하나라도 사라지지 않도록 확인하는 과정을 유지하는 것입니다. 이러한 균형은 응급실이 더 많은 HIV 사례를 조기에 발견하도록 도와, 이 문제가 지속적인 과제로 남아 있는 지역 사회에서 바이러스의 확산을 늦추고 생명을 구하는 데 기여할 수 있을 것입니다.