Extracting patient reported cannabis use and reasons for use from electronic health records: a benchmarking study of large language models

이 연구는 자가면역 류마티스 질환 환자의 전자의무기록에서 대마초 사용 여부 및 사용 이유를 추출하기 위해 다양한 대규모 언어 모델 (LLM) 과 파인튜닝된 임상 모델을 비교 평가한 벤치마크 연구로, 파인튜닝된 GatorTron 모델이 사용 상태 분류에서 가장 높은 성능을 보였음을 입증했습니다.

핵심

🏥 배경: 거대한 도서관과 숨겨진 편지

상상해 보세요. 병원에는 수백만 장의 진료 기록 (전자의무기록) 이 쌓여 있는 거대한 도서관이 있습니다. 의사들은 환자가 "대마초를 써요", "통증 때문에 먹어요"라고 말하면, 이를 손으로 쓴 메모나 컴퓨터에 타이핑한 문장 형태로 기록합니다.

하지만 이 기록들은 정리되지 않은 산더미 같은 책들 속에 숨겨져 있습니다. 연구자들은 이 도서관에서 "누가 대마초를 쓰는지", "왜 쓰는지"를 찾아내려 했지만, 사람이 일일이 모든 책을 읽는 건 불가능에 가까웠습니다. 그래서 그들은 **초지능 AI (LLM)**를 고용해 이 미션을 수행하게 했습니다.

🕵️‍♂️ 미션 1: "대마초를 쓰나요?" (사용 여부 파악)

첫 번째 임무는 **"이 환자가 대마초를 쓰고 있는가?"**를 판단하는 것입니다.

• 비유: 도서관 사서가 책장 사이사이를 훑어보며 "대마초"라는 단어가 나오면, 그 문맥을 파악해 "아, 이 사람은 지금 쓰고 있구나", "아니면 과거에 썼구나", "아예 안 쓴다고 부정했구나"로 분류하는 일입니다.
• 결과: 연구팀은 여러 종류의 AI 를 시험해 봤습니다.
  • 일반적인 거대 AI: 지능은 높지만, 이 특정 임무에서는 때때로 헷갈리거나 너무 느렸습니다.
  • 전문가 훈련된 AI (GatorTron): 이 AI 는 의대생처럼 의학적 문맥을 미리 공부 (Fine-tuning) 시켰습니다. 그 결과, "대마초 사용 여부"를 판단하는 데는 이 전문가 훈련된 AI 가 가장 빠르고 정확하게 (90% 이상) 작동했습니다. 마치 숙련된 사서가 책장 한 구석의 작은 메모도 놓치지 않는 것과 같습니다.

🧠 미션 2: "왜 쓰나요?" (사용 이유 파악)

두 번째 임무는 더 어렵습니다. "통증 때문인가요? 잠을 잘 자려고요? 아니면 식욕을 돋우려고요?" 같은 이유를 찾아내는 것입니다.

• 비유: 이제 사서는 단순히 '대마초'라는 단어를 찾는 게 아니라, 환자의 감정과 상황을 읽어야 합니다. "배가 아파서 먹었다"는 말과 "통증이 심해서 먹었다"는 말의 뉘앙스를 구분해야 합니다.
• 결과: 이 임무에서는 **일반적인 거대 AI (GPT-OSS 등)**가 더 잘해냈습니다. 왜일까요? 이유는 문맥 이해 능력 때문입니다. 환자의 복잡한 감정과 상황을 종합적으로 이해하는 데는 거대하고 유연한 AI 가 더 유리했습니다. 마치 뛰어난 소설가가 등장인물의 심리를 깊이 있게 파악하는 것과 같습니다.

📈 발견한 이야기: 10 년간의 변화

이 AI 들을 이용해 2015 년부터 2024 년까지의 기록을 분석한 결과, 흥미로운 이야기들이 나왔습니다.

1. 점점 늘어나는 사용: 대마초를 사용한다고 기록된 환자가 10 년 전보다 두 배 가까이 늘어났습니다.
2. 통증이 주된 이유: 환자들이 대마초를 쓰는 가장 큰 이유는 **'통증'**이었습니다. 하지만 최근에는 **'잠'**을 잘 자기 위해 쓰는 경우도 급격히 늘고 있습니다.
3. 통증의 역설: 재미있는 점은, 대마초를 쓰는 환자들이 쓰지 않는 환자보다 통증 점수가 더 높았다는 것입니다. (이는 대마초가 통증을 완전히 해결하지 못했거나, 통증이 심해서 어쩔 수 없이 사용한다는 것을 의미합니다.)

💡 결론: 어떤 도구를 쓸 것인가?

이 연구의 핵심 교훈은 **"하나의 AI 가 모든 일을 다 잘하는 것은 아니다"**입니다.

• 단순한 분류 (사용 여부): 작지만 전문적으로 훈련된 AI 가 더 효율적이고 정확합니다. (비유: 정해진 규칙대로 일하는 숙련된 공장 노동자)
• 복잡한 이해 (사용 이유): 크고 유연한 AI 가 더 좋습니다. (비유: 상황과 맥락을 파악하는 창의적인 작가)

🌟 요약

이 논문은 **"병원 기록이라는 거대한 도서관에서 AI 를 활용해 환자 정보를 찾아내는 새로운 방법론"**을 제시합니다. 단순히 기술을 비교하는 것을 넘어, 어떤 상황에는 어떤 AI 가 가장 적합한지를 알려주어, 앞으로 의료 현장에서 AI 를 더 똑똑하고 효율적으로 사용할 수 있는 길을 닦아주었습니다.

이제 의사와 연구자들은 이 AI 도구를 통해 환자들 스스로가 어떻게 통증을 관리하고 있는지, 어떤 이유로 대마초를 찾는지 더 넓고 깊게 이해할 수 있게 되었습니다.

기술 요약

논문 개요

이 연구는 자가면역 류마티스 질환 (ARDs) 을 가진 환자의 전자의무기록 (EHR) 비정형 임상 노트에서 대규모 언어 모델 (LLM) 을 활용하여 대마초 사용 여부 및 사용 이유를 추출하고 평가하는 방법을 제시합니다. 연구의 핵심 목표는 기존 규칙 기반 NLP 의 한계를 극복하고, 확장 가능하고 재현 가능한 자연어 처리 (NLP) 파이프라인을 개발하여 임상 연구 및 환자 관리에 활용하는 것입니다.

1. 연구 배경 및 문제 정의 (Problem)

• 임상적 필요성: 자가면역 류마티스 질환 (ARDs) 환자는 만성 통증으로 고통받으며, 대마초가 통증 관리의 보조 요법으로 점점 더 많이 사용되고 있습니다.
• 데이터 접근성 문제: EHR 내 대마초 사용 관련 정보는 대부분 비정형 텍스트 (임상 노트) 에 산재해 있어 대규모 분석이 어렵습니다.
• 기존 방법의 한계: 기존 규칙 기반 (Lexicon-driven) 또는 수동 규칙 작성 NLP 는 유지보수가 어렵고 다양한 임상 문서화 관행에 적용하기 어렵습니다.
• LLM 의 미해결 과제: LLM 의 임상 정보 추출 성능, 특히 일반 도메인 모델과 임상 도메인 특화 모델 간의 성능 차이, 프롬프트 전략 및 디코딩 온도 (Temperature) 설정이 성능에 미치는 영향에 대한 체계적인 벤치마킹이 부족했습니다.

2. 방법론 (Methodology)

데이터 수집 및 전처리

• 데이터 소스: 2015 년부터 2024 년까지의 스탠포드 대학 병원 EHR 데이터 (자가면역 류마티스 질환 환자).
• 후보 문장 추출: 대마초 관련 키워드 사전 (Lexicon) 을 기반으로 퍼지 문자열 매칭 (Fuzzy string matching, 유사도 90% 이상) 을 수행하여 50 단어 컨텍스트 윈도우 (±25 단어) 를 추출했습니다. 총 43,689 개의 문단 (Snippet) 이 생성되었습니다.
• 데이터 분할: 학습 (791 개), 검증/테스트 (40 개), 대규모 적용 (42,858 개) 으로 분할하여 정보 누수를 방지했습니다.

수동 주석 (Annotation)

• 사용 여부 분류 (Status): 831 개 문단을 4 가지 클래스 (1. 대마초 언급 아님/불확실, 2. 사용 거부, 3. 과거 사용, 4. 현재 사용) 로 분류.
• 사용 이유 분류 (Reason): 1,027 개 문단을 6 가지 클래스 (통증, 메스꺼움, 수면, 불안/스트레스/기분, 식욕, 미기재/불명) 로 분류.

모델 평가 및 벤치마킹

• 평가 대상 모델:
  • 일반 도메인 모델: Gemini-2.0, LLaMA-3.1, GPT-OSS-20B
  • 임상 도메인 모델: MedGemma-4B, GatorTron (345M 파라미터)
• 전략: 제로샷 (Zero-shot) 부터 퓨샷 (Few-shot) 까지 다양한 프롬프트 전략과 온도 (0.0~1.0) 를 조정하여 성능을 평가했습니다.
• 파인튜닝 (Fine-tuning): GatorTron 모델을 수동 주석 데이터로 파인튜닝하여 지도 학습 기반 분류기로 활용했습니다.

3. 주요 결과 (Results)

성능 비교

• 사용 여부 분류 (Status Classification):
  • 최고 성능 모델: 파인튜닝된 GatorTron이 가장 높은 성능을 보였습니다 (정확도 0.90, F1 0.91, 재현율 0.90, 정밀도 0.90).
  • 생성형 LLM: GPT-OSS-20B 가 생성형 모델 중 가장 우수했으나, 파인튜닝된 GatorTron 에는 미치지 못했습니다.
  • 온도 영향: 낮은 온도 (0.0~0.3) 에서 재현성과 분류 안정성이 가장 높았습니다.
• 사용 이유 분류 (Reason Classification):
  • 최고 성능 모델: GPT-OSS-20B가 가장 높은 성능을 보였습니다 (정확도 0.77, F1 0.77).
  • 이유: 사용 이유는 문맥적 이해와 추론이 필요하여 생성형 LLM 의 장점이 더 잘 발휘된 것으로 판단됩니다.
  • GatorTron 성능: 파인튜닝된 GatorTron 은 이 작업에서 상대적으로 낮은 성능 (F1 0.55) 을 보였습니다.

임상적 통찰 (Population-level Insights)

• 추세: 2015 년 (7.4%) 에서 2024 년 (13.0%) 까지 대마초 사용 보고율이 꾸준히 증가했습니다.
• 질환별 차이: 류마티스 관절염 (RA) 환자가 가장 높은 사용률을 보였으며, 강직성 척추염 (AS) 환자가 가장 낮았습니다.
• 사용 이유: 통증 (Pain) 이 가장 주된 이유였으며, 2022 년 이후 수면 관련 사용이 두 번째로 흔한 이유로 부상했습니다.
• 통증 점수: 2023 년 이전에는 대마초 사용자의 통증 점수가 비사용자보다 높았으나, 2023 년 이후 역전되는 경향을 보였습니다.

4. 주요 기여 (Key Contributions)

1. LLM 벤치마킹 프레임워크: 임상 노트에서 물질 사용 정보를 추출하기 위해 일반 모델과 임상 특화 모델, 그리고 다양한 프롬프트/파인튜닝 전략을 체계적으로 비교한 최초의 연구 중 하나입니다.
2. 작업 종속적 (Task-dependent) 인사이트:
   • 구조화된 분류 작업 (사용 여부) 에는 **작은 크기의 파인튜닝된 임상 모델 (GatorTron)**이 효율성과 성능 면에서 우월함을 입증했습니다.
   • 복잡한 문맥 추론 작업 (사용 이유) 에는 **대규모 생성형 LLM (GPT-OSS-20B)**이 더 유리함을 보여주었습니다.
3. 확장 가능한 파이프라인: 비정형 EHR 데이터에서 환자 보고 증상을 대규모로 추출하여 인구학적 추세를 분석할 수 있는 실용적인 프레임워크를 제시했습니다.
4. 실증적 데이터: 10 년 간의 임상 데이터를 기반으로 한 대마초 사용의 실제 임상적 패턴과 변화 추세를 제시했습니다.

5. 의의 및 결론 (Significance)

• 임상 연구 지원: 이 연구는 LLM 을 활용하여 대규모 환자 코호트에서 약물 사용 및 증상 관리 전략을 추적하는 것을 가능하게 하여, 관찰 연구 및 임상 의사결정 지원 시스템 개발에 기여합니다.
• 모델 선택 가이드: 모든 LLM 이 만능이 아니며, 작업의 복잡성과 구조에 따라 최적의 모델을 선택해야 함을 강조합니다. 계산 비용과 성능 간의 균형을 고려한 전략적 배포가 필요합니다.
• 한계 및 향후 과제: 단일 의료 시스템 데이터 기반이므로 외부 검증이 필요하며, 임상 기록의 표준화 부재와 클래스 불균형 문제가 성능에 영향을 줄 수 있음을 인정했습니다.

이 논문은 임상 NLP 분야에서 LLM 의 역할을 재정의하고, 구체적인 임상 문제 해결을 위한 데이터 기반 접근법의 중요성을 강조한다는 점에서 중요한 의의를 가집니다.