Extracting Social Determinants of Health from Electronic Health Records: Development and Comparison of Rule-Based and Large Language Model Methods

본 연구는 비구조화된 임상 기록에서 사회적 결정 요인 (SDoH) 을 추출하기 위해 규칙 기반 시스템과 최신 대규모 언어 모델 (LLM) 을 비교 평가한 결과, LLM 기반 접근법이 더 우수한 성능을 보였으며 두 방법을 결합한 앙상블 방식이 도메인 수준의 정확도를 더욱 향상시켰음을 입증했습니다.

핵심

이 논문은 **"병원 기록 속에 숨겨진 환자의 '삶의 이야기'를 찾아내는 새로운 기술"**에 대한 연구입니다.

의사들이 환자를 진료할 때 쓰는 기록 (전자의무기록, EHR) 에는 환자의 병명이나 약품 정보만 있는 게 아니라, "집이 불안정하다", "돈이 부족하다", "사회적 고립을 느낀다" 같은 중요한 사회적 정보들이 숨어 있습니다. 하지만 이 정보는 보통 정해진 칸에 체크되는 숫자나 코드가 아니라, 의사가 자유롭게 쓴 글 (문장) 속에 흩어져 있어 찾기 어렵습니다.

이 연구는 그 숨겨진 정보를 찾아내기 위해 두 가지 다른 방식을 비교하고, 더 좋은 방법을 찾아냈습니다.

---

1. 두 명의 탐정: "규칙을 따르는 로봇" vs "생각하는 AI"

연구진은 두 가지 방법을 개발해서 비교해 보았습니다.

• 방식 A: 규칙 기반 시스템 (RBS) - "엄격한 규칙을 따르는 로봇"

  • 비유: 이 로봇은 사전에 정해진 매뉴얼만 봅니다. "만약 '실직'이라는 단어가 나오면 '실업'으로 표시해라"라고 정해져 있으면 그 단어가 나올 때만 작동합니다.
  • 장점: 정해진 규칙 안에서는 매우 정확합니다 (거짓 경보가 적음).
  • 단점: 규칙에 없는 말은 전혀 못 알아챕니다. 예를 들어, "집이 없어서 노숙 중"이라고 쓰여 있어도 '실직'이라는 단어가 없으면 놓쳐버립니다. 마치 정해진 키워드만 찾는 검색 엔진처럼 작동해서, 새로운 표현이나 뉘앙스를 이해하지 못합니다.

• 방식 B: 대규모 언어 모델 (LLM) - "생각하고 추론하는 AI"

  • 비유: 이 AI 는 똑똑한 인턴 의사처럼 행동합니다. 단순히 단어를 찾는 게 아니라, 문맥을 읽고 "아, 이 환자는 식료품 구매가 어렵다는 뜻이군"이라고 추론할 수 있습니다.
  • 장점: 표현이 조금 달라도 의미를 파악해서 정보를 찾아냅니다.
  • 단점: 가끔은 너무 과하게 해석하거나, 지시사항을 잘못 이해할 수도 있습니다.

2. 실험 결과: 누가 이겼을까?

연구진은 171 명의 환자 기록을 분석해 두 방법을 시험해 보았습니다.

• 결과: **생각하는 AI (LLM)**가 규칙 로봇보다 훨씬 잘했습니다. 특히 최신 버전의 AI(예: GPT-5, o4-mini 등) 는 인간의 판단에 거의 근접하는 수준으로 정보를 찾아냈습니다.
• 재미있는 점: AI 는 "환자가 WIC(영유아 영양 지원 프로그램) 가 필요하다"는 문장을 보고, 이것이 곧 "식량 불안정"을 의미한다는 것을 상식으로 이해했습니다. 반면, 규칙 로봇은 'WIC'라는 단어가 사전에 없으면 그냥 지나쳐 버렸습니다.

3. 최고의 전략: "팀워크" (앙상블)

연구진은 두 방법을 섞어서 사용하는 팀워크 전략을 시도했습니다.

• 비유: 규칙 로봇이 "이건 확실해!"라고 말하고, AI 가 "저건 확실해!"라고 말할 때, 두 사람의 의견을 모두 합쳐서 최종 결정을 내리는 방식입니다.
• 효과: 이렇게 하면 규칙 로봇이 놓친 것도 AI 가 찾아내고, AI 가 헷갈려서 잘못 판단한 것도 규칙 로봇이 잡아내서 최고의 정확도를 달성했습니다. 특히 환자의 '주요 사회적 문제' (예: 실업, 주거 불안) 를 찾는 데는 이 팀워크가 가장 강력했습니다.

4. 왜 이 연구가 중요할까요?

• 숨겨진 보물 찾기: 병원 기록 속에 숨어 있는 환자의 사회적 고통 (돈, 집, 고립 등) 을 찾아내면, 의사는 단순히 병만 치료하는 게 아니라 환자의 삶을 종합적으로 돕는 치료를 할 수 있습니다.
• 비용 절감: 이 새로운 AI 방식은 별도의 복잡한 학습 없이도 바로 쓸 수 있어서, 병원 입장에서도 비용이 적게 들고 빠릅니다.
• 미래: 앞으로는 이 기술로 환자 데이터를 분석해, 어떤 환자가 어떤 사회적 지원이 필요한지 미리 예측하고, 더 공평한 의료 시스템을 만드는 데 쓰일 수 있습니다.

요약하자면

이 논문은 **"병원 기록 속의 숨은 사회적 문제를 찾아내기 위해, 딱딱한 규칙을 따르는 로봇보다 똑똑하게 생각하는 AI 가 더 잘하며, 둘을 합치면 더 완벽하다"**는 것을 증명했습니다. 이는 환자들을 더 잘 이해하고 돕기 위한 중요한 첫걸음입니다.

기술 요약

논문 요약: 전자의무기록 (EHR) 에서 사회결정요인 (SDoH) 추출을 위한 규칙 기반 및 대규모 언어 모델 (LLM) 방법론 개발 및 비교

1. 문제 제기 (Problem)

• SDoH 의 중요성과 기록 부재: 건강 결과와 건강 불평형에 결정적인 영향을 미치는 사회결정요인 (Social Determinants of Health, SDoH) 은 구조화된 전자의무기록 (EHR) 데이터에는 자주 기록되지 않습니다. 대신, 이러한 정보는 비구조화된 임상 노트 (진료 기록, 퇴원 요약 등) 에 산재해 있습니다.
• 기존 방법론의 한계:
  • 규칙 기반 시스템 (Rule-Based Systems, RBS): 해석 가능성과 커스터마이징이 가능하지만, 고정된 규칙에 의존하여 민감도 (Recall) 가 낮고, 다양한 표현을 포착하지 못해 성능이 제한적입니다.
  • 지도 학습 (Supervised Learning): 고품질의 주석 (Annotation) 데이터가 대량으로 필요하여 비용과 시간이 많이 소요됩니다.
  • LLM 의 미비점: 기존 연구들은 주로 오픈 가중치 모델이나 이전 버전의 LLM 을 사용했으며, 최신 고도화된 추론 (Reasoning) 능력을 갖춘 LLM 의 SDoH 추출 성능을 체계적으로 평가한 연구는 부족했습니다. 또한, 비용 효율적인 프롬프트 엔지니어링 전략과 규칙 기반 시스템과의 융합 (Ensemble) 연구도 미흡했습니다.

2. 방법론 (Methodology)

가. 데이터 및 주석 (Data & Annotation)

• 데이터 소스: Mass General Brigham (MGB) 연구 환자 데이터 레지스트리 (RPDR) 의 171 명 환자로부터 추출된 226 개의 임상 텍스트 세그먼트 (퇴원 요약 및 진행 기록) 를 사용했습니다.
• 분류 체계: 7 가지 주요 SDoH 도메인 (재정, 고용, 주거, 건강보험, 식량 안보, 사회적 자원, 신체 활동) 과 23 개의 하위 범주 (Subcategories) 로 구성된 세분화된 분류 체계를 개발했습니다.
• 주석 작업: 두 명의 annotator 가 Label Studio 를 사용하여 주석을 달았으며, 임상 심리학자의 중재를 통해 일관성을 확보했습니다. 컨텍스트 속성 (시간성, 경험자, 가설적 상태, 불확실성) 도 함께 주석하여 긍정적 SDoH 사례를 정의하는 기준을 마련했습니다.

나. 모델 개발 및 평가

• 규칙 기반 시스템 (RBS): medspaCy 라이브러리를 활용하여 개발했습니다. UMLS 메타테서러스와 임베딩 기반 시맨틱 검색을 통해 시드 단어를 확장하고, 문장 분할, 엔티티 매칭, 문맥 모호성 제거 파이프라인을 구축했습니다.
• 대규모 언어 모델 (LLM): OpenAI 의 7 가지 GPT 모델 (GPT-4o, 4.1, 4.1-mini, o4-mini, GPT-5, GPT-5-mini, o3) 을 Azure OpenAI 서비스를 통해 평가했습니다.
  • 프롬프트 전략: Zero-shot(학습 없이) 과 Few-shot(예시 제공) 설정을 비교했습니다.
  • 프롬프트 스타일: 엄격 (Strict), 균형 (Balanced), 관대 (Liberal) 한 세 가지 스타일을 적용하여 정밀도 (Precision) 와 재현율 (Recall) 의 트레이드오프를 분석했습니다.
  • Few-shot 예시 유형: annotator 가 쉽게 동의한 예시, 논쟁이 필요했던 어려운 예시, 합성 데이터 예시 등을 비교했습니다.
• Late-fusion Ensemble (후기 융합): RBS 와 GPT 모델의 출력을 결합하는 하이브리드 전략을 수립했습니다.
  • 도메인 수준: RBS 와 GPT 위원회 (여러 프롬프트 스타일의 GPT 모델) 의 출력을 결합 (Union/Intersection) 했습니다.
  • 하위 범주 수준: GPT 위원회 출력만 통합하여 최종 결정을 내렸습니다.

3. 주요 결과 (Key Results)

• 성능 비교:
  • RBS: 도메인 수준에서는 높은 정밀도 (0.96) 를 보였으나, 재현율 (0.68) 이 낮아 많은 SDoH 정보를 놓쳤습니다.
  • LLM (GPT): 모든 GPT 모델이 RBS 보다 전반적인 재현율과 F1 점수에서 우월했습니다.
  • 최고 성능 모델:
    • 도메인 수준: Few-shot 설정의 GPT-5와 GPT-5-mini가 가장 높은 F1 점수 (0.89) 를 기록했습니다.
    • 하위 범주 수준: o4-mini (Few-shot) 가 가장 높은 성능 (F1=0.88) 을 보였습니다.
• Ensemble (융합) 효과:
  • 도메인 수준에서 RBS 와 GPT 위원회를 결합한 Late-fusion Ensemble은 F1 점수를 0.92까지 향상시켰으며 (정밀도 0.93, 재현율 0.90), RBS 와 LLM 의 상호 보완적 강점을 입증했습니다.
  • 하위 범주 수준에서는 융합이 추가적인 성능 향상을 가져오지 못했으나, GPT 단일 모델의 성능이 매우 뛰어났습니다.
• 비용 및 효율성:
  • 최신 "Mini" 모델 (o4-mini, GPT-5-mini) 은 플래그십 모델 (GPT-5) 과 유사한 성능을 보이면서도 추론 비용과 지연 시간 (Latency) 이 크게 낮았습니다. (예: o4-mini 는 GPT-5 대비 약 72-82% 비용 절감).
• ICD 코드 비교: 추출된 SDoH 정보는 구조화된 ICD 코드 (V 및 Z 코드) 에 비해 훨씬 더 광범위하게 포착되었습니다. ICD 코드는 SDoH 정보의 상당 부분을 놓치고 있음을 확인했습니다.

4. 주요 기여 (Key Contributions)

1. 포괄적인 SDoH 분류 체계: 기존 연구에서 간과되었던 재정, 건강보험, 사회적 자원, 신체 활동 등 7 개 도메인과 23 개 하위 범주를 포함하는 세분화된 분류 체계를 개발하고 검증했습니다.
2. 최신 LLM 의 체계적 평가: 추론 능력이 강화된 최신 GPT 모델 (GPT-5, o4-mini 등) 을 SDoH 추출에 적용하고, Zero-shot/Few-shot 및 다양한 프롬프트 전략 하에서 성능을 비교 분석했습니다.
3. 비용 효율적인 하이브리드 프레임워크: 규칙 기반 시스템과 LLM 을 결합한 Late-fusion 전략을 통해 도메인 수준의 추출 성능을 극대화하는 비용 효율적인 프레임워크를 제시했습니다.
4. 오픈 소스 및 재현성: 코드, 프롬프트, 주석 가이드라인을 공개하여 향후 연구의 기반을 마련했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상 및 연구적 의의: 이 연구는 비구조화된 임상 노트에서 SDoH 정보를 정확하고 비용 효율적으로 추출할 수 있는 방법을 제시함으로써, 인구 건강 연구 (Population Health Research) 와 임상 의사결정 지원 시스템의 발전을 촉진합니다.
• 기술적 통찰:
  • 최신 LLM 은 별도의 미세 조정 (Fine-tuning) 없이도 SDoH 추출에서 기존 규칙 기반 시스템보다 우수한 성능을 발휘합니다.
  • "Mini" 모델은 비용 대비 성능이 뛰어나 대규모 배포에 적합합니다.
  • 규칙 기반 시스템과 LLM 의 융합은 특히 도메인 수준의 포괄적인 정보 추출에 효과적입니다.
• 미래 방향: 다양한 의료 시스템으로의 일반성 검증, 더 풍부한 문맥 정보 (이벤트 기반 추출 등) 의 통합, 그리고 추출된 SDoH 정보가 실제 임상 예측 모델 (예: 자살 예측) 및 알고리즘 편향 감지에 어떻게 활용될 수 있는지에 대한 후속 연구가 필요합니다.

이 논문은 의료 인공지능 분야에서 SDoH 추출을 위한 새로운 표준을 제시하며, 데이터 기반의 건강 불평형 해소와 맞춤형 의료 실현에 기여할 것으로 기대됩니다.