Extracting Breast Cancer Phenotypes from Clinical Notes: Comparing LLMs with Classical Ontology Methods

논문 요약: 임상 노트에서 유방암 표현형 추출을 위한 LLM 과 고전적 온톨로지 방법 비교

1. 문제 정의 (Problem Statement)

• 비구조화 데이터의 한계: 종양학 전자 의료 기록 (EMR) 에는 화학요법 결과, 생체표지자 (biomarkers), 종양 위치/크기/성장 패턴 등 귀중한 임상 정보가 포함되어 있으나, 의사의 97% 가 이를 구조화된 필드가 아닌 자연어 형태의 비구조화 임상 노트에 기록하고 있습니다.
• 수동 주석의 비효율성: 이러한 노트에서 표현형 (phenotypes) 을 추출하기 위해 전문가 (종양 전문의) 가 수동으로 주석을 다는 것은 시간과 비용이 많이 들어 경제적으로 실행 불가능합니다.
• 현실 세계 증거 (RWE) 의 부재: 구조화되지 않은 데이터로 인해 실제 치료 결과에 대한 RWE 를 구축하기 어렵고, 이는 개인화된 가치 기반 치료 (Value-based Care) 로의 전환을 저해합니다.
• 기존 방법의 한계: 기존 지식 기반 (Knowledge-driven) 온톨로지 시스템은 특정 패턴에 의존하여 문맥을 이해하지 못하거나, 새로운 표현형으로의 확장이 어렵고, 처리 속도가 느린 문제가 있습니다.

2. 방법론 (Methodology)

저자들은 비구조화된 임상 노트에서 유방암 관련 표현형 (TNM 병기, 종양 크기, 암 등급, 생체표지자 등) 을 추출하기 위해 두 가지 시스템을 비교 분석했습니다.

A. 데이터 전처리 (Pre-processing Pipeline)

• 노이즈 제거: 신체 검사, 현재 약물, 생체 징후 등 유방암 표현형과 무관한 정보를 제거하여 토큰 길이를 단축합니다.
• 중복 제거: 연속된 노트에서 중복된 정보를 제거하고 '차이 텍스트 (Differential Text)'만 추출합니다.
• 세그먼트화: 노트를 의미 있는 세그먼트로 분할합니다.

B. 시스템 1: 온톨로지 기반 시스템 (Ontology-Based System)

• 기반 기술: NCIt(National Cancer Institute thesaurus) 온톨로지와 정규식 (Regex) 을 사용하여 텍스트에서 개념을 매핑합니다.
• 개선 사항: 생체표지자 (ER, PR, HER-2) 의 다양한 표기법 (+, -, pos, neg 등) 과 전이성 암 (Metastasis) 의 문맥적 혼란을 해결하기 위해 정규식을 업데이트했습니다.
• 단점: 문맥적 의미 파악 실패, 새로운 표현형 확장성 부족, 외부 API(NCBO) 의존성, 처리 속도 느림.

C. 시스템 2: LLM 기반 시스템 (LLM-Based System)

• 모델: Mistral v0.2 와 Meta 의 LLaMA 3 8B 오픈소스 모델을 온프레미스 (On-premises) GPU 클러스터 (Nvidia A100) 에서 실행하여 데이터 보안과 프라이버시를 보장합니다.
• RAG(검색 증강 생성) 파이프라인:
  1. Chunking: 토큰 수 (2,500 개) 를 초과하는 긴 노트는 재귀적 텍스트 분할기 (Recursive Text Splitter) 를 사용하여 작은 청크로 나눕니다.
  2. Re-ranking: 쿼리와 청크 간의 관련성을 높이기 위해 하이브리드 재순위화를 적용합니다.
     • 시맨틱 재순위화: mxbai-embed-large-v1 을 사용한 임베딩과 코사인 유사도 계산.
     • 어휘적 재순위화: Pyserini(Lucene) 와 BM25 알고리즘을 사용한 점수 계산.
     • 두 방법의 상위 k 개 (k=10) 청크를 합집합 (Union) 하여 최종 입력으로 사용합니다.
  3. 생성: JSON 스키마와 프롬프트 엔지니어링을 통해 LLM 에게 구조화된 JSON 출력물을 생성하도록 지시합니다.
  4. 후처리: 생성된 JSON 의 유효성 검증, 날짜/단위 표준화, 괄호 오류 수정 등을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 기존 온톨로지 시스템의 고도화: 생체표지자 및 전이성 암 추출을 위한 정규식 및 로직 개선.
2. RAG 파이프라인 구현: 긴 임상 노트를 효율적으로 처리하고 문맥을 보존하기 위한 커스텀 RAG 전략 (하이브리드 재순위화) 도입.
3. LLM 기반 추출 프레임워크 구축: 온프레미스 환경에서 보안을 유지하며 유방암 표현형을 추출하는 LLM 시스템 구현.
4. 심층 비교 분석: LLM 기반 정보 추출과 지식 기반 온톨로지 방법의 성능을 정량적으로 비교 평가.

4. 결과 (Results)

150 개의 무작위 선정된 임상 노트 (총 750 개의 레이블) 를 5 명의 의사 패널이 수동 주석한 데이터를 기준으로 평가했습니다.

• 성능 지표 비교:
  • LLaMA 3 8B: 정확도 86.13%, 정밀도 87.90%, 재현율 94.95%, F1-Score 91.29% (최고 성능).
  • Mistral 7B: 정확도 79.20%, F1-Score 86.34%.
  • 온톨로지 시스템: 정확도 85.04%, 정밀도 100% (할루시네이션 없음), 재현율 83.80%, F1-Score 91.19%.
• 주요 발견:
  • LLM 기반 시스템 (특히 LLaMA 3) 은 온톨로지 시스템과 유사하거나 더 높은 정확도를 보였으며, 특히 재현율 (Recall) 측면에서 뛰어났습니다.
  • 온톨로지 시스템은 할루시네이션 (허위 정보 생성) 이 없으나, 문맥을 이해하지 못해 정보를 놓치는 경우가 많았습니다.
  • 처리 속도: 온톨로지 시스템은 평균 20 초 미만, 온프레미스 LLM(A100) 은 평균 12 초 미만으로 더 빠른 처리가 가능했습니다.
  • 할루시네이션 문제: LLM 은 때때로 존재하지 않는 값을 생성하거나 (Hallucination), 누락되는 경우가 있었으나, 후처리 파이프라인과 검증 로직으로 이를 완화했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 보안과 성능의 균형: 클라우드 기반 LLM(GPT-4 등) 의 성능을 유지하면서도, 환자 데이터의 보안과 프라이버시를 위해 온프레미스 오픈소스 LLM을 활용하는 것이 가능함을 입증했습니다.
• 유연성과 확장성: LLM 은 프롬프트와 스키마만 수정하면 새로운 암 종류나 표현형에 쉽게 적응할 수 있어, 고전적인 온톨로지 시스템의 경직성을 극복했습니다.
• 미래 전망:
  • 더 큰 모델 (Mixtral 8x7B, LLaMA 3 70B) 로의 확장을 통해 성능을 더욱 향상시킬 계획입니다.
  • 온톨로지 시스템의 정확성과 LLM 의 유연성을 결합하여 할루시네이션을 제거하고 실시간으로 일반화된 표현형 추출을 수행하는 하이브리드 시스템 개발을 목표로 합니다.

이 연구는 종양학 분야에서 비구조화된 임상 노트를 자동화하여 가치 기반 의료와 개인화된 치료로 전환하는 데 있어 LLM 이 강력한 대안이 될 수 있음을 시사합니다.