Automated Extraction of Cancer Registry Data from Pathology Reports: Comparing LLM-Based and Ontology-Driven NLP Platforms

이 논문은 존스홉킨스 병원의 병리 보고서 670 건을 대상으로 LLM 기반의 Brim Analytics 와 온톨로지 기반의 DeepPhe 를 비교한 결과, Brim Analytics 이 췌장암과 유방암 모두에서 높은 정확도와 처리 속도를 보여 자동화된 암 등록 데이터 추출에 효과적임을 입증했습니다.

핵심

🏥 배경: 왜 이런 실험이 필요할까요?

암 센터에서는 매년 수백만 명의 환자 기록을 정리해야 합니다. 의사들이 쓴 **수술 기록지 (병리 보고서)**에는 암의 크기, 위치, 전이 여부 등 중요한 정보가 적혀 있지만, 이 글들은 모두 **자유로운 문장 (자유 텍스트)**으로 쓰여 있어 컴퓨터가 읽기 어렵습니다.

예를 들어, "암이 췌장 머리에 있다"라고 쓴 기록과 "췌장 두부 (head) 에 병변이 있다"라고 쓴 기록은 같은 뜻이지만, 컴퓨터는 이것이 같은 말인지 모를 수 있습니다. 그래서 지금까지는 **전문가 (등록 관리사)**가 일일이 눈으로 읽고 컴퓨터에 입력해 왔는데, 이는 너무 힘들고 시간이 많이 걸리는 일이었습니다.

이제 **인공지능 (AI)**이 이 일을 대신할 수 있을까요? 연구팀은 두 가지 다른 방식의 AI 를 비교해 보았습니다.

---

🤖 두 명의 '디지털 비서' 비교

연구팀은 두 가지 다른 AI 시스템을 췌장암과 유방암 기록으로 시험해 보았습니다.

1. 브림 애널리틱스 (Brim Analytics): "규칙을 잘 따르는 똑똑한 인턴"

• 방식: 이 시스템은 **대형 언어 모델 (LLM, 최신 AI)**을 사용합니다. 마치 인간처럼 문맥을 이해하고, 전문가가 정해준 **'작업 지시서 (규칙)'**를 따라 일을 합니다.
• 특징: "암의 크기가 2cm 이상이면 T2 로 분류해라"처럼 구체적인 규칙을 입력하면, 그 규칙에 맞춰 텍스트를 분석합니다.
• 장점: 새로운 질병이나 복잡한 표현이 나와도, 규칙을 조금만 수정하면 잘 따라옵니다.

2. 딥피 (DeepPhe): "오래된 사전을 가진 고전파"

• 방식: 이 시스템은 **온톨로지 (의학 용어 사전)**와 규칙 기반을 사용합니다. 미리 정해진 의학 용어 목록을 찾아서 일치하는 단어를 긁어모으는 방식입니다.
• 특징: "T1", "T2" 같은 표준 용어가 명확히 적혀 있을 때는 매우 빠르고 정확합니다.
• 단점: 의사가 비유적으로 표현하거나 (예: "암이 퍼졌다"), 용어 사전에 없는 표현을 쓰면 헷갈려서 실수를 많이 합니다.

---

📊 실험 결과: 누가 이겼을까요?

연구팀은 330 편의 췌장암 기록과 34 편의 유방암 기록을 두 시스템에 모두 처리하게 했습니다.

1. 췌장암 기록 처리 (주요 테스트)

• 브림 (규칙 기반 AI): **96.7%**의 높은 정확도를 보였습니다. 암의 크기 (T 단계) 나 등급을 거의 완벽하게 찾아냈습니다.
• 딥피 (사전 기반 AI): N 단계 (림프절) 는 잘 찾았지만, **암의 크기 (T 단계) 는 83.6%**로 정확도가 떨어졌습니다. 특히 "암이 퍼졌다"는 표현을 너무 자주 찾아내서 (과다 분류), 실제보다 암이 더 무겁게 판정되는 실수가 많았습니다.

2. 유방암 기록 처리 (다른 질병으로 테스트)

• 브림: 췌장암에서 배운 규칙을 그대로 적용했는데도 **93.7%**로 여전히 매우 잘했습니다. (질병이 바뀌어도 적응력이 뛰어남)
• 딥피: 췌장암에서는 90% 이상 잘했지만, 유방암으로 넘어가자 70% 대로 급격히 떨어졌습니다. 특히 암의 크기를 찾는 데서 큰 실수를 했습니다. 사전에 유방암 특유의 표현이 없어서 헷갈린 것입니다.

3. 처리 속도

• 두 시스템 모두 문서 한 장당 1~4 초 정도밖에 걸리지 않아, 사람이 일일이 읽는 것보다 수천 배 빨랐습니다.

---

💡 핵심 교훈: "규칙을 아는 AI"가 더 똑똑했다

이 실험에서 가장 중요한 발견은 다음과 같습니다.

1. 문서 형식이 중요해요: 의사가 정해진 양식 (체크박스) 으로 쓴 기록은 두 시스템 모두 잘 처리했지만, **자유로운 글 (수기)**로 쓴 기록은 '딥피'가 매우 힘들어했습니다. 반면 '브림'은 글씨체나 표현 방식에 상관없이 잘 이해했습니다.
2. 규칙을 명확히 하는 게 핵심: '브림'은 "이런 경우에는 이렇게 처리해라"라는 **명확한 지시 (규칙)**를 받았기 때문에, 새로운 질병 (유방암) 이 나와도 그 규칙을 적용해 잘 처리했습니다. 반면 '딥피'는 미리 정해진 사전만 믿기 때문에, 사전에 없는 표현이 나오면 당황했습니다.
3. 실수하는 방식이 다릅니다:
   • 브림: "모르겠다"라고 말하는 경우가 많았습니다 (실수를 안 하려고 조심스러움). 이는 환자를 너무 무겁게 진단하는 위험을 줄여줍니다.
   • 딥피: "아마도 그렇겠지?"라고 추측해서 틀리는 경우가 많았습니다 (과다 진단).

---

🚀 결론: 앞으로 어떻게 될까요?

이 연구는 **"최신 AI (LLM) 를 활용하면, 의사의 기록을 자동으로 정리하는 일이 현실적으로 가능해졌다"**는 것을 보여줍니다.

• 미래의 모습: 앞으로는 AI 가 먼저 기록을 읽어보고, 중요한 정보 (암의 크기, 전이 여부 등) 를 미리 채워 넣을 것입니다.
• 사람의 역할: 전문가는 AI 가 채워 넣은 내용을 검토하고 확인하는 역할만 하면 됩니다. 이렇게 되면 등록 관리사들은 훨씬 더 많은 환자를 처리할 수 있게 되고, 암 연구 데이터도 훨씬 빠르게 모을 수 있게 됩니다.

한 줄 요약:

"의사의 손글씨로 된 복잡한 암 기록을, 규칙을 잘 따르는 최신 AI 비서가 사람보다 훨씬 빠르고 정확하게 정리해 낼 수 있다는 것을 증명했습니다. 이제 AI 가 '첫 번째 정리'를 하고, 사람이 '최종 확인'을 하는 새로운 시대가 열렸습니다."

기술 요약

논문 개요

이 연구는 암 등록 (Cancer Registry) 을 위한 비정형 병리 보고서에서 구조화된 데이터를 자동 추출하는 두 가지 다른 자연어 처리 (NLP) 플랫폼, 즉 **대규모 언어 모델 (LLM) 기반 시스템 (Brim Analytics)**과 **온톨로지 기반 시스템 (DeepPhe)**을 비교 평가했습니다. 연구진은 존스 홉킨스 의과대학의 켄실 종합 암 센터 (SKCCC) 에서 수집한 췌장 선암 (330 건) 과 유방암 (34 건) 병리 보고서를 대상으로 실제 배포 환경과 유사한 조건에서 두 시스템의 정확도, 일반화 능력, 처리 속도를 분석했습니다.

1. 연구 배경 및 문제 제기 (Problem)

• 현재 상황: 암 등록은 인구 수준의 암 감시, 역학 연구, 품질 모니터링의 기초가 됩니다. 미국에서는 연간 190 만 건 이상의 새로운 암 사례가 등록되어야 하며, 병리 보고서가 진단, 병기 (Staging), 조직병리학적 정보의 권위 있는 출처입니다.
• 문제점: 현재 워크플로우는 자동화 도구를 지원하지만, 여전히 인증된 종양 등록관 (Tumor Registrars) 에 의한 수동 추상화에 크게 의존하고 있습니다. 이는 노동 집약적이며, 전문 훈련이 필요하고 해석의 변이성을 초래합니다.
• 기술적 격차: 최근 LLM 과 같은 NLP 기술의 발전이 잠재적 해결책을 제시하지만, 대부분의 평가는 이상적인 조건에서 이루어졌습니다. 실제 임상 문서의 구조, 용어, 포맷은 기관과 시간에 따라 크게 달라지며, 기존 플랫폼이 수정되지 않은 임상 문서에서 정확한 데이터를 추출할 수 있는지에 대한 검증은 부족했습니다.

2. 방법론 (Methodology)

• 데이터셋:
  • 췌장 선암: 2006~2025 년 존스 홉킨스 병원에서 수술적 절제를 받은 환자 480 명 중, 최적화 (150 명) 및 검증 (330 명) 세트로 분리. (서술형 72.1%, 구조화된 Synoptic 템플릿 27.9% 포함)
  • 유방암: 2006~2025 년의 독립적 코호트 34 명 (서술형 61.8%, Synoptic 38.2%). 질병별 시스템 수정 없이 크로스-디시플린 (Cross-disease) 일반화 능력을 평가하기 위해 사용.
• 평가 대상 시스템:
  1. Brim Analytics (LLM 기반): 클라우드 기반 상용 플랫폼. 임상 전문가가 정의한 명시적인 추출 규칙 (Variable definitions) 을 LLM 에게 지시하여 실행. 규칙과 모델 학습이 분리되어 투명성과 감사 가능성 확보.
  2. DeepPhe (온톨로지 기반): 오픈소스 시스템 (Apache cTAKES 기반). 도메인 특화 온톨로지와 규칙 기반 언급 감지 (mention detection) 를 결합한 더블 파이프라인 아키텍처 사용. 시스템 커스터마이징 없이 기본 설정 (Default) 으로 실행.
• 평가 지표:
  • 목표 변수: T 병기, N 병기, M 병기, 조직학적 등급, 종양 부위, 절단면 상태 (Margin status), OncoTree 분류 등 7 가지.
  • 기준 (Gold Standard): 훈련된 임상 연구 전문가가 CoC 및 AJCC 8 판 가이드라인에 따라 수동으로 추출한 데이터.
  • 성능 지표: 정확도 (Accuracy), 정밀도 (Precision), 재현율 (Recall), F1 점수, Cohen's κ.

3. 주요 결과 (Key Results)

A. 췌장 선암 검증 결과 (N=330)

• Brim Analytics: 7 개 변수 모두에서 높은 정확도를 보임 (평균 정확도 96.7%).
  • T 병기: 96.4%, 조직학적 등급: 97.0%.
  • 처리 시간: 보고서당 평균 0.9 초.
• DeepPhe: N 병기 (96.4%) 에서는 Brim 과 유사한 성능을 보였으나, **T 병기 (83.6%)**와 M 병기에서 성능이 현저히 낮음.
  • T 병기에서 높은 재현율 (97.5%) 이었으나 정밀도 (82.7%) 가 낮아, 종양 범위를 과대평가하는 (False Positive) 경향이 있음.
  • 처리 시간: 보고서당 평균 1.1 초.

B. 유방암 검증 결과 (N=34) - 크로스-디시플린 일반화

• Brim Analytics: 췌장암 대비 평균 정확도가 3.0%p 감소 (93.7%) 하여 매우 안정적인 성능 유지.
  • T 병기: 100% (완벽한 분류).
  • 조직학적 등급: 97.1% (다른 등급 체계 사용에도 불구하고 강건함).
• DeepPhe: 평균 정확도가 7.2%p 감소 (83.3%) 하여 일반화 능력이 떨어짐.
  • T 병기 정확도 70.6% (κ=0.076, 우연 수준에 근접).
  • M 병기 재현율이 20% 로 매우 낮아 전이 지표 식별에 실패하는 경우가 많음.

C. 오류 분석 및 포맷 영향

• 오류 패턴:
  • Brim: 주로 위음성 (False Negative, 과소평가) 경향. 임상적으로 위양성 (과대평가) 보다 선호되는 보수적 오류 패턴.
  • DeepPhe: T 병기 등에서 심각한 위양성 (False Positive, 과대평가) 경향.
• 보고서 포맷 영향:
  • Brim: 서술형 (Narrative) 과 구조화된 (Synoptic) 보고서 간 성능 차이가 미미 (포맷 무관성).
  • DeepPhe: 서술형 보고서에서 오류율이 급증 (췌장암 기준 서술형 21.4% vs 구조화 3.3%). 구조화된 템플릿에 의존도가 높음.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 실제 배포 환경에서의 LLM 성능 입증: 기존 연구들이 이상적인 조건에서 이루어진 것과 달리, 다양한 포맷과 시기를 아우르는 실제 임상 문서에서 LLM 기반 시스템 (Brim) 이 높은 정확도와 일반화 능력을 보임을 입증했습니다.
2. 아키텍처 비교 통찰:
   • LLM 기반 (Brim): 명시적인 규칙과 LLM 의 맥락 이해력을 결합하여 다양한 용어와 포맷에 강건하며, 인간이 읽을 수 있는 규칙으로 투명성과 수정 용이성을 제공합니다.
   • 온톨로지 기반 (DeepPhe): 초기 설정이 간편하지만, 비정형 텍스트 처리와 새로운 질병 영역 확장 시 온톨로지 엔지니어링의 한계가 명확히 드러났습니다.
3. 포맷 의존성 규명: 병리 보고서의 포맷 (서술형 vs 구조화) 이 NLP 성능에 결정적인 영향을 미친다는 점을 정량화했습니다. 특히 레거시 (과거) 서술형 보고서가 많은 기관에서는 온톨로지 기반 시스템의 활용에 한계가 있음을 시사합니다.
4. 실무적 함의: 자동화 시스템이 종양 등록관을 대체하는 것이 아니라, 'Human-in-the-loop' 방식의 1 차 추상화 레이어로 작동하여 효율성을 높이고 불명확한 사례만 인간이 검토하도록 하는 것이 현실적인 배포 전략임을 제안합니다.

5. 결론 및 향후 과제

이 연구는 LLM 기반 추출 시스템이 다양한 암 유형과 보고서 포맷에서 임상적으로 유의미한 정확도를 달성할 수 있음을 보여주었습니다. 향후 연구로는 다기관 검증 (Documentation 문화가 다른 기관 간 일반화), 실제 등록 워크플로우에의 통합을 통한 효율성 측정, 그리고 폐암, 대장암 등 더 복잡한 병기 체계를 가진 암종으로의 확장이 필요하다고 결론지었습니다.

이러한 기술적 진보는 국가적 암 감시 인프라의 자동화 및 표준화를 가속화하고, 실시간 증거 생성 (Real-world evidence generation) 을 위한 데이터 가용성을 크게 향상시킬 잠재력을 가지고 있습니다.