Natural Language Processing Based Solution for Labeling Brain Metastasis Identified in Radiology Reports

기술 요약: 방사선 보고서에 식별된 뇌전이(Brain Metastasis) 라벨링을 위한 자연어 처리 기반 솔루션

문제 정의
뇌전이(BM)는 신경 종양학 분야에서 매우 중요한 부담을 차지하며, 원발성 중추신경계 종양의 규모를 훨씬 상회합니다. 그러나 현재의 암 등록 체계는 전이 진행 상황을 포착하도록 의무화되어 있지 않기 때문에, 뇌전이를 정확하게 정량화하는 것은 여전히 어려운 과제로 남아 있습니다. 등록 체계는 동시성 뇌전이(진단 시점에 존재하는 경우)는 포착하지만, 초기 암 진단 후 발생하는 대다수의 비동시성 뇌전이는 놓치게 됩니다. 이러한 비동시성 사례를 식별하는 작업은 현재 숙련된 등록 요원의 수동 기록 검토에 의존하고 있으며, 이는 자원 집약적인 과정으로서 인구 수준의 감시를 제한합니다. 기존의 자연어 처리(NLP) 시도들은 종종 키워드 추출에 의존하거나 방사선 보고서의 "소견/결론(Impression/Conclusion)" 섹션만을 분석하는데, 이는 '소견(Findings)' 섹션에만 기록된 관련 결과의 최대 36%를 놓칠 가능성이 있습니다. 또한, 이질적인 데이터 소스나 실제 워크플로우 전반에 걸쳐 모델의 일반화 가능성을 검증한 연구도 거의 없습니다.

방법론
본 연구는 캐나다 앨버타의 인구 기반 암 등록 데이터를 사용하여 NLP 파이프라인을 개발 및 검증하였습니다(2012~2019년 진단, 2022년까지 추적 관찰). 방법론은 네 단계로 진행되었습니다.

1. 데이터 큐레이션 및 샘플링:

   • 단계 1 (초기 학습): 뇌전이의 낮은 유병률 문제를 해결하기 위해 앨버타 암 등록 데이터를 사용하여 층화 샘플링 전략을 채택했습니다. 환자들을 원발성 뇌종양 상태와 동시성 전이 상태에 따라 분류하여 데이터셋을 풍부하게 만들었습니다. 1,200개의 보고서가 방사선 전문의의 지도하에 연구 보조원들에 의해 수동으로 주석(annotation) 처리되었습니다.
   • 단계 2 (모델 가이드 샘플링): 비동시성 뇌전이를 포착하기 위해 단계 1의 모델을 30,000개의 진단 후 보고서에 적용했습니다. 예측 확률을 사용하여 층화 샘플링을 유도하였으며, 그 결과 1,011개의 추가 수동 주석 보고서를 확보했습니다.
   • 최종 학습 세트: 통합된 학습 세트는 1,879개의 보고서(505개 BM 양성)로 구성되었습니다.

2. 모델 아키텍처:

   • 기본 모델: 임상 용어를 처리하기 위해 BioBERT로 초기화되고 MIMIC-III로 사전 학습된 Bio_ClinicalBERT를 선택했습니다.
   • 섹션 처리: 모델의 512-토큰 제한을 준수하고 보고서의 25%가 잘리는 것을 방지하기 위해, 정규 표현식을 사용하여 "소견(Findings)"과 "결론(Impressions)" 섹션을 분리했습니다.
   • 앙상블 전략: 각 섹션에 대해 별도의 두 모델을 학습시켰습니다. 최종 보고서 수준의 예측은 두 구성 모델의 최대 예측 확률을 취하는 방식으로 결정되었습니다.
   • 결측 데이터 처리: 내부 검증 및 온타리오 외부 검증에서는 누락된 섹션을 전체 보고서 텍스트로 대체(imputation)했습니다. 브리티시 컬럼비아 검증에서는 누락된 섹션을 빈 문자열로 처리했습니다.

3. 검증 전략:

   • 내부 검증: 학습 데이터와 중복되지 않는 2012~2013년 사이에 진단받은 357명의 환자로부터 추출한 1,833개의 보고서를 대상으로 테스트했습니다(앨버타).
   • 외부 검증:
     • 온타리오: 세인트 마이클 병원(토론토)의 보고서 17,402개를 층화 샘플링을 통해 필터링했습니다.
     • 브리티시 컬럼비아: BC 암 등록 기관의 보고서 908개를 수동 검토했습니다.
   • 주석 처리: 모든 검증 세트는 의료 전문가에 의해 수동 주석 처리가 되었으며, 불일치 사항은 상급 임상의에 의해 조정되었습니다. 원발성 뇌종양으로 라벨링된 보고서는 BM 성능 평가에서 제외되었습니다.

주요 결과

• 내부 검증: 확률 임계값 0.4에서 앙상블 모델은 민감도(Sensitivity) 0.888과 정밀도(Precision) 0.499를 달성했습니다.
• 앙상블 성능: 앙상블 접근 방식은 단일 섹션 모델보다 실질적으로 우수한 성능을 보였습니다. 단일 섹션 모델은 각각 67.8%(소견만 사용 시)와 74.2%(결론만 사용 시)의 민감도를 기록하여, 두 섹션을 모두 처리하는 것의 필요성을 입증했습니다.
• 외부 검증: 모델은 다양한 데이터 분포에 걸쳐 견고함을 입증했습니다.
  • 온타리오: 민감도 0.918.
  • 브리티시 컬럼비아: 민감도 0.726.

의의 및 주장
본 논문은 이 NLP 기반 파이프라인이 비동시성 뇌전사의 확장 가능한 감시를 가능하게 함으로써 암 등록 체계의 운영 요구 사항을 성공적으로 해결한다고 주장합니다. "소견"과 "결론" 섹션을 모두 처리함으로써, 이 시스템은 단일 섹션 접근 방식보다 더 많은 양의 관련 사례를 포착합니다. 저자들은 본 모델이 등록 운영에 필요한 민감도 표준을 충족하며, 현재 앨버타와 브리티시 컬럼비아의 감시 워크플로우에 구현되고 있다고 밝히고 있습니다. 이러한 구현은 기존의 수동 검토 과정 및 동시성 사례만을 포착하는 등록 체계의 한계를 넘어, 인구 수준의 뇌전사 감시를 위한 토대를 제공합니다.