ELM: A Hybrid Ensemble of Language Models for Automated Tumor Group Classification in Population-Based Cancer Registries

1. 문제 정의 (Problem)

인구 기반 암 등록소 (PBCRs) 는 암 감시, 예방 프로그램 및 임상 연구를 위해 필수적인 데이터를 수집합니다. 이 데이터의 주요 원천은 병리 검사 보고서 (Pathology Reports) 인데, 이는 비정형 텍스트로 구성되어 있습니다.

• 현재의 한계: 기존에는 훈련된 등록 요원 (Registrars) 이 수동으로 보고서에서 데이터를 추출하고 종양군 (Tumor Group) 을 분류했습니다. 이는 매우 노동 집약적인 과정으로, 중규모 등록소 (연간 약 10 만 건의 보고서) 에서도 연간 약 900 시간의 인력이 소요됩니다.
• 자동화 도구의 실패: 현재 널리 사용되는 규칙 기반 시스템 (예: eMaRC) 은 임상 언어의 복잡성, 문맥 의존성, 그리고 다양한 기관의 보고서 형식 차이를 처리하지 못합니다. 예를 들어, "유방 조직의 피부"라는 표현을 유방암으로 잘못 분류하거나, 여러 해부학적 부위가 언급된 경우 분류를 실패합니다. 브리티시 컬럼비아 암 등록소 (BCCR) 의 경우, eMaRC 는 약 40% 의 사례에서 종양군을 할당하지 못하거나 오류가 많아 결국 모든 사례를 수동으로 재검토해야 했습니다.

2. 방법론 (Methodology: ELM)

저자들은 이러한 문제를 해결하기 위해 ELM (Ensemble of Language Models) 이라는 새로운 하이브리드 아키텍처를 제안했습니다. 이는 소형 인코더 전용 언어 모델 (Small Encoder-only LMs) 과 대형 언어 모델 (LLM) 의 강점을 결합한 방식입니다.

A. 초기 앙상블 (Initial Ensemble)

• 모델 구성: 6 개의 미세 조정 (Fine-tuned) 된 소형 인코더 전용 모델 (GatorTron, BCCRTron, ClinicalBERT 기반) 을 사용합니다.
• 토큰 분할 전략: 보고서의 길이가 모델의 입력 제한 (512 토큰) 을 초과하는 경우, 슬라이딩 윈도우 대신 보고서를 상단 (Top) 과 하단 (Bottom) 으로 나눕니다.
  • 상단 3 개 모델: 보고서의 첫 512 토큰 (주로 '최종 진단' 섹션) 분석.
  • 하단 3 개 모델: 보고서의 마지막 512 토큰 (의사의 소견 및 해석) 분석.
  • 이 전략은 보고서 내 어디에든 존재할 수 있는 진단 정보를 최대한 포괄합니다.
• 의사 결정 로직: 6 개 모델 중 5 개 이상이 특정 종양군에 동의하면 그 결과를 최종 예측으로 채택합니다.

B. LLM 중재 (Arbitrating LLM)

• 트리거 조건: 6 개 모델 중 5 개 미만이 동의하거나, 사전에 정의된 '분류가 어려운 종양군' (자궁경부암, 다발성 골수종, 원발성 불명확, 피부암 등) 으로 분류된 경우 LLM 에게 라우팅됩니다.
• 프롬프트 엔지니어링: LLM 은 모든 19 개 종양군 중 선택하도록 하는 것이 아니라, 앙상블 모델의 예측과 도메인 전문가 지식을 기반으로 2~4 개의 유력한 후보군으로 선택 범위를 제한하는 프롬프트를 받습니다. 이는 할루시네이션을 줄이고 정확도를 높입니다.
• 모델 선택: 개인정보 보호 규정 준수를 위해 클라우드 대신 로컬 배포 가능한 Mistral Nemo Instruct-2407 (12B 파라미터) 모델을 사용합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 하이브리드 실증: 실제 PBCR 환경에서 소형 인코더 모델과 LLM 을 결합한 하이브리드 아키텍처가 종양군 분류에 성공적으로 배포된 첫 사례입니다.
2. 전략적 토큰 분할: 보고서의 구조적 특징 (상단의 진단명, 하단의 소견) 을 반영하여 토큰 제한을 우회하고 정보 포괄성을 극대화한 분할 전략을 제시했습니다.
3. 계산 효율성과 정확도의 균형: 대부분의 사례 (80~85%) 를 빠르고 저렴한 소형 모델로 처리하고, 어려운 경우에만 고비용의 LLM 을 사용하는 '라우팅' 전략을 통해 연산 비용을 절감하면서도 높은 정확도를 달성했습니다.
4. 도메인 지식 통합: 분류가 어려운 특정 종양군을 명시적으로 LLM 에게 라우팅하도록 설계하여, 도메인 전문가의 지식을 시스템 아키텍처에 직접 반영했습니다.

4. 실험 결과 (Results)

BCCR 의 2023-2024 년 데이터 (2,058 건의 보고서, 19 개 종양군) 를 사용하여 평가했습니다.

• 성능 지표: ELM 은 가중 정밀도 (Precision), 재현율 (Recall), F1 점수 모두 0.94를 기록했습니다.
• 비교 우위:
  • 기존 규칙 기반 시스템 (eMaRC): F1 0.64 (40% 미분류 포함).
  • 단일 인코더 모델 평균: F1 0.87.
  • 인코더 앙상블 (LLM 없이): F1 0.91.
  • LLM 만 사용 (전체 19 개 선택): F1 0.88.
  • ELM (제안): F1 0.94 (통계적으로 유의미한 개선, p < 0.001).
• 난이도 높은 카테고리 개선: 백혈구 (F1 0.76→0.88), 림프종 (0.76→0.89), 피부암 (0.44→0.58) 등 기존에 분류가 어려웠던 카테고리에서 큰 성능 향상을 보였습니다.
• 운영 효율성: 실제 배포 후 수동 검토 필요량이 60~70% 감소하여 연간 약 900 시간의 인력 시간을 절약했습니다.

5. 의의 및 결론 (Significance)

• 실무적 영향: ELM 은 암 등록소의 핵심 워크플로우를 자동화하여, 등록 요원들이 단순 분류 작업 대신 더 복잡한 임상적 판단이 필요한 업무 (정밀 병기 결정, 다중 원발성 암 조정 등) 에 집중할 수 있게 했습니다.
• 기술적 통찰: 대형 언어 모델 (LLM) 을 무조건 모든 데이터에 적용하는 것보다, 소형 모델로 초기 분류를 수행하고 LLM 으로 애매한 사례를 중재하는 하이브리드 접근법이 의료 텍스트 분류에서 정확성과 비용 효율성 면에서 가장 최적의 해결책임을 입증했습니다.
• 확장성: 이 연구는 전 세계의 암 등록소가 디지털 병리 보고서 처리 시스템을 현대화하고 데이터 품질을 유지하면서 운영 효율성을 높일 수 있는 청사진을 제공합니다.

이 논문은 인공지능이 의료 데이터 처리의 병목 현상을 해결하고, 실제 임상 환경에서 신뢰할 수 있는 자동화 솔루션으로 작동할 수 있음을 보여주는 중요한 사례 연구입니다.