In-Domain Supervised Pathology Report Classification: A Reproducible Pipeline from Data Curation to Production-Matched Evaluation

기술 요약: 도메인 내 지도 학습 기반 병리 보고서 분류

문제 정의
지도 학습 기반의 생물 의학 자연어 처리(NLP) 모델은 서로 다른 암 등록 기관에 배포될 때 분포 변화(distribution shifts)로 인해 상당한 성능 저하를 겪는 경우가 많습니다. 이러한 문제는 보고서 스타일, 데이터 소스 및 임상 워크플로우의 이질성에서 비롯됩니다. 구체적으로, 시애틀 SEER 등록 기관의 데이터로 학습된 MOSSAIC OncoID 분류기는 로컬 환경에서는 높은 정확도를 달밀했으나, 켄터키 암 등록 기관(KCR)에 배포되었을 때 높은 허위 양성률(FPR)을 보였습니다. 이는 모델이 보고 대상이 아닌 보고서를 너무 많이 식별하게 만들어, 등록 기관 직원들에게 감당하기 어려운 수동 검토 부담을 초과하는 결과를 초래했습니다. 또한, 기존의 지도 학습 모델은 종종 단일 암 유형이나 단일 시설의 데이터셋에 의존하여 일반화 능력이 제한적입니다.

방법론
저자들은 타겟 등록 기관(KCR)에서 정기적으로 수집된 데이터를 사용하여 분류기를 학습시키기 위해 설계된 재현 가능한 도메인 내 지도 학습 파이프라인을 제안합니다. 이 방법론은 데이터 큐레이션, 모델 학습 및 프로덕션 매칭 평가를 포함합니다.

• 데이터 큐레이션 및 계층화:
  파이프라인은 KCR Feeds 데이터베이스의 병리 보고서를 활용하며, 대표성을 확보하기 위해 데이터를 세 가지 하위 집합으로 계층화합니다:

  1. 연결된 보고서 ($M_{linked}$/$H_{linked}$): SEERDMS 시스템의 암 케이스와 연결된 보고서입니다. 광범위한 암 부위의 대표성을 보장하기 위해 암 위상(primary site)별로 계층화되었습니다.
  2. 연결되지 않은 보고서 ($M_{unlinked}$/$H_{unlinked}$): 암 종양 데이터 전문가(ODS)에 의해 분류되었으나 특정 케이스에 연결되지 않은 보고서입니다. ODS가 할당한 카테고리(예: "검토 필요", "전이", "암 없음")별로 계층화되었습니다.
  3. 시애틀 모델 음성 사례 ($SM^-$): 시애틀 OncoID 모델에 의해 비보고 대상으로 레이블링된 보고서입니다. 이들은 인간의 검증이 결여되어 레이블 노이즈(label noise)를 유발할 수 있으므로 학습에서 제외되지만, 실제 데이터 스트림을 시뮬레이션하기 위해 홀드아웃 세트(holdout set)에는 포함됩니다.

  학습 데이터는 프로덕션 데이터 스트림의 관찰된 비율과 일치하도록 연결된 보고서는 80:20, 연결되지 않은 보고서는 90:10의 비율로 분할됩니다.

• 모델 아키텍처 및 학습:
  본 연구는 BARDI 및 FrESCO 소프트웨어 패키지를 통해 구현된 계층적 자기 주의 네트워크(Hierarchical Self-Attention Network, HiSAN) 아키텍처인 OncoID 분류기를 사용합니다.

  • 전처리: 어휘 구축 시 최소 단어 빈도 5를 적용하고, 특수 문자를 제거하며, 흔한 이름(first names)을 제외합니다.
  • 클래스 불균형 처리: 재현율(recall)을 우선시하여(놓치는 암 케이스를 최소화하기 위해) 비보고 클래스와 보고 클래스 간의 손실 함수 가중치 방식(30:1, 15:1, 가중치 없음)을 실험했습니다.
  • 운영 지점(Operating Point) 선택: 매우 낮은 허위 음성률(FNR)을 유지하면서도, 허위 양성률(FPR)을 인간 검토자가 관리할 수 있는 수준으로 낮게 유지하는 것을 목표로 합니다.

• 평가 및 검증:

  • 프로덕션 매칭 홀드아웃: 418,166개의 보고서로 구성된 홀드아웃 세트($H$)는 인간이 레이블링한 데이터와 모델이 필터링한 데이터를 모두 포함하여 프로덕션 환경을 모사합니다.
  • 맹검 수동 감사: 참 양성 유병률을 추정하고 레이블 노이즈를 정량화하기 위해 600개의 보고서에 대해 2단계 수동 검토를 실시했습니다. 두 명의 독립적인 ODS 직원이 보고서를 검토하였으며, 갈등 발생 시 제3자가 조정하였고, 2024년 SEER 코딩 및 보고 가능성 가이드라인을 엄격히 준다를 준수했습니다.
  • 질적 검토: 저자들은 오분류 패턴을 식별하기 위해 30개의 허위 음성 사례와 30개의 허위 양성 사례를 분석했습니다.

주요 결과

• 성능 향상: 켄터키에서 학습된 OncoID 모델은 KCR 홀드아웃 세트에서 시애틀 학습 베이스라인보다 유의미하게 우수한 성능을 보였습니다.
  • F1 스코어: 0.860(시애틀)에서 0.922(켄터키)로 향상되었습니다.
  • 허위 음성률 (FNR): 0.010에서 0.003으로 감소했습니다.
  • 허위 양성률 (FPR): 0.183에서 0.097로 감소했습니다.
• 운영 지점 선택: 15:1 손실 가중치 방식을 적용하여 학습된 모델이 최종 운영 지점으로 선택되었으며, FNR 0.003과 FPR 0.097을 달려 성과를 냈습니다. 이 균형은 케이스 포착을 우선시하면서도 인간 검토자의 작업 부하를 베이스라인 대비 약 47% 감소시켰습니다(비보고 보고서 중 플래그가 지정된 비율이 18.3%에서 9.7%로 감소).
• 레이블 노이즈 분석: 맹검 수동 감사를 통해 기존 데이터셋의 레이블에 상당한 노이즈가 있음이 드러났습니다. 홀드아웃 세트의 추정 양성 유병률은 원래 레이블(0.500)에서 감사된 레이블(0.398)로 감소하였으며, 이는 "보고 대상"으로 레이블링된 보고서의 약 20%가 실제로는 비보고 대상이었음을 나타냅니다. 오류는 희귀 부위(예: 혀, 입, 잇몸) 및 "프로젝트 특정(Project-Specific)"과 같은 특정 카테고리에 집중되었습니다.
• 사이트별 성능: 모델은 흔한 암(유방: 0.0001, 폐: 0.0005)에 대해 거의 제로에 가까운 FNR을 달성했으나, 희귀 암의 경우 더 높은 FNR을 보였는데, 이는 균형 잡힌 학습 데이터를 확보하기 어려운 문제를 반영합니다.

의의 및 주장
본 논문은 로컬 포맷, 언어 및 용어에 부합하는 도메인 내 데이터를 사용하여 지도 학습 분류기를 학습시키는 것이 암 등록 NLP의 분포 변화를 극복하는 데 필수적이라고 주장합니다. 주요 기여는 다른 암 등록 기관이 사용할 수 있는 재현 가능한 레시피를 제공하는 것입니다:

1. 정기적인 데이터 피드를 사용하여 도메인 내 학습 세트 구축.
2. 인간이 레이블링한 데이터와 모델이 필터링한 데이터를 모두 포함하는 프로덕션 매칭 홀드아웃 세트 구축.
3. FNR을 엄격히 제어하면서 FPR을 관리 가능한 수준으로 유지하는 운영 지점 선택.

저자들은 켄터키 모델이 케이스를 놓치지 않으면서 수동 검토 작업 부하를 줄이는 강력한 잠재력을 보여주지만, 이 접근 방식이 모든 곳에 적용되는 "원사이즈(one-size-fits-all)" 솔루션은 아니라는 점을 강조합니다. 이는 로컬 데이터 큐레이션이 필요하며, 레이블 노이즈와 시설 간의 언어적 변이가 여전히 과제로 남아 있음을 인정합니다. 본 연구는 모든 일반화 문제를 해결한다고 주장하지 않으며, 대신 등록 기관이 자신의 운영 맥락에 모델을 적응시키기 위한 검증된 프레임워크를 제공합니다. 향후 연구로는 레이블 평활화(label smoothing), 시설별 구문 및 HL7 변경에 대한 강건성 테스트, 그리고 개인정보 보호 및 자원 제한 상황에서도 (현재는 제약이 있지만) 거대 언어 모델(LLM)을 활용할 가능성을 탐구하는 것이 제안되었습니다.