Automatic identification of diagnosis from hospital discharge letters via weakly supervised Natural Language Processing

기술 요약: 약한 지도 학습 기반 NLP를 통한 병원 퇴원 요약서의 진단 자동 식별

문제 정의
병원 퇴원 요약서에서 환자의 진단을 식별하는 것은 대규모 코호트 선정 및 역학 연구를 위해 매우 중요하다. 그러나 전통적인 지도 학습 기반 자연어 처리(NLP) 방식은 문서 수준의 레이블에 대한 광범위한 수동 주석(annotation)을 요구하며, 이 과정은 노동 집약적이고 비용이 많이 들며, 대규모 텍스트 데이터셋에 적용하기에는 비현실적인 경우가 많다. 이러한 과제는 의료 문서의 이질성, 전문 용어, 모호한 약어, 그리고 특히 이탈리아어와 같은 저자원 언어에서의 수동 레이블 데이터 부족으로 인해 임상 환경에서 더욱 심화된다. 기존의 NLP 도구들은 영어에 최적화되어 있어, 도메인 특화 언어 자원 및 주석이 달린 코퍼스의 부족으로 인해 이탈리아어로의 전이 가능성이 제한적이다. 또한, 기존의 약한 지도 학습(weakly supervised) 방법들은 구조화된 전자 건강 기록(EHR) 변수(예: 진단 코드, 약물 기록)나 여러 입원 사례에 걸친 집계 데이터에 의존하는 경우가 많은데, 이는 응급실 입원 사례와 같이 퇴원 요약서가 주요 진단 출처인 경우 불완전하거나 사용 불가능할 수 있다.

방법론
저자들은 이탈리아 병원 퇴원 요서로부터 문서 수준의 수동 주석 없이 진단을 자동으로 식별하도록 설계된 3단계 약한 지도 학습 기반 NLP 파이프라인을 제안한다. 이 파이프라인은 오직 자유 형식의 텍스트 임상 문서만을 기반으로 작동한다.

1. 이탈리아 의료 문서를 위한 트랜스포머 사전 학습 (TPT):
   도메인 특화 언어 모델의 부재를 해결하기 위해, 저자들은 유럽 임상 케이스 코퍼스(E3C)를 사용하여 트랜스포머 기반 모델(구체적으로 UmBERTo, XLM-RoBERTa, RemBERT 변형 모델)에 대한 추가 사전 학습을 수행한다. 이 코퍼스는 다국어 의료 문서(학술지 논문, 입원 테스트, 환자 안내서, 학위 논문 초록)를 포함한다. 비이탈리아어 문서는 Google 번역 API를 통해 이탈리아어로 자동 번역된다. 모델은 후속 단계에서의 도메인 적응을 개선하기 위해, 이렇게 집계된 이탈리아어 의료 코퍼스 상에서 추가적인 마스크드 언어 모델링(MLM) 사전 학습을 거친다.

2. 반자동 레이블링 (SAL):
   이 단계는 클러스터링 기반 접근 방식을 통해 데이터의 일부에 대해 약한 레이블(weak labels)을 생성한다.

• 추출(Extraction): 정규 표현식을 사용하여 지정된 진단 섹션에서 진단 문자열을 추출한다.
• 클러스터링(Clustering): 추출된 문자열은 정규화되고 도메인 적응형 트랜스포머 인코더를 통해 임베딩된다. 2단계 클러스터링 절차가 적용된다:
  • 1단계: HDBSCAN이 고차원 임베딩(PCA 차원 축소 후)을 클러스터링하여 의미적으로 유사한 진단 문자열을 그룹화한다.
  • 2단계: 각 클러스터는 대표 키워드 추출을 통해 요약된다. 이 키워드 요약본은 다시 임베딩되고 재클러스터링되어 의미적으로 관련된 클로스터를 병합함으로써 그룹을 정교화한다.
• 약한 레이블로의 매핑: 임상의는 관심 질환을 양성 및 음성 키워드 세트로 정의한다. 클러스터는 키워드 요약이 이러한 정의를 충족하는 경우 질병 레이블에 매핑된다. 진단 문자열이 "양성" 클러스터에 할당된 문서는 약한 양성 레이블(1)을 받고, 다른 클러스터에 할당된 문서는 약한 음성 레이블(0)을 받는다. 추출된 문자열이 없거나 클러스터링되지 않은 문자열이 있는 문서는 약한 레이블 학습 세트에서 제외된다.

3. 약한 지도 학습 분류 (WLC):
   생성된 약한 레이블 데이터셋은 트랜스포머 기반 이진 분류기를 학습시키는 데 사용된다. 모델은 도메인 적응형 인코더와 그 위에 추가된 선형 분류 레이어로 구성된다. 모델은 약한 레이블에 대해 이진 교차 엔트로피 손실을 최소화하도록 학습된다. 입력값은 전체 퇴원 요약서(필요 시 512 토큰으로 절단)이며, 이를 통해 모델은 추출된 진단 섹션뿐만 아니라 전체 서사적 맥락으로부터 학습할 수 있다.

주요 기여

• 이탈리아 퇴원 요약서에 대한 첫 적용: 이 연구는 약한 지도 학습 방식을 사용하여 이탈리아 병원 퇴원 요약서로부터 직접 진단 식별을 다룬 첫 번째 연구이다.
• 도메인 적응형 사전 학습: 저자들은 저자원 언어 환경의 임상 텍스트에 대한 성능을 향상시키기 위해 다국어 의료 코퍼스(이탈리아어로 번역됨)를 활용한 추가 사전 학습의 효능을 입증하였다.
• 약한 레이블 생성을 위한 2단계 클러스터링: 이 파이pl라인은 원문 텍스트에 대한 직접적인 키워드 매칭에서 발생하는 노이즈를 줄이기 위해, 진단 문자열을 클러스터링하고 키워드로 요약하는 견고한 약한 레이블 생성 방법을 도입하였다.
• 문서 수준 주석 없는 확장성: 이 접근 방식은 문서 수준의 레이블링 없이 키워드 정의를 위한 임상의의 입력만을 필요로 하므로, 수동 주석의 필요성을 제거한다.

결과
파이프라인은 이탈리아 베네토 지역의 Pedianet 네트워크에서 추출한 두 가지 데이터셋으로 평가되었다:

1. 세기관지염(Bronchiolitis) 데이터셋: 33,176개의 퇴원 요약서 (2017–2020년), 335개의 수동 주석 양성 사례 포함.
2. 기관지염(Bronchitis) 데이터셋: 3,188개의 퇴원 요서 (2020–2025년), 97개의 수동 주석 양성 사례 포함.

• 성능: 가장 우수한 약한 지도 학습 모델(WS-UmBERTo-TPT)은 기관지염 데이터셋에서 77.68%의 AUROC와 73.13%의 AUPRC를 달이트했다. 이 성능은 비지도 규칙 기반 베이스라인 및 제로샷 거대언어모델(LLM) 접근 방식보다 뛰어났으며, 골드 레이블(gold labels)로 학습된 완전 지도 학습 모델(AUPRC 77.57% 달성)의 성능에 근접했다.
• 비교: 약한 지도 학습 방식은 키워드를 전체 텍스트에 직접 적용하는 XPRESS 프레임워크 베이스라인 및 표준 규칙 기반 방법보다 우수한 성능을 보였다. 도메인 적응형 사전 학습(TPT)은 모든 트랜스포머 모델에서 일관되게 성능을 향상시켰다.
• 강건성: 모델은 클러스터 선택의 변화에 대해 강건함을 보여주었으며, 학습 시 골드 레이블의 비율이 감소함에 따라 성능이 완만하게 저하되는 양상을 보여 레이블 노이즈에 대한 회복력을 입증했다.
• 효율성: 이 방법은 이 정도 규모의 데이터셋에 대해 완전 지도 학습 방식을 사용할 때보다 수동 주석 필요 시간을 1,500시간 이상 단축했다.

의의 및 주장
본 논문은 약한 지도 학습 기반 NLP가, 특히 수동 주석이 불가능한 환경에서 질병 식별을 위한 실용적이고 확장 가능한 프레임워크를 제공한다고 주장한다. 저자들은 완전 지도 학습 모델과 비교했을 때 약간의 성능 격차(AUPRC 기준 4~6%)가 존재하지만, 완벽한 개별 수준 분류보다는 잠재적으로 관련 있는 환자 그룹을 식별하는 것이 목적인 대규모 코호트 선정에서는 이 정도의 트레이드오프(trade-off)가 수용 가능하다는 점을 강조한다.

본 연구는 파이프라인이 퇴원 요약서의 전체 텍스트로부터 효과적으로 학습한다는 점을 강조하며, 이는 자동 진단 문자열 추출이 실패하거나 지정된 섹션에 진단이 명시적으로 기재되지 않은 경우에 유리하다. 저자들은 단일 주석가 기반의 골드 스탠다드와 두 번째 검증 데이터셋의 작은 크기를 한계점으로 인정하며, 향후 연구에서 이중 주석(double annotation) 및 더 다양한 다지역 데이터셋에 대한 검증이 이루어져야 한다고 제언한다.