StrokeID-NER : A Stroke Named Entity Recognition Dataset for Indonesian Patient- Generated Health Queries

기술 요약: StrokeID-NER

문제 정의
뇌졸중은 인도네시아에서 사망 및 장애의 주요 원인이지만, 임상적 자연어 처리(NLP) 도구들은 환자가 생성한 텍text에 특화된 도메인별 주석 자원의 부족으로 인해 뇌졸중 분류(triage)에 어려움을 겪고 있다. Alodokter.com과 같은 디지털 헬스 플랫폼에는 방대한 양의 비정식 인도네시아어 건강 질의가 저장되어 있으나, 이러한 텍스트는 독특한 NLP 과제들을 안고 있다: 극심한 철자 변이, 지역 방언(예: 자바어)의 사용, 일반인의 은유적 표현, 코드 믹싱(code-mixing), 그리고 문화적으로 특정한 시간적 참조(예: 이슬라믹 달력 관련 사건) 등이 그것이다. 기존의 인도네시아 의료 NER 데이터셋은 공식적인 임상 기록, 건강 뉴스, 또는 의사-환자 간의 혼합 대화에 집중되어 있어, 비정식 형태의 환자 전용 뇌졸중 질의가 가진 특유의 언어적 및 임상적 복잡성을 해결하지 못한다.

방법론
본 연구는 다음 4단계 과정을 통해 구축된 특화된 개체명 인식(NER) 데이터셋 및 벤치마킹 프레임워크인 StrokeID-NER를 소개한다:

1. 데이터 구축: 본 데이터셋은 "Indonesia-medical-qna" 데이터셋(Alodokter.com 출처)에서 필터링된 1,742개의 환자 질의로 구성되며, 뇌졸중 및 뇌출혈 주제에만 집중한다. 실제 상황의 분류(triage) 조건(환자의 입력에만 의존하는 상황)을 시뮬레이션하기 위해 의사의 답변은 제외되었다.
2. 주석 체계: 질의는 네 가지 임상 기반 개체 유형에 걸쳐 9개의 태그를 사용하는 BIO(Begin-Inside-Outside) 체계로 주석이 달렸다:
   • 증상 (SYM): 신체적/신경학적 징후 (예: lemas, drodog).
   • 진단 (DGN): 뇌졸중 하위 유형 및 상태 (예: stroke ringan, pendarahan otak).
   • 시간 (TMP): 발병, 지속 시간 및 시기 (예: tiba-tiba, saat hari ke-20 puasa).
   • 위험 요인 (RF): 기저 질환 및 인구통계학적 정보 (예: hipertensi, usia 65 tahun).
   • 주석자 간 일치도는 층화 추출된 샘플을 통해 평가되었으며, 코헨 카파(Cohen's Kappa) 값은 $\kappa = 0.857$을 기록했다.
3. 데이터셋 통계: 코퍼스는 6,765개의 개체 구간(span)을 포함한다. 결정적인 특징은 높은 하팍스 비율(hapax rate)(단 한 번만 등장하는 고유 표현)로, 진단(DGN)의 경우 72.0%, 위험 요인(RF)의 경우 86.9%에 달하며, 이는 텍스트의 비정식적이고 다양한 특성을 반영한다.
4. 벤치마킹: 5개의 NER 시스템이 층화된 훈련/검증/테스트 분할(1,211/256/275개 질의)에 대해 평가되었다:
   • M1: IndoBERT-base + Linear head.
   • M2: IndoBERT-base + CRF layer.
   • M3: XLM-RoBERTa-large (다국어) + Linear head.
   • M4: IndoBERT-large + Linear head.
   • Baseline: 제로샷(zero-shot) 설정으로 평가된 GPT-5.4.
   • 평가 지표: seqeval을 사용한 스팬 수준(span-level) 매크로 평균 F1-score.

주요 결과

• 모델 성능: 미세 조정된 **XLM-RoBERTa-large (M3)**가 매크로 F1 점수 0.7823으로 가장 우수한 성능을 달성했다. 이는 단일 언어 모델인 IndoBERT-large (M4, F1=0.7614)보다 2.1포인트, 제로샷 GPT-5.4 베이스라인 (F1=0.6682)보다 11.4포인트 높았다.
• 개체별 통찰:
  • **진단 (DGN)**은 "stroke" 및 그 변이형들의 높은 빈도 덕분에 인식하기 가장 쉬운 개체였다 (F1 0.86–0.89).
  • **증상 (SYM)**과 **위험 요인 (RF)**은 높은 하팍스 비율과 상관관계가 있는 가장 어려운 개체였다.
  • 제로샷 LLM은 DGN에 대해서는 유사한 성능을 보였으나, 비정식 표현과 지역 용어를 포착하는 데 실패하며 SYM 및 RF에서 크게 뒤처졌다.
• 오류 분석:
  • 하팍스 제약: 하팍스 비율과 F1 점수 사이에는 강한 음의 상관관계가 존재한다. 68.3%의 거짓 음성(false negative) 스팬은 네 가지 미세 조정 모델 모두에서 놓쳐졌으며, 이는 모델 아키텍처보다는 어휘적 범위(lexical coverage)에 의해 성능 상한선이 결정됨을 나타낸다.
  • 미세 조정 vs. 제로샷: 미세 조정된 모델은 제로샷 모델이 놓친 204개의 스팬을 올바르게 식별한 반면, 역방향(제로샷이 미세 조정 모델이 놓친 것을 맞춘 경우)은 57개에 불과했다 (3.6:1 비율). 이 격차는 SYM(4.6:1)과 RF(7.0:1)에서 가장 두드러졌다.
  • 이진 vs. 공동 학습: 특정 개체에 대한 이진 분류기를 학습시키는 것은 DGN 및 TMP의 성능을 향상시켰으나, RF의 경우 F1 점수가 0.08 하락했다. 이는 위험 요인을 식별하는 데 있어 교차 개체 맥락(cross-entity context)이 매우 중요함을 시사한다.

의의 및 주장
본 논문은 네 가지 주요 기여를 주장한다:

1. 최초의 공개 코퍼스: 비정식 환자 생성 텍스트를 대상으로 하는, 임상적으로 근거가 있는 최초의 인도네시아어 뇌졸중 NER 공개 코퍼스를 배포한다.
2. 벤치마킹 통찰: 저자원 언어에서의 비정식 임상 NER의 경우, 다국어 사전 학습(XLM-RoBERTa)이 단일 언어 모델의 규모를 키우는 것(IndoBERT-large)보다 더 큰 성능 향상을 제공하며, 특히 어휘적 다양성이 높은 개체에서 그러함을 입증한다.
3. 언어적 분석: 표준 NLP 자원이 포착하지 못하는 철자 변이, 자바어 구어체, 문화적으로 특정한 시간적 표현을 포함한 인도네시아 뇌졸중 질의의 독특한 언어적 현상을 기록한다.
4. 미세 조정의 필요성: 비정식 언어와 임상 맥락을 다룰 때, 도메인 특화 미세 조정이 대규모 언어 모델의 제로샷 프롬프팅보다 실질적으로 우수함을 경험적으로 검증한다.

저자들은 향후 성능 향상이 모델 아키텍처보다는 **어휘적 범위(lexical coverage)**에 의해 제한된다고 결론짓는다. 이들은 아키텍처 수정보다는 추가적인 주석 작업이나 데이터 증강을 통해 학습 어휘를 확장하는 것이 가장 효과적인 경로라고 상정한다. 데이터셋, 가이드라인 및 모델은 추가 연구를 지원하기 위해 공개적으로 배포된다.