BioUNER: A Benchmark Dataset for Clinical Urdu Named Entity Recognition

논문 요약: BioUNER (우르두어 임상명명개체 인식 벤치마크 데이터셋)

1. 문제 정의 (Problem)

• 배경: 임상명명개체 인식 (Clinical NER) 은 전자의무기록 (EHR), 임상 노트, 환자 기록 등에서 질병, 증상, 유전자, 약물 등의 중요한 개체를 추출하여 의료 의사결정과 연구를 지원하는 핵심 자연어 처리 (NLP) 작업입니다.
• 현황: 영어, 중국어, 스페인어 등 주요 언어에는 풍부한 임상 NER 데이터셋이 존재하지만, 우르두어 (Urdu) 를 포함한 남아시아 언어의 경우 일반 도메인의 NER 데이터셋은 일부 존재하나, 임상 또는 생물의학 도메인에 특화된 공개 데이터셋은 전무한 상태입니다.
• 과제: 우르두어 임상 텍스트에서 정보를 추출하기 위한 고품질의 벤치마크 데이터셋과 이를 평가할 수 있는 모델 성능 기준이 절실히 필요했습니다.

2. 방법론 (Methodology)

가. 데이터 수집 및 전처리 (Data Collection & Preprocessing)

• 소스: Continental Hospitals, Daily Jang, UrduPoint, 아가 칸 대학교 병원, 왕립정신과협회 (RCPsych) 등 신뢰할 수 있는 온라인 우르두어 뉴스 포털, 의료 처방전, 병원 블로그 및 건강 관련 웹사이트에서 데이터를 크롤링했습니다.
• 전처리: HTML 태그, 비우르두어 문자, 광고 등 노이즈 제거, 제로-와이드 노-조이너 (Zero-width non-joiner) 처리, 악센트 제거, 문장 분할 (Sentence segmentation) 등을 수행하여 Doccano 툴을 통한 주석 작업에 적합한 형태로 정제했습니다.

나. 주석 전략 (Annotation Strategy)

• 주석 도구: Doccano 텍스트 주석 도구를 사용했습니다.
• 주석자: 의료 도메인 지식을 갖춘 원어민 3 명이 참여했습니다.
• 개체 유형 (Entity Types): 총 6 가지 범주로 정의되었습니다.
  • Disease (질병), Chemical (화학물질), Drug (약물), Protein (단백질), CellLine (세포주), Gene (유전자)
• 레이블링 방식: 개체의 경계를 명확히 하기 위해 BIES (Begin, Inside, End, Single) 태그 체계를 적용했습니다.
• 데이터 규모: 총 153,000 토큰 (단어) 에 대해 15,073 개의 개체 언급 (Entity Mentions) 이 주석되었습니다.

다. 품질 평가 (Quality Assessment)

• 주석자 간 일치도 (Inter-annotator agreement) 를 측정하여 Kappa(κ) 점수 0.78을 기록했습니다. 이는 '상당한 일치 (Substantial agreement)' 수준으로, 데이터셋의 신뢰성과 골드 스탠다드 (Gold-standard) 품질을 입증합니다.

라. 실험 설정 및 모델 (Experimental Setup)

• 작업 정의: 입력 토큰 시퀀스 $X$를 출력 레이블 시퀀스 $Y$로 매핑하는 지도 학습 시퀀스 레이블링 작업입니다.
• 평가 지표: 정밀도 (Precision), 재현율 (Recall), F1-score.
• 비교 모델:
  • 기초 모델 (Baselines): SVM (TF-IDF 특징), CRF (조건부 무작위 필드), LSTM (Long Short-Term Memory).
  • 트랜스포머 기반 모델: 다국어 BERT (mBERT), XLM-RoBERTa.

3. 주요 기여 (Key Contributions)

1. BioUNER 데이터셋 공개: 우르두어 임상 NER 을 위한 최초의 골드 스탠다드 벤치마크 데이터셋을 구축하고 공개했습니다.
2. 포괄적인 벤치마크 평가: 제안된 데이터셋을 사용하여 전통적인 머신러닝 (SVM, CRF) 과 딥러닝 (LSTM, Transformer) 모델들의 성능을 종합적으로 평가했습니다.
3. 중첩 개체 및 경계 처리: BIES 태그 체계를 적용하여 중첩된 개체 (Nested NEs) 와 개체 경계 문제를 체계적으로 처리할 수 있는 기준을 마련했습니다.
4. 리소스 제공: 데이터셋과 함께 우르두어 임상 NER 을 위해 미세 조정 (Fine-tuning) 된 마스크드 언어 모델들을 공개합니다.

4. 실험 결과 (Results)

• 성능 분석:
  • LSTM이 가장 높은 성능 (F1-score 0.95) 을 보이며, 컨텍스트 의존성을 효과적으로 포착하여 경계 탐지 및 분류 성능이 뛰어났습니다.
  • CRF도 0.93 의 높은 성능을 보였으나, LSTM 에 비해 약간 뒤처졌습니다.
  • **트랜스포머 모델 (mBERT, XLM-RoBERTa)**은 기존 벤치마크 모델보다 낮은 성능 (F1-score 약 0.72~0.73) 을 보였습니다. 이는 우르두어 임상 도메인 데이터의 양이 상대적으로 적어 대규모 사전 훈련 모델의 미세 조정이 최적화되지 않았거나, 도메인 특화적 특징을 학습하는 데 한계가 있었음을 시사합니다.
  • XLM-RoBERTa가 mBERT 보다 재현율과 F1-score 에서 미세하게 우세했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 언어적 격차 해소: 우르두어 임상 NER 분야에서 데이터 부족 문제를 해결하고, 향후 관련 연구의 기반이 되는 표준 벤치마크를 제공했습니다.
• 의료 AI 발전 기여: 우르두어권 의료 기록의 구조화, 자동 진단 지원, 의료 빅데이터 분석 등 실용적인 NLP 응용 분야에 기여할 수 있는 토대를 마련했습니다.
• 향후 과제: 데이터셋의 크기와 다양성을 확장하여 모델의 일반화 능력과 견고성을 높이고, 더 많은 임상 텍스트 소스를 포함할 계획입니다.

이 논문은 저자원 (Low-resource) 언어인 우르두어의 의료 분야 NLP 연구에 중요한 이정표가 되는 작업입니다.