StrokeID-NER : A Stroke Named Entity Recognition Dataset for Indonesian Patient- Generated Health Queries

技術要約: StrokeID-NER

問題提起
脳卒中はインドネシアにおける死因および障害の主要な原因であるが、臨床的な自然言語処理（NLP）ツールによる脳卒中のトリアージは、患者が生成したテキストに特化したドメイン固有の注釈付きリソースの不足によって阻害されている。Alodokter.comのようなデジタルヘルスプラットフォームには膨大な非公式の健康に関するクエリのアーカイブが存在するが、これらのテキストは独自のNLP上の課題を提示している。具体的には、極端な綴りのバリエーション、地域方言（例：ジャワ語）の使用、素人による比喩表現、コードミキシング（言語混在）、および文化的に特定の時間的参照（例：イスラム暦の行事）などである。既存のインドネシア語医学用NERデータセットは、フォーマルな臨床記録、健康ニュース、または患者と医師の混合ダイアログに焦点を当てており、非公式で患者のみによる脳卒中クエリ特有の言語的・臨床的な複雑さに対処できていない。

手法
本研究では、以下の4つのフェーズを経て構築された、特化した名前付きエンティティ認識（NER）データセットおよびベンチマーキングフレームワークであるStrokeID-NERを紹介する。

1. データ構築: データセットは、「Indonesia-medical-qna」データセット（Alodokter.comから取得）からフィルタリングされた1,742件の患者クエリで構成されており、脳卒中および出血性脳卒中のトピックにのみ焦点を当てている。患者のみによる入力に依存する現実世界のトリアージ条件をシミュレートするため、医師の回答は除外されている。
2. アノテーション・スキーム: クエリは、4つの臨床に基づいたエンティティタイプにわたる9つのタグを用い、BIO（Begin-Inside-Outside）スキームを用いてアノテーションされた。
   • 症状 (SYM): 身体的/神経学的徴候（例：lemas, drodog）。
   • 診断 (DGN): 脳卒中の亜型および疾患（例：stroke ringan, pendarahan otak）。
   • 時間 (TMP): 発症、持続期間、およびタイミング（例：tiba-tiba, saat hari ke-20 puasa）。
   • リスク要因 (RF): 既往症およびデモグラフィックス（例：hipertensi, usia 65 tahun）。
   • 検者間一致度は層化サンプルを用いて評価され、Cohen's Kappa $\kappa = 0.857$ を示した。
3. データセット統計: コーパスには6,765個のエンティティスパンが含まれる。決定的な特徴は、高いハパックス率（一度しか出現しない固有の表現）であり、Diagnosis（診断）の72.0%からRisk Factors（リスク要因）の86.9%に及ぶ。これは、テキストの非公式かつ多様な性質を反映している。
4. ベンチマーキング: 5つのNERシステムを、層化された訓練/検証/テスト分割（1,211/256/275クエリ）で評価した。
   • M1: IndoBERT-base + Linear head
   • M2: IndoBERT-base + CRF layer
   • M3: XLM-RoBERTa-large (多言語) + Linear head
   • M4: IndoBERT-large + Linear head
   • Baseline: ゼロショット設定で評価されたGPT-5.4
   • 評価指標: seqevalを用いたスパンレベルのマクロ平均F1スコア。

主な結果

• モデル性能: ファインチューニングされたXLM-RoBERTa-large (M3)が、マクロF1値0.7823で最高の性能を達成した。これは、単一言語のIndoBERT-large (M4, F1=0.7614) およびゼロショットのGPT-5.4ベースライン (F1=0.6682) を、それぞれ2.1ポイントおよび11.4ポイント上回った。
• エンティティ別の洞察:
  • 診断 (DGN) は、「stroke」とその変種が高い頻度で出現するため、最も認識しやすいエンティティであった (F1 0.86–0.89)。
  • 症状 (SYM) とリスク要因 (RF) は、高いハパックス率と相関しており、最も困難であった。
  • ゼロショットLLMはDGNについては同等の性能を示したが、非公式な表現や地域用語の把握に失敗し、SYMおよびRFにおいて大幅に遅れをとった。
• エラー分析:
  • ハパックス制約: ハパックス率とF1スコアの間には強い負の相関が存在する。偽陰性スパンの68.3%は、4つのファインチューニング済みモデルすべてによって見逃されており、これはモデルのアーキテクチャではなく、語彙の網羅性に起因する性能の天井を示している。
  • ファインチューニング vs ゼロショット: ファインチューニング済みモデルは、ゼロショットモデルが見逃した204個のスパンを正しく特定したが、その逆（ゼロショットがファインチューニング済みを上回った場合）はわずか57個であった（3.6:1の比率）。この優位性は、SYM（4.6:1）およびRF（7.0:1）で最も顕著であった。
  • バイナリ vs 結合学習: 特定のエンティティに対してバイナリ分類器を訓練することは、DGNおよびTMPの性能を向上させたが、RFの性能を0.08 F1ポイント低下させた。これは、リスク要因を特定するためにはエンティティ間の文脈が重要であることを示唆している。

意義と主張
本論文は、主に4つの貢献を主張している。

1. 初の公開コーパス: インドネシア語の、特に非公式な患者生成テキストを対象とした、臨床に基づいた脳卒中NERのための初の公開コーパスをリリースした。
2. ベンチマーキングの洞察: 低リソース言語における非公式な臨床的NERにおいては、多言語事前学習（XLM-RoBERTa）が、単一言語モデルの規模を拡大すること（IndoBERT-large）よりも大きな性能向上をもたらすことを示した。これは、語彙の多様性が高いエンティティにおいて特に顕著である。
3. 言語学的分析: 標準的なNLPリソースでは捉えきれない、インドネシア語の脳卒中クエリにおける独自の言語現象（綴りのバリエーション、ジャワ語の口語、文化的に特定の時間的表現）を文書化した。
4. ファインチューニングの必要性: ドメイン固有のファインチューニングが、非公式な言語や臨床的文脈を扱う場合、大規模言語モデルのゼロショットプロンプティングを大幅に上回ることを実証的に示した。

著者らは、今後の性能向上はモデルのアーキテクチャではなく、語彙の網羅性によって制約されると結論付けている。彼らは、追加のアノテーションやデータ拡張を通じて訓練語彙を拡大することが、アーキテクチャの変更よりも効果的な道筋であると断じている。データセット、ガイドライン、およびモデルは、さらなるインドネシア臨床NLP研究を支援するために公開されている。