FMI@SU ToxHabits: スペイン語臨床テキストにおける有害習慣の抽出に向けた LLM 性能評価

本論文は、スペイン語の臨床テキスト（症例報告書など）から「有害習慣（Toxic Habits）」に関連する命名実体（Named Entities）を認識・抽出する手法を提案し、BioCreative IX ワークショップの共有タスク「ToxHabits」への参加結果を報告したものです。以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義

臨床現場では、退院サマリーや症例報告書など、構造化されていない非構造化データが臨床情報の約 80% を占めています。これらを自動処理することは困難ですが、構造化された情報を抽出することは臨床研究の進展や患者ケアの向上に不可欠です。
特に、世界中で問題となっている薬物乱用や依存症（タバコ、アルコール、大麻、その他の薬物）に関する情報の抽出は重要です。
本タスク（ToxHabits）の目的は、スペイン語の臨床テキストから以下の 2 つのサブタスクを行うことです。

• サブタスク 1（本論文の対象）: 薬物使用・乱用に関する言及（トリガーフレーズ）を検出し、4 つのカテゴリ（タバコ、アルコール、大麻、薬物）に分類する命名実体認識（NER）タスク。
• サブタスク 2: 検出されたトリガーの属性（種類、使用方法、量、頻度、期間、履歴、状態など）を特定するタスク。

本チームは時間的制約により、サブタスク 1 のみに参加しました。

2. 手法

提案手法は、大規模言語モデル（LLM）の「イン・コンテキスト・ラーニング（文脈学習）」能力を活用するアプローチです。主に OpenAI の GPT-4.1 モデルを使用し、以下のステップで構成されます。

1. テキストの分割: 症例報告書を改行に基づいてセクションに分割し、入力テキストを短くすることでモデルの精度向上を図りました。
2. Few-shot 学習: 訓練データからランダムに 5 つの例をサンプリングし、プロンプトに含めてイン・コンテキスト・ラーニングを行いました。
3. 構造化出力の生成: プロンプトでタスクを説明し、モデルにタバコ、アルコール、大麻、薬物の各カテゴリに含まれるフレーズを構造化された形式で抽出させます。
4. スパンの特定: 抽出されたフレーズを元のテキスト内で検索し、該当する文字列の範囲（スパン）を特定します。重複する言及がある場合は、訓練データで短いスパンがラベル付けされる傾向があるため、より短いスパンを選択します。
5. 最適化:
   • DsPy ライブラリを使用したプロンプト最適化（MIPROv2）を試みました。
   • 手動によるプロンプトの微調整を行い、精度と F1 スコアの向上を図りました。
   • 評価指標として、文字レベルの Intersection over Union (IoU) を最適化対象としました。

3. 主要な貢献

• スペイン語臨床 NER における LLM の有効性検証: 英語以外の言語、特にスペイン語の臨床テキストにおける LLM による NER の性能を実証しました。
• Few-shot プロンプティングの最適化: ゼロショット、3/5/7 例の Few-shot、および DsPy による自動最適化、手動プロンプト調整を比較し、GPT-4.1 による 5 例の Few-shot プロンプティングが最も優れた性能を示すことを実証しました。
• エラー分析と限界の明確化: 実体境界の特定（特に否定語や属性情報の混入）が主要な誤り源であることを特定し、今後の改善点（境界調整や後処理）を提案しました。

4. 結果

テストセットにおける評価結果は以下の通りです。

• 最高性能: GPT-4.1 Few-shot（5 例）モデルが、F1 スコア 0.65（精度 0.59、再現率 0.72）を達成しました。
• ベースラインとの比較:
  • 辞書ベースのモデルは再現率が高い（0.87）ものの精度が低く、F1 は 0.60 でした。
  • 微調整された BERT ベースモデル（Spanish Clinical RoBERTa）は開発セットでは 0.79 の F1 を示しましたが、テストセットでの最終提出結果は論文の表 5 に示される GPT-4.1 Few-shot の 0.65 が最高値として報告されています（※表 3 の開発セットでは RoBERTa が 0.79 と高いですが、表 5 のテストセット提出結果では GPT-4.1 Few-shot が 0.65 で最上位となっています）。
• ハイブリッドアプローチ: 辞書ベースと GPT モデルを組み合わせる試みは、むしろ性能を低下させる結果となりました。
• 部分一致評価: 予測された実体が正解実体を完全に含む割合（GC）や、タイプも一致する割合（GCT）を測定したところ、GPT-4.1 は正解実体の約 78% を含むフレーズを抽出しており、実体の一部を正しく捉える能力は高いことが示されました。

5. 意義と考察

• 多言語対応の優位性: 微調整された BERT モデルに比べて LLM は特定の言語での学習データが不足していても、少数の例（Few-shot）と適切な指示（プロンプト）によって多言語（ここではスペイン語）の臨床 NER を実行できる点に大きな意義があります。
• 課題と今後の展望:
  • 境界の精度: モデルは正しい実体を含むが、否定語（例：「No fumador」を「fumador」として抽出）や属性情報（量、方法など）を含めて過剰に長いスパンを抽出する傾向がありました。
  • 後処理の必要性: 抽出されたスパンの境界を調整する後処理ステップや、実体の確率を分類する専用ステップを導入することで、精度をさらに向上できる可能性があります。
  • 例の選択: 各レコードに対して意味的に類似した例を選択する kNN Few-shot 手法の導入は、今後の有望な研究方向です。

結論として、本手法はスペイン語臨床テキストにおける有害習慣の抽出において有望な結果（F1 0.65）を示しました。LLM は多言語対応と柔軟な指示に従う能力において優れており、臨床 NER の分野、特に多言語環境における研究の新たな方向性を示すものと言えます。