Serialisation Strategy Matters: How FHIR Data Format Affects LLM Medication Reconciliation

この論文「Serialisation Strategy Matters: How FHIR Data Format Affects LLM Medication Reconciliation（シリアライゼーション戦略は重要である：FHIR データ形式が LLM による薬剤照合に与える影響）」は、臨床現場での薬剤照合（Medication Reconciliation）タスクにおいて、FHIR（Fast Healthcare Interoperability Resources）データを大規模言語モデル（LLM）に提示する際のデータ形式（シリアライゼーション戦略）がモデルの性能に決定的な影響を与えることを実証した研究です。

以下に、問題定義、手法、主要な貢献、結果、そしてその重要性について詳細な技術的サマリーを記述します。

1. 問題定義 (Problem)

• 背景: 病院の転院や退院時の「薬剤照合」は、薬剤の脱落、重複、誤認を防ぐための高リスクかつ重要なプロセスです。
• 課題: 近年、LLM が構造化された FHIR レコードを用いてこのタスクを支援する提案が増えています。しかし、FHIR R4 標準は、読みやすい薬名ではなく、数値のオントロジーコード（RxNorm, SNOMED など）に依存した深くネストされた JSON 形式で構成されています。
• 未解決の問い: 医療記録の FHIR データを LLM に渡す際、**「どの形式でシリアライズ（変換）するか」**がモデルの性能にどの程度影響するかは、体系的に研究されていませんでした。
  • 生 JSON そのままか？
  • Markdown テーブルか？
  • 臨床ナラティブ（自然言語の文章）か？
  • 時系列タイムラインか？
• 仮説: 従来のパイプラインでは利便性や慣習に基づいて形式が選ばれており、エビデンスに基づいた選択がなされていない。

2. 手法 (Methodology)

本研究は、制御されたベンチマークを用いて、4 つのシリアライゼーション戦略と 5 つのオープンウェイトモデルを比較評価しました。

• データセット:
  • Synthea（オープンソースの患者シミュレータ）を使用して生成された200 名の合成患者データ。
  • 各患者は 10 年以上の薬剤履歴を持ち、アクティブな薬剤数は 1〜16 種類（中央値 5）。
  • 真の正解（Ground Truth）は、FHIR バンドル内の status="active" の MedicationRequest リソースから抽出された薬名の集合。
• 評価指標:
  • 薬名の完全一致（Exact String Match）に基づくPrecision（適合率）、Recall（再現率）、F1 スコア。
  • 合計 4,000 回の推論実行（200 患者 × 4 戦略 × 5 モデル）。
• 4 つのシリアライゼーション戦略:
  1. Raw JSON (A): ネストされた FHIR JSON そのまま（アクティブな薬剤を優先し、100 件に制限）。
  2. Markdown Table (B): 薬名、コード、ステータス、投与日などを列とする平らなテーブル形式。
  3. Clinical Narrative (C): アクティブな薬剤を「現在使用中」という見出しの下に、自然言語の文として記述。履歴は別途セクション化。
  4. Chronological Timeline (D): 日付順にソートされたパイプ区切りのタイムライン形式（アクティブ/履歴の区別なし）。
• 評価対象モデル:
  • Phi-3.5-mini (3.8B)
  • Mistral-7B (7B)
  • BioMistral-7B (7B, 医療ドメイン事前学習済みだが指示微調整なし)
  • Llama-3.1-8B (8B)
  • Llama-3.3-70B (70B)
  • すべて Ollama を通じてローカル環境（AWS g6e.xlarge, NVIDIA L40S）で 4-bit 量子化して実行。

3. 主要な貢献 (Key Contributions)

1. 大規模ベンチマークの確立: 200 患者×4 戦略×5 モデル＝4,000 回の推論を実行し、形式選択が性能に与える影響を定量化した最初の体系的な研究。
2. モデルサイズ依存性の発見: シリアライゼーション戦略の最適解はモデルのサイズによって逆転することを発見。
   • 8B 以下のモデル: 「Clinical Narrative」が最良。
   • 70B モデル: 「Raw JSON」が最良。
3. エラーモードの偏りの実証: どのモデル・戦略の組み合わせにおいても、「幻覚（追加）」よりも「欠落（見落とし）」が支配的であることを示した（Precision > Recall）。
4. 小規模モデルの容量限界: 小規模モデルはアクティブな薬剤数が 7〜10 種類を超えると性能が急激に低下し、多剤併用（Polypharmacy）患者を支援できないことを示した。
5. ドメイン事前学習の限界: 指示微調整（Instruction Tuning）を行わないドメイン特化モデル（BioMistral）は、構造化抽出タスクにおいて完全な失敗（F1=0）を招くことを示し、指示従順性の重要性を浮き彫りにした。

4. 結果 (Results)

A. シリアライゼーション戦略の影響

• 8B 以下のモデル（Mistral-7B, Llama-3.1-8B）:
  • Clinical Narrative (C) が圧倒的に優位。
  • 例：Mistral-7B で、Raw JSON (A) の F1 が 0.7247 であるのに対し、Clinical Narrative (C) は 0.9149 と、約 19 ポイントの改善（統計的に有意、p < 10^-10）。
  • 自然言語の構造化された記述は、小規模モデルの推論能力を大幅に向上させる。
• 70B モデル（Llama-3.3-70B）:
  • Raw JSON (A) が最良（F1 = 0.9956）。
  • Clinical Narrative (C) も高水準（F1 = 0.9850）だが、Raw JSON がわずかに上回る。
  • 時系列タイムライン (D) は 70B でも性能が低下（F1 = 0.8742）し、複雑な時系列推論には依然として課題がある。

B. エラー分析：欠落 vs 幻覚

• 欠落の支配: すべての 20 通りの組み合わせで、平均 Precision が平均 Recall を上回った。
  • モデルは「存在しない薬を追加する（幻覚）」よりも、「存在する薬を見落とす（欠落）」傾向が強い。
  • 臨床的含意: 出力は「完全なリスト」ではなく「確信度の高い部分集合」として扱うべき。臨床医のレビューは「何が見落としたか」に焦点を当てるべきであり、誤検知のチェックよりも完了性の確認が優先されるべき。
• 欠落の傾向: 欠落した薬剤名は、保持されたものよりも長い傾向があった（文字数 50 文字を超える薬名が特に見落とされやすい）。

C. 容量の限界（Capacity Ceiling）

• 小規模モデルの限界: Mistral-7B や Llama-3.1-8B は、アクティブな薬剤数が7〜10 種類を超えると Recall が急激に低下する。
  • 多剤併用患者（最もリスクが高い層）において、小規模モデルは実用性を失う。
• 70B モデルの強さ: Llama-3.3-70B は 16 種類のアクティブな薬剤までほぼ完璧な Recall を維持する。複雑な患者にはモデルの規模（パラメータ数）が形式選択よりも重要になる。

D. BioMistral の完全な失敗

• 医療ドメインで事前学習された BioMistral-7B は、すべての戦略で F1 = 0.0000 を記録。
• 出力は意味不明なトークン列か、プロンプトの繰り返し（システムプロンプトのそのままの出力）に終始した。
• 教訓: 医療知識の事前学習だけでは不十分であり、指示微調整（Instruction Tuning）が構造化抽出タスクには必須である。

5. 意義と結論 (Significance & Conclusion)

• 実用的なガイドライン:
  • 7B〜8B モデルを使用する場合: デフォルトとして**「Clinical Narrative」**形式を採用すべき。追加のトレーニングなしで劇的な性能向上が見込める。
  • 70B モデルを使用する場合: 単純な**「Raw JSON」**で十分であり、むしろそれが最良の選択肢となる。
• 臨床安全監査の転換: 従来の「幻覚（誤った薬を追加する）」への懸念よりも、「欠落（必要な薬を見落とす）」が主要なリスクであることを示した。これにより、システム監査の優先順位を「完全性（Recall）」の確保にシフトさせるべきである。
• 再現性: 本研究は Synthea、Ollama、AWS などのオープンソースツールのみを使用し、単一 GPU で再現可能なパイプラインを公開している。

総括:
この研究は、LLM を医療現場に導入する際、単に「どのモデルを使うか」だけでなく、「データをどう提示するか（シリアライゼーション戦略）」が、特に中規模モデルにおいて性能を決定づける重要な変数であることを実証しました。また、多剤併用患者への対応には大規模モデルが必要であること、そして指示微調整の重要性を明確に示すことで、今後の臨床 LLM 展開における重要な指針を提供しています。