Reliable Extraction of Clinical Follow-Up Instructions: A Hybrid Neural-Symbolic Pipeline

技術的概要：臨床的フォローアップ指示の信頼性ある抽出

問題定義
外来臨床ノートには、「2 週間後に脳 MRI」など、臨床的行動と将来の時間を結びつける重要なフォローアップ指示が含まれている。これらを（行動、日付）の構造化されたペアとして抽出することは、スケジュール設定、監査、ケアの調整に不可欠である。しかし、現在の生成アプローチは、完全な指示を信頼性高く再構築する際にしばしば失敗する。これらのモデルは臨床的行動を正しく特定できる場合もあるが、特定の日程を見落としたり、正しい時間表現を正しい行動に結びつけられなかったりする。この失敗は、リンク付けと時間的演算が生成モデルのデコーディング過程において暗黙的に行われるため、エラーの検査やデバッグが困難になることに起因する。課題は、複数の行動、略語、過去のノイズが存在する状況下で、行動のスパンを認識し、時間表現を認識し、正しい時間を正しい行動に結びつけ、相対的な日付を正規化する（例：「2 週間後」を特定の暦上のオフセットに変換する）ことにある。

手法
著者は、エンドツーエンドの生成に依存するのではなく、抽出タスクを学習された意味解釈と決定論的記号変換に分解するハイブリッド神経・記号パイプラインを提案する。

1. タスク定式化: タスクは、TestSpecification（予定された行動）とTimeSpecification（タイミングのフレーズ）という 2 つのエンティティタイプを、明示的なScheduledFor 関係で結びつけて抽出することとして定義される。出力は、受診日に対する標準化された（行動、日数オフセット）ペアの集合である。
2. 神経コンポーネント:
   • エンコーダ: 共有の BioBERT エンコーダが、スライディングウィンドウを介してノートテキストを処理する。
   • エンティティタグ付け: BIO タギングヘッドが、行動と時間のスパンを特定する。
   • 関係抽出: 明示的な時間を持たない行動用の「なし」オプションを含め、候補となる（行動、時間）ペアをスコアリングする双アフィンリンカー。
   • トレーニング: モデルは、エンティティタグ付けと関係抽出の結合目的関数でトレーニングされる。
3. 記号/決定論的コンポーネント:
   • オントロジーの標準化: 表面の行動言及は、神経モデルを再トレーニングすることなく、編集可能なオントロジーを通じて 28 の標準ラベルのいずれかにマッピングされる。
   • 時間的正規化: 結びつけられた時間フレーズは、決定論的ルール文法（例：「N 週間後」$\rightarrow$ $7N$）とフォールバックパーサーを使用して、整数の日数オフセットに変換される。重要なのは、神経モデルが暦上の演算を一度も行わないことである。
4. データセット: 評価は、5 つの専門分野にわたる制御されたスケルトンから生成された2,000 ノートの合成外来コーパスで行われた。データセットには、複数の行動を含むノート、略語的な時間形式、過去のノイズなどのストレス要因が含まれている。
5. 分割: 評価には行動非重複分割が使用される。トレーニング用 18 種類の行動、検証用 4 種類、テスト用（OOV）として保持された 6 種類であり、これらに加えて分布内（既出）のテストセットが存在する。
6. ベースライン: このパイプラインは、ゼロショットのGPT-4o-miniおよびLoRA 微調整 LLaMA-3 8Bと比較される。これらはいずれも、（行動、日付）のペアを直接生成するようプロンプトされている。

主な貢献

1. 構造化された定式化: 明示的な TestSpecification、TimeSpecification、およびScheduledFor 関係エンティティを用いたフォローアップ抽出の定義であり、厳格なセットレベルの正しさを基準とする。
2. ハイブリッドアーキテクチャ: 学習されたスパン/リンク抽出と決定論的な日付演算を分離するパイプラインにより、暦上の論理が学習モデルに委ねられることがないことを保証する。
3. 合成ベンチマーク: 正確なグランドトラーストと行動非重複分割を備えた 2,000 ノートのコーパスであり、未見の行動タイプへの一般化を厳密にテストする。
4. 比較評価: 生成モデルは行動認識においては優れているが、ハイブリッドアプローチと比較して完全なペアの再構築においては著しく失敗することを示す、直接比較の結果。
5. エラー分析: 生成モデルの失敗は、暗黙的なリンク付けと演算エラーに起因することを示す証拠であり、これらはハイブリッドパイプラインにおいて露呈し、監査可能である。

結果
既出テスト分割（分布内）において、ハイブリッドパイプラインはTest-Time Pair F1 が 0.997、平均絶対誤差（MAE）が 0.00 日を達成した。OOV テスト分割（未見の行動タイプ）においても、Pair F1 は 0.986、MAE は 0.00 日を維持した。

これに対し、生成ベースラインは高いTestSpecification F1（LLaMA-3: 約 0.99; GPT-4o-mini: 約 0.96）を達成したが、Pair F1では急激な低下をきたした。

• LLaMA-3: Pair F1 は既出で約 0.51、OOV で約 0.57。
• GPT-4o-mini: Pair F1 は既出で約 0.53、OOV で約 0.53。
• MAE: 生成モデルは significant な日付エラーを示した（既出データで 21〜23 日の MAE など）、一方ハイブリッドパイプラインは演算エラーがゼロであった。

ハイブリッドパイプラインの Pair F1 および Offset F1 に対する 95% 信頼区間は、生成ベースラインのそれらと重ならず、統計的に有意な差（$p < 0.05$）を示している。

意義と主張
本論文は、予定されたフォローアップ指示の抽出という特定のタスクにおいて、タスクを意味的抽出と決定論的正規化に分解することが、直接の生成モデリングを上回ると主張する。主な意義は以下の点にある。

• 信頼性: ハイブリッドアプローチは、ほぼ完全なエンドツーエンドの正しさとゼロの演算エラーを達成するのに対し、生成モデルは行動と時間を正しく結びつけることに苦戦する。
• 一般化: パイプラインは、神経コンポーネントが語彙を暗記するのではなく表面特徴を学習し、オントロジーを再トレーニングなしに更新できるため、保持された行動タイプ（OOV）へ効果的に一般化する。
• 監査可能性: 神経コンポーネントと記号コンポーネントを分離することで、システムは特定の失敗モード（例：誤ったスパン、誤ったリンク、誤った正規化ルール）を露呈させ、検査可能にする。これに対し、エンドツーエンドの生成は、デコーディング過程内でエラーの原因（例：誤った日付）を隠蔽する。

著者は明示的に、この結論は制御されたベンチマークに限定され、すべての臨床抽出タスクにおける LLM に対する一般的な批判を構成するものではないと述べている。結果は、生成デコーディングにおける暦上の演算の難しさを浮き彫りにし、曖昧さに対して学習モデルを割り当て、演算に対して決定論的モジュールを使用する「信頼性優先」のパターンが、安全性に関連する臨床抽出において効果的であることを示唆している。本論文は、データの合成性質に関する限界と、実際の EHR ノートおよびオントロジーの拡張に関する将来の検証の必要性を認めている。