EPPC-OASIS: Ontology-Aware Adaptation and Structured Inference Refinement for Electronic Patient-Provider Communication Mining in Secure Messages

技術概要：EPPC-OASIS

問題定義
安全な患者 - 医療提供者間のメッセージには、ケアの調整、感情的懸念、共有意思決定など、臨床的に重要なコミュニケーション行動が豊富に含まれており、これらを大規模に手動で特徴づけることは困難です。電子患者 - 医療提供者コミュニケーション（EPPC）フレームワークは、これらの行動をコード化するための構造化されたオントロジーを提供しますが、自動化された抽出は依然として課題です。このタスクは単一ラベル分類以上のものを必要とし、モデルはコミュニケーション行動を特定し、高レベルのコードと具体的なサブコードの階層システムにマッピングし、これらの予測を元のメッセージからの特定のテキストスパンに根拠付ける必要があります。

現在のアプローチは、主に 2 つの限界に直面しています：

1. 表現のギャップ: 標準的な教師あり微調整（SFT）は、注釈を孤立した出力シーケンスとして扱い、EPPC オントロジーの階層的、不均衡、かつ意味的に隣接する性質を活用できていません。その結果、モデルは、親コードの誤った下に妥当なサブコードを割り当てたり、意味的に類似した行動を混同したりするなど、構造的な誤りを犯すことがよくあります。
2. 推論の硬直性: 推論は通常、単一の生成ステップとして扱われます。しかし、EPPC 抽出における誤りは、ラベル割り当てと証拠の根拠付け（スパン選択）において異なって現れます。貪欲な出力は正しいスパンを持つが誤ったサブコードを持つ場合があり、サンプリングされた出力は正しいラベルを持つがスパンがずれている場合があります。標準的な手法は、これらの異なる失敗モードを同時に処理しません。

手法
著者は、構造化された EPPC 抽出を改善するために設計された 2 段階のフレームワーク、EPPC-OASISを提案します。これは、オントロジー認識適応（トレーニング）と構造化推論改善（推論）から構成されます。

1. オントロジー認識適応（トレーニング）
核心的な革新は、EPPC オントロジー構造をワッサーシュタイン整列信号を使用して微調整目的に直接統合することです。

• オントロジーベクトル構築: ゴールド注釈は、アクティブなコードとサブコードの和集合を表すマルチホットベクトルに変換されます。
• オントロジー類似性事前分布: コード記述間の意味的類似性に基づいて事前分布行列（$P$）が構築されます。これは、例間の目標類似性を定義し、平坦なラベルの重なりを、EPPC 階層を尊重する構造化された類似性尺度に変換します。
• ワッサーシュタインメモリバンク整列: 標準的なミニバッチにおける関連例の希少性（特に大規模モデルの場合）に対処するため、この手法はすべてのトレーニング例の表現を含む事前充填された凍結メモリバンクを採用します。
  • 各入力に対して、モデルは隠れ状態の類似性に基づいて表現近傍分布（$p_{rep}$）を計算します。
  • これを、目標類似性スコアから導出されたオントロジー近傍分布（$p_{ont}$）と比較します。
  • エントロピー正則化された最適輸送コスト（Sinkhorn 損失）が、これら 2 つの分布を整列させます。
• 目的関数: 総損失は、標準的な教師あり抽出損失（$\mathcal{L}_{SFT}$）と、$\lambda_{ont}$で重み付けされたオントロジー整列損失（$\mathcal{L}_{ont}$）を組み合わせます。これにより、モデルは表現空間を EPPC オントロジー構造を反映するように組織化することが促されます。

2. 構造化推論改善
残留誤差に対処するため、このフレームワークはトレーニング目的を変更することなく、検証と集約を通じて最終的な注釈セットを改善する展開可能な改善層を適用します：

• 思考連鎖自己改善（CoT-SR）: 貪欲な出力を生成し、スパンの根拠付け（逐語的な存在または高いジャカード重なりを確認）を検証し、サポートされていないトリプレットを修正または minor なスパン誤りを修正するために自己改善プロンプトを使用します。
• 自己整合性: 複数の出力をサンプリングし、投票を通じてラベル割り当て（コード/サブコードのペア）を安定化させ、最も高い合意類似性を持つスパンを選択します。
• ハイブリッド修正: 貪欲出力と自己整合性出力の長所を組み合わせます。自己整合性スパンと十分に重なる場合、貪欲予測からの証拠スパンを保持し、ラベルをより安定した自己整合性ラベルに置き換えます。
• セレクター/アンサンブル: スパンの有効性や異なるペアの数などの内部基準を使用して、CoT-SR と自己整合性の候補から最良の予測を選択するか、高容量モデルに対して複数のランダムシードにわたる予測をマージします。

主要な貢献

1. EPPC-OASIS 手法: EPPC コード/サブコードインベントリを使用して微調整中にワッサーシュタイン整列目的を定義する、オントロジー認識適応手法。これにより、モデルの表現がオントロジーの階層構造と整合するように保証されます。
2. 構造化推論フレームワーク: 自己検証、自己整合性、ハイブリッドラベル修正、および選択/アンサンブルを組み合わせた展開可能なパイプライン。ラベル割り当てと証拠の根拠付けにおける特定の失敗モードに対処します。
3. 包括的な評価: 複数のオープンウェイトモデルファミリー（Llama、Mistral、Qwen、DeepSeek）とスケール（1B から 70B）にわたる評価。プロンプティング、標準 SFT、選好ベースの最適化（DPO、IPO など）、および堅牢性指向のベースライン（STaR-DRO）と比較。
4. 診断分析: オントロジー認識トレーニングの効果を推論時の改善から分離するアブレーション研究、および展開可能なパイプラインのパフォーマンスを理論的な上限（コンポーネントごとの最高スコア）から区別する分析。

結果
このフレームワークは、コード、サブコード、スパン、コード＋サブコード、トリプレット（コード＋サブコード＋スパン）のマイクロ平均 F1 スコアを使用して、867 の注釈付き例（5,516 の注釈）からなる匿名化コーパスで評価されました。

• 性能向上: モデルファミリー全体を通じて、最良の展開可能パイプラインは77.13% のコード＋サブコード F1と63.83% のトリプレット F1を達成しました。
• ベースラインとの比較: これらの結果は、最も強力な教師あり微調整ベースラインに対して、それぞれ**+1.39および+2.12**の F1 ポイントの modest ながら一貫した絶対的向上を表しています。
• オントロジーの影響: EPPC-OASIS は、構造的指標（コード＋サブコード F1）において標準的な SFT や選好ベースのベースラインを一貫して上回り、ラベル階層の優れた保存を示しました。選好ベースの手法（DPO など）は正確なスパン局所化において競争力のある性能を示しましたが、EPPC-OASIS はラベルの一貫性を維持する点で優れていました。
• モデル規模: オントロジー認識適応の恩恵は、小規模モデル（例：Llama-3.2-1B）で最も顕著であり、チェックポイントの重み平均を通じて異なるアーキテクチャ（Qwen や DeepSeek を含む）全体でさらに安定化されました。
• アブレーションの知見: オントロジー整列項、メモリバンク、または意味的類似性事前分布を除去すると性能が低下し、向上が単にタスク固有の微調整によるものではなく、構造化された整列信号に特有のものであることを確認しました。

意義と主張
本論文は、構造化された抽出の信頼性を向上させることで、EPPC-OASIS が電子患者 - 医療提供者コミュニケーションのスケーラブルな回顧的マイニングを支援すると主張しています。

• インフォマティクスの実用化: 主な価値は、即時の臨床意思決定支援やリアルタイムの自動化ではなく、コミュニケーションパターンの回顧的研究、品質測定、およびコホートレベル分析を可能にすることです。
• 監査可能性: ラベルとともに根拠付けられた証拠スパンを抽出することで、このシステムは研究者が予測された行動の基盤となるテキストを監査することを可能にし、健康の社会的決定要因（SDOH）のような機微なカテゴリにおいて重要です。
• 方法論的進歩: この研究は、オントロジーを単に事後評価スキーマまたは出力語彙として扱うのではなく、ワッサーシュタイン整列を通じて適応目的に直接組み込むことが、階層的なマルチラベルタスクにおいてより効果的であることを実証しています。
• 留保事項: 著者は、運用使用の前に外部検証が必要であると明確に述べています。現在の結果は、臨床的転帰、トリアージ、またはケアの調整における改善を確立するものではありません。さらに、推論改善パイプラインは、複数のパスまたはサンプリングを含むため計算コストが増加しますが、これは回顧的分析には許容され、リアルタイム展開には最適化（例：蒸留）が必要となる可能性があります。