CRAFT: LLM-Based Iterative Refinement for Temporal Reasoning over Clinical Narratives

技術要約：臨床ナラティブにおける時間的推論のためのCRAFT

問題定義
臨床ナラティブ内における症状の時間的進行を理解することは、疾患のモニタリング、安全性監視、および因果関係の評価において不可欠である。しかし、臨床報告書は多くの場合、明示的な時間的アンカー（例：固定された日付）を欠いており、代わりに暗黙的な手がかり、相対的な表現、またはステータスの更新に依存しており、これらが時系列の順序を不明瞭にしている。既存の時間的推論研究は、マルチビジット（複数回の受診）かつタイムスタンプが豊富な記録におけるペアワイズの関係分類に焦点を当てているが、単一の報告書による、アンカーが乏しいナラティブから構造化された段階的な症状の軌跡を再構成するという点において、大きなギャップが存在する。現在のアプローチは、時間的手がかりが乏しい、あるいは相対的な自由記述テキストにおいて、イベントの順序付けを行う際の労働集約的な性質に苦慮している。

手法：CRAFTフレームワーク
これに対処するため、著者らは、弱い時間的アンカリング下での反復的な時間的推論のために設計された、ジェネレーター（生成器）とベリファイア（検証器）によるフレームワークであるCRAFT（Clinical Refinement with Adaptive Feedback for Temporal ordering）を提案する。

• タスク定式化: 目標は、ナラティブ $x_r$ から抽出された臨床所見のリスト $F(r)$ に対して、空ではないタイムバケット（ステージ）の順序付けられたシーケンスを予測することである。モデルは、エンティティ抽出を行うことなく（所見リストは提供される）、同時に発生した所見をグループ化し、これらのグループを時系列に従って順序付ける必要がある。
• 反復ループ: CRAFTは、完全に自動化されたループとして機能する：
  1. Generator (生成器): ナラティブ、所見リスト、および前回のイテレーションからのフィードバックに基づき、候補となる時間的シーケンス（JSONリストのバケット）を提案する。
  2. Verifier (検証器): 候補を多基準の加算型ルーブリック（有効なJSON、正しい順序、一意の症状使用、適切なグルーピング、およびナラティブの手がかりとの整合性）に照らしてスコアリングする。
  3. Feedback Mechanism (フィードバック機構): スコアが閾値（$\theta=3$）を下回る場合、検証器は特定の違反（例：「一緒にグループ化された症状が明確に同時ではない」など）を記述した的を絞ったフィードバックを返す。その後、生成器はこのフィードバックを取り入れてタイムラインを再生成する。
  4. Termination (終了条件): スコアが閾値を満たすか、最大イテレーション予算（$T_{max}=4$）に達するまで、ループは継続される。
• 構成: 本論文では、各コンポーネントの寄与を分離するために、いくつかの構成を評価している：
  • CRAFT-Full: フル再生成ジェネレーター + 加算型ルーブリック検証器。
  • PIVOT: フル再生成ジェネレーター + アンカーベースの検証器（ハブとしてワクチン接種日を使用）。
  • GUIDE: エディット条件付きジェネレーター（ローカル編集のみ） + アンカーベースの検証器。
  • CRAFT-G: エディット条件付きジェネレーター + 加算型検証器。
  • CRAFT w/o V: 検証を行わないシングルパス生成。

主な貢献

1. CRAFTフレームワーク: 制約ベースのフィードバックを用いて候補となるタイムラインを洗練させる、反復的な構造化予測タスクとして時間的軌跡の再構成をモデル化した、新しいジェネレーター・検証器アーキテクチャ。
2. MedTempoベンチマーク: Vaccine Adverse Event Reporting System (VARES) から派生した新しいデータセットの導入。これには、3種類のCOVID-19ワクチン（Pfizer、Moderna、Janssen）にわたる5,347件のナラティブ報告が含まれる。決定的なことに、そのうち3,166件の報告は、単一報告・アンカー不足の文脈において明確な症状の進行を示すように特別に選択された、エキスパートによる段階的な時間的順序付けのゴールドスタンダードが付与されている。
3. 包括的な評価: 4つのLLMバックボーン（GPT-4.1、Claude Sonnet 4.5、Llama-3.3-70B、MedGemma-27B）にわたる広範な実験により、反復的な洗練の有効性と、ジェネレーターおよび検証器の各コンポーネントの具体的な寄与を明らかにしている。

実験結果

• CRAFT-Fullの有効性: すべての4つのモデルにおいて、CRAFT-Fullはベースラインおよびアブレーション（切除実験）と比較して、一貫して最も高いExact Match (EM) スコアを達成した。例えば、GPT-4.1では、CRAFT-FullはPIVOTに対して+1.0、GUIDEに対して+1.6のEM向上を実現した。反復的な洗練プロセスは極めて重要であり、GPT-4.1においては、第1イテレーションの26.90から、第4イテレーションまでに35.61へとEMが上昇した。
• モデルの能力と洗練: 明確な能力階層が観察された：Claude Sonnet 4.5 > GPT-4.1 > Llama-3.3-70B > MedGemma-27B。ただし、反復の有用性はモデルによって異なった：
  • GPT-4.1 は複数のイテレーションから大きな恩恵を受け、着実な改善を示した。
  • Claude Sonnet 4.5 は初回のパスで高品質な出力を示し、さらなるイテレーションによる利得は最小限であった。
  • Llama および MedGemma は迅速に収束し、多くの場合、最初のイテレーション後に終了した。これは、彼らの出力が検証器によって早期に受理されたか、あるいはフィードバックに基づいて効果的に行動する能力が欠けていることを示唆している。
• コンポーネントの寄与: アブレーション研究により、検証器を取り除いた場合（CRAFT w/o V）、特にスキーマ違反を修正する必要がある弱いモデルにおいて、大幅なパフォーマンス低下が起こることが明らかになった。また、フル再生成ジェネレーターをエディット条件付きジェネレーターに置き換えた場合（CRAFT-G）は、一貫してパフォーマンスが低下した。これは、反復的なフィードバックの下で品質を維持するためには、フル再生成が必要であることを示している。
• ワクチンの層別化: パフォーマンスはワクチンタイプによって異なり、Modernaのナラティブは最も高い精度を示し、Pfizerのナラティブは最も低い精度を示した。これは、Pfizerのナラティブにおける問題が、グループ内の順序エラーではなく、正しい時間的グループへの分割（セグメンテーション）にあることを示唆している。

意義と主張
本論文は、CRAFTが、これまで十分に探索されてこなかった領域である、単一報告の臨床ナラティブにおける症状の進行を順序付けるための標準的な手法を提供すると主張している。結果は、制約ベースの検証器を介した反復的な洗練が、モデルの能力に応じて、一貫して時間的順序付けの精度を向上させることを示している。著者らは、MedTempoベンチマークが、アンカーの乏しいデータに対してエキスパートによって検証された軌跡を提供することで、臨床的な時間的推論における重要なギャップを埋めるものであると断言している。結論として、CRAFT-Fullはすべてのモデルティアにおいて最強の構成であるが、洗練の挙動の違いは、適応的な検証戦略がさらなる最適化を実現できる可能性を示唆している。今後の課題として、MedTempoの非時間的サブセットを活用して時間的証拠特定モジュールを訓練し、統一されたエンドツーエンドのフレームワークを目指すことが提案されている。