INFORM-CT: 腹部 CT における偶発的所見の管理に向けた LLM と VLM の統合に関する技術的サマリー

本論文は、腹部 CT スキャンにおける「偶発的所見（Incidental Findings: IF）」の管理を自動化し、臨床ガイドラインに準拠した効率的かつ高精度な報告を可能にする新しいフレームワーク**「INFORM-CT」**を提案するものです。放射線科医による手動検査の時間的負担とばらつきを解消するため、大規模言語モデル（LLM）と基盤となる視覚言語モデル（VLM）を「計画・実行（Plan-and-Execute）」型のエージェントアーキテクチャに統合しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義と背景

• 偶発的所見の課題: 腹部 CT スキャンでは、多くの偶発的所見（良性であることが多いが、臨床的に重要である可能性のある所見）が検出されます。これらは確立されたガイドラインに従って報告・管理される必要がありますが、放射線科医による手動検査は時間がかかり、読影者間のばらつきが生じやすいという課題があります。
• 既存手法の限界:
  • 深層学習ベースの異常検知: 正常パターンの分布を学習し外れ値を検出する手法や、特定の病変（肝臓の腫瘍など）のセグメンテーションに特化した手法は存在しますが、腹部の複数の臓器にわたる多様な偶発的所見を包括的に検知・分類する汎用的なアプローチは不足しています。
  • 視覚言語モデル（VLM）の限界: CLIP や医療特化の VLM（MERLIN など）はゼロショット分類に優れていますが、複雑な診断タスクや、ガイドラインに即した論理的な推論、詳細な画像処理（サイズ測定、濃度評価など）を単独で実行するには不十分です。

2. 提案手法：INFORM-CT フレームワーク

INFORM-CT は、医療ガイドライン（PDF）を解釈し、それに基づいて Python スクリプトを生成・実行する**「プランナー・エグゼキューター（Planner-Executor）」**アーキテクチャを採用しています。

2.1. ガイドラインの構造化（パース）

• 医療ガイドライン（PDF 形式）を、LLM（GPT-4o）と LangChain を用いて解析します。
• 図表、表、脚注、テキストを抽出し、チェック、検出、測定、推奨事項を含む構造化された**決定木（JSON 形式）**に変換します。

2.2. プランナー・エグゼキューターアーキテクチャ

• プランナー（Planner）:
  • 解析されたガイドライン（JSON）と利用可能なプロトコルを入力として受け取ります。
  • 強力なコード生成能力を持つ LLM（Claude 3.5）が、事前に定義された「ベース関数（Base Functions）」のセットを用いて、Python スクリプトを生成します。
  • このスクリプトは、ガイドラインの論理（「もし〜なら」「かつ」「または」など）をコード化し、複雑な診断フローを記述します。
• エグゼキューター（Executor）:
  • 生成された Python スクリプトを実行し、内部のベース関数を呼び出して実際の検出・評価を行います。
  • 実行結果に基づき、最終的な臨床推奨事項を出力します。

2.3. ベース関数（Base Functions）

スクリプト内で呼び出される主要な機能モジュールは以下の通りです：

• 臓器セグメンテーション: TotalSegmentator や nnUNet を基盤とした腹部臓器（肝臓、膵臓、腎臓など）のセグメンテーション。
• 病変・腫瘍セグメンテーション: 腫瘍や病変の検出とセグメンテーション。
• 画像処理計測:
  • 腫瘍径の測定（mm/cm）。
  • グレイレベル強度（Hounsfield 単位）の測定。
  • 境界厚さの測定（ハウスドルフ距離など）。
• ラベラー（Labeler）: MERLIN モデル（3D 腹部 CT 用の SOTA VLM）を用いて、病変の属性（「良性」「疑わしい」「充填様」など）を分類します。

2.4. コード生成プロセス

• 単発の生成ではなく、反復的なフィードバックループを採用しています。
  1. 初期ドラフト生成。
  2. 実行と評価（構文の正しさ、意味的妥当性、停止基準の確認）。
  3. 失敗した場合、フィードバックに基づいて LLM にコードの再生成を依頼し、最終的に実行可能な堅牢なプログラムが完成するまで繰り返します。

3. 主要な貢献

1. 初の包括的な偶発的所見パイプライン: 腹部全域を対象とし、LLM と VLM をエージェントとして統合した、臨床ガイドラインに準拠した自動管理パイプラインを初めて提案しました。
2. PDF から実行可能プログラムへの自動変換: ガイドライン（PDF）から決定木を解析し、複数の視覚サブルーチンを組み合わせた堅牢な Python プログラムを自動生成・実行する「計画・実行」手法を提案しました。
3. 新しいベンチマークの構築: 腹部 CT レポートに基づき、偶発的所見の推奨事項を評価するためのテストデータセットと評価手法を構築しました。

4. 実験結果

• データセット: 6,366 人の患者からなる内部データセット（腹部 CT）を使用。肝臓（168 例）、膵臓（188 例）、腎臓（98 例）の 3 臓器について、ACR（米国放射線学会）のガイドラインに基づいて評価を行いました。
• 評価指標: ガイドラインに基づく「正しい推奨事項」の予測精度と、重み付き F1 スコア。
• 比較対象:
  • ランダム予測: 基準値。
  • Pure MERLIN: 視覚言語モデルのみを使用するベースライン（ガイドラインのパスと患者情報をテキストとして入力し、類似度で判定）。
  • INFORM-CT: 提案手法。
• 結果（肝臓の例）:
  • Pure MERLIN: 精度 12.5% / 重み付き F1 14.33
  • INFORM-CT: 精度 63.09% / 重み付き F1 61.38
  • 同様に、膵臓と腎臓においても、Pure MERLIN を大幅に上回る性能を示しました（膵臓：41.48% vs 11.17%、腎臓：60.0% vs 48.8%）。
• 説明可能性（Explainability）:
  • 決定木内のどのパス（論理経路）で結論に至ったかを評価したところ、INFORM-CT は放射線科医のレポートと一致する説明を 54.76% の精度で生成しましたが、Pure MERLIN は 4.76% にとどまりました。
• アブレーション研究:
  • セグメンテーション機能を VLM に置き換えたモデル（アブレーション版）では精度が 20.45% に低下しました。これは、高精度なセグメンテーションがモデルの成功に不可欠であり、VLM 単独では代替できないことを示しています。

5. 意義と結論

• 臨床的価値: 偶発的所見の管理を自動化し、ガイドライン遵守を担保することで、放射線科医の業務負荷を軽減し、診断の標準化と効率化を可能にします。
• 技術的革新: 従来の VQA（視覚質問応答）ベースのアプローチが単純な関数呼び出しに留まるのに対し、複雑な画像処理（サイズ、濃度、境界など）と論理的推論を組み合わせる「コード生成・実行」アプローチを医療画像診断に応用した点に革新性があります。
• 将来展望: 基盤となるセグメンテーションモデルや VLM の性能向上が、さらに精度の向上に寄与すると予想されます。また、特定の病院のプロトコルや異なる医療機関のガイドライン（ESR など）への適応も容易です。

総じて、INFORM-CT は、LLM の推論能力と VLM/画像処理モデルの知覚能力を「エージェント」によって統合し、医療ガイドラインに基づく複雑な診断タスクを自動化する有効な枠組みを実証しました。