Large Language Models to Label CT Radiology Reports for Incidental Findings Found in Lung Cancer Screening: A Comparative Analysis

技術要約：肺がん検診における偶発的所見のためのCT放射線科レポートのラベル付けに向けた大規模言語モデルの活用

問題提起
欧州連合（EU）における肺がん検診（LCS）プログラムの実施は、大量の低線量コンピュータ断層撮影（LDCT）スキャンを解釈する放射線科医のワークロードに関する重大な課題に直面している。肺がんの検出に加え、これらのスキャンはしばしば特定の偶発的所見（SIF）を明らかにする。これには、大動脈弁疾患、気管支拡張症、浸潤影、冠動脈石灰化、肺気腫、間質性肺異常（ILA）、縦隔リンパ節異常、縦隔腫瘤、および甲状腺異常が含まれる。人工知能（AI）は肺結節の検出において進歩しているが、SIFに関するアルゴリズムは依然として開発の初期段階にある。主なボトルネックは、そのようなモデルを訓練するために必要な、アノテーション（注釈）付きの大規模データセットの不足である。NLST（National Lung Screening Trial）のような既存のデータセットには、包括的なSIFのアノテーションが欠けている。臨床的な放射線科レポートは「弱教師あり学習（weak supervision）」のための豊富な情報源となるが、従来のキーワードベースの検索手法では、医学的なニュアンス、否定表現、および用語のバリエーションを捉えることができない。さらに、大規模言語モデル（LLM）は有望であるものの、LCSレポート内のSIFをラベル付けするための検証された戦略、特に異なるプロンプティング技術（例：Chain-of-Thought）の有効性や、プロプライエタリなモデルと比較した軽量でプライバシー保護に優れたオープンソースモデルの性能に関する検証が不足している。

方法論
本回顧的研究では、オランダの放射線科レポートにおける9種類のSIFの有無を自動的にラベル付けするためのLLMの実現可能性と最適な戦略を評価した。

• データセット： 本研究では、オランダの大学病院から収集された300件の胸部/腹部CTレポートを使用している（2003年から2020年まで）。データセットは、多様性を確保するために、2016〜2017年のレポート200件と、1997〜2021年の全範囲からのレポート100件を選択することで構築された。すべてのレポートは匿名化されている。
• 参照標準（Ground Truth）： 32年の経験を持つ一人の一般放射線科医が、9種類のSIFについてレポートを手動でラベル付けし、これを正解とした。
• 評価されたモデル：
  • プロプライエタリ： GPT-5 および GPT-4-Turbo (OpenAI API経由)。
  • オープンソース： Llama-3.1-8B-INST および MedGemma-4B-IT (ローカルにデプロイ)。
  • ベースライン： キーワード検索法 (regex)。
• プロンプティング戦略： 各モデルに対して、以下の4つの異なる戦略をテストした：
  1. V1： 判定基準に関する具体的な指示なしに、9つのSIFすべてをラベル付けする一般的なプロンプト。
  2. V2： 欧州放射線学会の声明に基づく基準を含む、SIFごとの特定のプロンプト。
  3. V3： V2と同様だが、Chain-of-Thought (CoT) 推論を追加。
  4. V4： V3と同様だが、フューショット（few-shot）の例（レポート、推論、出力の3つの例）を追加。
• 評価指標： 一致度は主にCohen's Kappa ($\kappa$) を用いて測定し、Landis and Koch (1977) のカテゴリー（「わずかな一致」から「ほぼ完全な一致」まで）に基づいて解釈した。二次的指標には、感度、特異度、およびF1スコアが含まれる。すべての指標には、ブートストラップ法によって計算された95%信頼区間が含まれる。

主な結果

• 全体的な性能： LLMは、ほとんどのSIFにおいて放射線科医と中程度からほぼ完全な一致を示し、自動ラベル付けへの有用性を検証した。しかし、9つの所見すべてに対して最適な単一のモデルとプロンプトの組み合わせは存在しなかった。
• モデルの性能：
  • GPT-5 は、9つのうち7つのSIF（AVD、気管支拡張症、浸潤影、CAC、肺気腫、MLN、およびTAを含む）において、実質的またはほぼ完全な一致を達成した。
  • MedGemma-4B-IT（オープンソース）は、ほとんどのSIFにおいて実質的またはそれ以上の高い一致を示し、特に間質性肺異常（ILA）については、最高のプロプライエタリモデルを上回る性能を示した ($\kappa = 0.48$ 対 $0.46$)。
  • Llama-3.1-8B-INST は、一般的にプロプライエタリモデルやMedGemmaよりも低い一致度を示した。
  • キーワード検索 は、縦隔腫瘤（MM）に対してのみ最も高い性能を示したが、これはおそらくこの特定の所見に対する言語的バリエーションが低いためであり、否定や文脈の処理が不十分なため、一般的にはLLMに劣っていた。
• プロンプティング戦略： 予想に反して、Chain-of-Thought (CoT) プロンプティング（V3およびV4）は、非CoT戦略（V1およびV2）と比較して、一般的に性能を低下させた。最も高い一致値は、主にV1またはV2で得られた。フューショットの例（V4）を含めることは一致度の向上には繋がらず、場合によっては、モデルが指示への注意を減らしたり、長いプロンプトの無関係な部分に集中したりすることによって、性能を低下させた。
• エラー分析： 不一致は、モデルによる文脈の誤解（例：大動脈弓の記述に基づいたAVDのラベル付け）や、CoTによる「考えすぎ」による不合理な正当化から生じていた。

意義と主張
著者らは、LLMが将来のSIF検出アルゴリズムのためのトレーニングデータを拡張するための、「弱アノテーション（weak-annotation）」の実行可能なツールであると結論付けている。本研究は以下の点を強調している：

1. 普遍的な戦略の不在： すべてのSIFに対して最適な単一のモデルやプロンプトは存在せず、選択は特定の所見に合わせて調整する必要がある。
2. プロンプトエンジニアリング： この特定のタスクにおいては、簡潔な非CoTプロンプトの方が、CoTやフューショットのアプローチよりも優れている。
3. オープンソースの生存能力： 軽量なオープンソースモデル（特にMedGemma-4B-IT）は、特定の所見において、より重いプロプライエタリモデルに匹敵するか、あるいはそれを上回る性能を発揮でき、ローカル展開のためのプライバシー保護に優れたコスト効率の高い代替手段となる。
4. 推奨事項： 著者らは、簡潔な非CoTプロンプトから始まり、プライバシーが重要である場合には軽量なオープンソースモデルを利用するという、将来の弱教師ありラベル付けのためのパイプラインを提案している。彼らは、大規模な展開の前に、モデルおよびプロンプトの選択が、各特定の所見に対してエキスパートがラベル付けしたデータセットに対して検証されるべきであることを強調している。

限界
本研究はいくつかの制約を認めている。データセットのサイズが小さい（300件のレポート）ため、縦隔腫瘤のような稀な所見については症例数が非常に少なく、統計的な確実性に限界がある。また、単一の放射線科医を参照標準としているため、読者間変動の評価ができていない。本研究は単一センターのオランダのレポートに限定されており、LLMの急速な進化により、これらの結果が将来のモデルの能力を反映しない可能性がある。研究の探索的な性質から、モデル間の統計的な有意差検定は行われなかった。