Expert-level vision-language foundation model for real-world radiology and comprehensive evaluation

現代の病院において、放射線科医の執務室は、病気の不可視な兆候を見つけ出すために人間の目が何千もの画像をスキャンする、強烈な集中力が求められる場所である。胸部の平坦なX線写真から甲状腺の三次元的なスライスに至るまで、これらの画像は単なる写真ではない。それらは、解釈を正しく行うために解剖学と病理学への深い理解を必要とする、複雑なデータセットである。何十年もの間、コンピュータは画像内の特定のパターンを特定するように訓練されてきており、骨折や肺結節を識別できる特化したツールとして機能してきた。しかし、これらのツールは伝統的に単一のタスクに限定されており、医師と対話したり、その推論を自然言語で説明したりすることはできなかった。近年、視覚能力と、言語を理解し生成する能力を組み合わせた新しい世代の人工知能が登場した。ビジョン・ランゲージ・モデル（視覚言語モデル）として知られるこれらのシステムは、医療画像の視覚的世界と臨床報告のテキストの世界との間の溝を埋めることを目的としており、医師が見ているものを見ることができ、かつ専門家のようなニュアンスを持ってそれを記述できるアシスタントとなる可能性を提示している。

研究チームは現在、放射線科の複雑な言語を習得するために特別に設計された「RadFound」と呼ばれる新しいシステムを発表した。一般的な知識や既存ツールの単純な適応に頼ったこれまでの試みとは異なり、この新しいモデルはBLIP-2アーキテクチャに基づいているが、膨大な医学データを用いて洗練されている。研究者たちは、810万枚以上の医療画像と、25万組の画像とその対応するテキスト記述を収集した。このデータセットは19の主要な臓器系と10の画像診断手法を網羅しており、モデルが限定的な選択肢ではなく、幅広い現実世界の症例から学習することを保証している。システムに専門家のように見る方法を教えるために、チームは独自のトレーニング手法を開発した。これは、モデルに画像を見せ、その一部を隠し、その後、欠落した詳細を再構築すると同時に、他の関連する画像と比較させるというものである。このプロセスにより、コンピュータは単一のスキャンの微細な詳細だけでなく、異なる画像が互いにどのように関連しているかという、より広い文脈を学習することができる。これは、放射線科医が現行のスキャンを患者の過去の記録と比較する方法を模倣している。

また、このシステムは、特殊なアライメント（整合）プロセスを通じて、これらの視覚的な洞察と言語を結びつけることを学んだ。単に言葉を画像に一致させるのではなく、モデルは画像とテキストが特定の順序で織り込まれたデータを用いて訓練され、これにより医療報告書の流れを理解することを学んだ。モデルは、例えば2つの異なる角度からのマンモグラフィを比較したり、甲状腺の三次元CTスキャンを分析したりするなど、複数の画像を同時に見ることを伴う指示を処理することを学んだ。この能力により、モデルは、現在のスキャンと以前のスキャンの比較を求めたり、異なる部位にわたる所見の詳細な記述を要求したりするような、複雑な臨床的質問を処理することができる。研究者たちは、医療画像に関する質問への回答、短いキャプションの作成、および胸部X線写真、マンモグラフィ、甲状腺スキャンに対する完全な診断報告書の生成を含む、新たに作成した一連の課題を用いてこのシステムをテストした。

これらのテストの結果、この新しいモデルは、放射線科向けに特別に設計されていない既存のシステムを大幅に上回る性能を示した。医療画像に関する質問に答えるよう求められた際、モデルは、質問が複雑であったり、複数のビューの比較を必要としたりする場合であっても、競合モデルよりもはるかに高い頻度で正解を提供した。モデルがテキストを生成しなければならないタスクにおいて、生成された報告書は文法的に正しいだけでなく、臨床的にも正確であった。研究者たちは標準的なコンピュータ指標を用いてこの成功を測定したが、さらに一歩進んで、人間の医師に報告書を評価させた。これらの評価において、モデルの出力は、読みやすさ、医学的推論、および重要な異常を捉える能力に基づいて評価された。調査結果は、モデルが10年以上の経験を持つシニア放射線科医と同等のレベルで機能しており、場合によってはジュニア放射線科医を凌駕していることを明らかにした。このことは、このシステムが、現代の放射線科における多様で困難なタスクを処理できる、信頼できるパートナーとして臨床ワークフローの中で機能する可能性を持つレベルに達していることを示唆している。

これらの印象的な結果にもかかわらず、研究者たちは、この研究は最終的な解決策ではなく、重要な前進であると慎重に述べている。彼らは、モデルが制御されたテストでは良好なパフォーマンスを示すものの、このようなテクノロジーを日常の病院業務に統合するにはさらなる調査が必要であることを認めている。現在の評価は、報告書の質を判断するために人間の専門家に大きく依存しており、そのプロセスは正確ではあるが、時間がかかり、スケール化が困難である。チームは、将来の研究において、人間のスコアリングのみに依存することなく、これらの報告書の臨床的価値を自動的に測定するより良い方法の開発に焦点を当てなければならないと示唆している。さらに、忙しい病院環境において、このシステムを人間の医師と併用することの実際のインパクトについては、まだ未知数である。それにもかかわらず、RadFoundの開発は、医療画像の独特な複雑さを理解する人工知能を作成することが可能であることを証明しており、いつの日か医師が患者に対してより迅速かつ正確なケアを提供することを助ける強力な新しいツールとなる可能性を提示している。