RadPRISM: Schema-stratified radiology-report supervision for concept-disentangled image representations and visual grounding

コンピュータに、写真を見せたりその物語を読ませたりすることで、世界を理解する方法を教えようとしているところを想像してみてください。これは「ビジョン・ランゲージ（視覚と言語）」学習の核心であり、機械が「見たもの」と「読んだもの」をどのように結びつけるかを試みる人工知能の一分野です。長い間、科学者たちは「ワンサイズ・フィッツ・オール（一律の）」アプローチを用いてコンピュータを教えてきました。つまり、チェストX線写真の一枚と、医師によるレポートの全文をセットでコンピュータに見せ、その巨大な情報の塊として、両者がどのように一致するかを学習させる方法です。これは、新しい言語を学ぶ際に、小説一冊分と、その中のたった一つのシーンの写真を同時に見せられ、「どの単語が画像のどの部分に対応しているのか」をコンピュータが魔法のように理解することを期待するようなものです。この方法は一般的なタスクにはそれなりに機能しますが、特定の詳細を見つけ出す必要がある場合には、非常に不正確になります。もし医師が「心臓は大きいが、肺はクリアである」と書いた場合、標準的なモデルでは、画像のどの部分が心臓に対応し、どちらが肺に対応するのかについて混乱してしまう可能性があります。このような精度の欠如は、AIが「なぜ」その決定を下したのか、あるいは問題がある場所を正確に指し示すことができるのかを容易に確認できないため、医師がAIを信頼することを困難にします。

ここで、新しい論文であるRadPRISMが登場します。研究者たちは、コンピュータが医療レポートを読み、X線写真を見るための、よりスマートな方法を構築したいと考えました。レポート全体を一つの大きな塊として扱うのではなく、彼らはそれを、ハンマー、ドライバー、レンチを別々の引き出しに仕分けるように、小さく具体的な断片へと分解することに決めました。彼らは、医師による自由記述のレポートを受け取り、強力なAI言語ツールを使用して、特定の事項（例えば「骨折」や「肺内の液体」など）を説明する特定の文章を見つけ出し、そしてコンピュータに対して、画像内の「その特定の事項だけ」を探すように教えるシステムを作り上げました。これは、全体を映し出す広角レンズを与えるのではなく、特定の医学的概念ごとに「拡大鏡」を与えるようなものです。その結果、コンピュータは単に「何かがおかしい」と言うだけでなく、問題がどこにあるのかを正確に指し示し、人間の医師と同じ記述的な言葉を使って説明できるようになりました。しかも、これは学習中に人間がすべての問題の周りにボックスを描く必要なしに行われました。

大きなアイデア：道具箱の仕分け

テクニカル・ユニバーシティ・オブ・ミュンヘンのファビアン・ドレクセル氏らによるチームは、従来のAIモデルが、図書館全体を一気に暗記しようとしている学生のようなものであることに気づきました。彼らは「肺炎」と「液体」がどちらも肺における悪い状態であることを学習しますが、詳細を整理しておくことが苦手でした。もしレポートに「左側に液体があるが、右側にはない」と書かれていた場合、標準的なモデルは単に「液体＝悪い」と学習してしまい、それがどちらの側であったかを忘れてしまうのです。

これを解決するために、研究者たちはRadPR𝗺を発明しました。彼らはまず、ミュンヘンの病院にある323,562件以上のチェストX線写真とその対応する自由記述レポートという膨大なアーカイブからスタートしました。レポート全体をコンピュータに投入する代わりに、彼らは特殊なAIツール（大規模言語モデル）を使用して、超高速の「司書」として機能させました。この司書はすべてのレポートを読み、肺炎、骨折、心臓の大きさといった19種類の異なる医学的概念に関する特定の文章を抽出しました。

コンピュータの脳を、19個の異なる「サブ・ルーム（小部屋）」がある巨大な部屋だと想像してみてください。司書が「肺炎」に関する文章を見つけると、その文章を「肺炎の部屋」へと送ります。「骨折」に関する文章を見つけると、それを「骨折の部屋」へと送ります。するとコンピュータは、X線を見て、肺炎の部屋、あるいは骨折の部屋に「のみ」対応する視覚的な手がかりを探すことを学びます。これは「概念層別化（concept-stratified）」学習と呼ばれます。これにより、コンピュータは情報を一つの混乱した大きな山として混ぜ合わせるのではなく、アイデアを分離し、整理された状態に保つよう強制されます。

分かったこと：鋭い目と優れた記憶力

この新しい手法の結果は目覚ましいものでした。研究者たちが、見たことのない新しいX線写真に対してテストを行った際（「ゼロショット分類」と呼ばれるタスク）、RadPRMモデルは0.868の確率（macro AUROCというスコアで測定）で正解しました。これに対し、従来の「ワンサイズ・フィッツ・オール」の手法では、正解率は0.717にとどまりました。これは大幅な精度の向上であり、情報を別々の「部屋」に整理することが、コンピュータの詳細理解に本当に役立つことを示唆しています。

しかし、本当の魔法は、コンピュータにX線写真上の問題箇所を指し示させたとき（「ビジュアル・グラウンディング」と呼ばれるタスク）に起こりました。これは、コンピュータに肺炎がある正確な場所に点を打たせるようなものです。CheXlocalizeという公開データセットを用いたテストにおいて、RadPRISMは以前の最高モデルであるCARZeroを大きく上回りました。

• 無気肺（肺の虚脱）について、RadPRISMは正しい場所を指し示す精度が4.3倍高かった。
• 胸水（肺の周囲の液体）について、2.8倍高かった。
• 肺病変について、1.5倍高かった。

さらにエキサイティングなことに、コンピュータは、医師が病気の周囲に円を描いた例を一度も見せられることなく、これらすべてを行いました。テキストによる記述を読み、画像を見ることによって、自ら指し示す方法を学んだのです。

人間のテスト：医師は信頼できるか？

これが単なるコンピュータのトリックではないことを確認するために、研究者たちは人間の医師を招き入れました。6人の放射線科レジデント（研修医）に200枚のX線写真を見せ、コンピュータの成果を判定してもらいました。彼らには3つの質問が投げかけられました。

1. コンピュータは、疾患が存在するかどうかを正しく推測したか？（正解率は0.83でした）。
2. コンピュータの「アテンション・マップ（注目領域）」は、実際に疾患がある場所と一致していたか？（正解率は0.85でした）。
3. コンピュータは、データベースからその疾患を説明する文章を見つけ出すことができたか？（正解率は0.78でした）。

医師たちは、特に3番目の点に感銘を受けました。コンピュータは概念を分離して学習したため、「右肺上葉にある、サイズ不変の大きな腫瘤性病変（約6cm）」といった、画像に完璧に一致する具体的で記述的な文章を検索することができたからです。これは、従来のモデルが（単なる「はい／いいえ」のような固定されたラベルのリストで訓練されており、豊かな記述的言語を持ち合わせていなかったために）できなかったことです。

なぜこれが重要なのか

この論文は、医師の乱雑で自由な言語を、整理された具体的な概念へと分解することで、よりスマートで、かつ透明性の高いAIを構築できることを示唆しています。医師はコンピュータの作業を見渡し、どの「部屋」を使用して決定を下したのかを確認し、画像に一致する特定の文章を読むことができます。これにより、AIは「ブラックボックス」ではなく、医療チームと同じ言葉で話す、頼れるパートナーとなります。

ただし、著者らは、これはあくまで概念実証（プルーフ・オブ・コンセプト）であることに注意を促しています。結果は強力ですが、これらは主に一つの病院のチェストX線写真と公開データセットでテストされたものです。また、システムはまだ完璧ではないことも判明しています。例えば、非常に小さな骨折や肺内の薄い空気の線（気胸）のような、非常に判別が難しいものについては、画像の解像度が十分でないためか、コンピュータが正確な場所を指し示すのに苦労することがありました。しかし、「情報を概念ごとに整理することが、AIをより賢く、より信頼できるものにする」という核心的なアイデアは、医療技術における確かな前進であると言えます。