Subgroup performance analysis of adaptation strategies for chest X-ray foundation models

医療画像の世界において、人工知能は胸部X線写真を見て驚異的な速さで疾患の兆候を見つけ出すほど強力に成長しました。これらのシステムは、しばしば「基盤モデル」と呼ばれ、数百万枚の画像で学習された視覚的知識の膨大なライブラリのようなものです。これらは、経験豊富な医師さえも見逃す可能性のある人体内のパターンを認識することを学びます。しかし、この進歩には影が忍び寄っています。これらのモデルは、意図せずして「ショートカット（近道）」に依存することを学習してしまう可能性があるのです。純粋に医学的な証拠を見る代わりに、コンピュータは、使用されている病院の機器の種類やX線の撮像方法といった画像内の微細な手がかりに基づいて、患者の人種や性別を推測することを学んでしまうことがあります。もしモデルがこれらのショートカットを使って診断を行うと、不公平が生じる可能性があります。つまり、あるグループの人々には優れた性能を発揮する一方で、他の人々に対しては失敗してしまうのです。医療AIが患者のケアに関する実質的な決定を下す場面でますます活用されている現在、これは極めて重要な懸念事項であり、公平性は正確さと同様に重要です。

インペリアル・カレッジ・ロンドンの研究者たちは、これらの強力なモデルを病院での使用に適応させるために用いられる特定の手法が、この公平性にどのように影響するかを理解しようと試みました。彼らは、Rad-DINOと呼ばれる一般的な胸部X線モデルに焦点を当てました。このモデルは、研究中には変化しない、凍結された事前学習済みの「脳」として機能します。この「脳」を肺炎や肺病変などの特定の疾患を見つけるために役立つものにするには、チームはその上に新しく、より小さな意思決定レイヤーを取り付ける必要がありました。彼らは、このレイヤーを構築する3つの異なる方法をテストしました。1つ目は、単純で直接的な接続です。2つ目は、小さな多層処理ユニットを追加するものです。3つ目は、より複雑な手法で、モデルの内部レイヤーの多くの異なる深さから情報を収集し、それらを組み合わせて決定を下す、洗練されたフィルターのように機能します。チームは、より複雑で表現力豊かな手法が、疾患を見つけるモデルの能力を向上させるだけでなく、男女や人種の違いによる患者グループ間の性能の不公平な格差を減少させるかどうかを検証したいと考えました。

研究者たちは、米国の病院からの膨大な胸部X線写真データセットを用いてこれらの手法を評価しました。その際、テストグループが異なるデモグラフィック（人口統計学的属性）を公平に代表するようにバランスを整えました。彼らは8種類の異なる肺疾患を調査しました。結果は、複数のレイヤーから情報を収集する最も複雑な手法が、疾患発見における全体的な精度において確かに最善の結果をもたらしたことを示しました。それは、病的な肺と健康な肺を区別する上で最も高い能力を備えていました。しかし、チームは驚くべき、かつ直感に反する真実を発見しました。それは、主要なタスクにおいて優れていることが、必ずしもシステムを公平にするわけではないということです。実際、複雑なモデルが公平性に与える影響は、特定の疾患やサブグループによって異なりました。ある疾患では、単純なモデルと比較して性能の格差を縮小させましたが、他の疾患では、格差を拡大させることもありました。一つの手法が、すべてのタスクにおいて普遍的に他の手法よりも公平であるという一貫した傾向は見られませんでした。

おそらく最も啓示的な発見は、モデルが人種などの保護されるべき特性についてどのように「考えているか」に関するものでした。研究者たちは、モデルの内部信号が、患者の人種、性別、またはX線の角度をどの程度強く予測できるかを測定しました。その結果、複雑なモデルは単純なモデルよりも人種をはるかに強く符号化しており、つまり、患者の背景となる人種に関する非常に明確な内部信号を持っていることが分かりました。自然な仮定として、人種をこれほどよく「知っている」モデルは、その知識を利用してバイアスを生み出したり、バイアスを生じさせたりするのではないかと思われます。しかし、データはそのような関連性を示しませんでした。人種に関する情報を最も弱く符号化したモデルが、実際にはグループ間の性能格差を最大に生じさせていました。逆に、人種を最も強く符号化したモデルが、必ずしも最大の不公平を生み出すわけではありませんでした。このことは、モデルが個人のアイデンティティに関する情報をどれだけ持っているかを単に測定することだけでは、そのモデルが公平に扱うかどうかを予測するには不十分であることを示唆しています。

また、この研究では、複雑な手法においてどのレイヤーを組み合わせるかを変えることで改善が見込めるかについても探求しました。彼らは、基本的な形状を捉える初期レイヤーと、複雑な概念を理解する後半のレイヤーを混合する試みを行いました。その結果、レイヤーの選択は一部の疾患における全体的な精度を変化させたものの、公平性については一貫したパターンを生み出さないことが分かりました。特定の組み合わせがあるグループには役立ち、別のグループには害を与えることもあり、従うべき明確なルールはありませんでした。研究者たちは、高度な精度と公平性の両方を保証する単一の「魔法のスイッチ」や標準的な設定は存在しないと結論付けました。ある疾患にうまく機能する手法が別の疾患では失敗することもあり、あるグループに対して公平な手法が他のグループに対してはそうでないこともあります。

結局のところ、この研究は、医療AIの能力を高めることが、それ自体でバイアスの問題を解決するわけではないことを示しています。モデルがいかに優れた性能を発揮するかと、それがどれほど公平に人々を扱うかとの関係は予測不可能であり、完全に特定のタスクの内容に依存しています。著者らは、より賢いモデルがより公平なモデルであると想定することも、また、アイデンティティに関する情報を隠しているモデルが安全であると想定することもできないと主張しています。むしろ、公平性は、モデルの内部的な複雑さや全体的なスコアから推論するのではなく、個々のアプリケーションに対して、各グループに対する実際の実際の結果を見て、直接チェックされなければなりません。信頼できる医療AIへの道は、このようなケースバイケースの直接的な精査を通じて、高度なテクノロジーの恩恵がすべての患者に平等に共有されることを確実にする必要があるのです。