Do Medical Foundation Models Generalize on the African Brain?

医師たちが、何百万もの医学教科書を読み、数え切れないほどのX線写真やスキャン画像を解析してきた超スマートな助手を持っている世界を想像してみてください。この助手は「基盤モデル（Foundation Model）」と呼ばれています。それは、北米やヨーロッパの最も高度で設備の整った図書館で、幼少期をすべて勉強に捧げてきた、非常に優秀な学生のようなものです。彼らは脳スキャンにおけるパターンを見つけ出すこと、例えば腫瘍を見つけたり、認知症かどうかを判断したりすることにおいて、驚くほど優れています。しかし、ここには落とし穴があります。この学生は、アフリカの図書館を実際に訪れたことがないのです。現地の本がどのような見た目なのか、照明がどう違うのか、あるいは患者たちの背景がどうなっているのかを知りません。

科学者たちが投げかけている大きな問いはこうです。もしこの超優秀な学生が、ナイジェリアやその他のアフリカ諸国の医師を助けようとしたとき、彼らは依然として同じくらい賢明でいられるのでしょうか？ それとも、「本」（脳スキャン）の見た目が異なるために、混乱してしまうのでしょうか？ これは非常に重要な問題です。なぜなら、もしこれらのスマートなAIツールが特定の人々のグループに対してしかうまく機能しない場合、意図せずして間違いを犯し、不公平なヘルスケアにつながる可能性があるからです。研究者たちは、これらのデジタルな脳は本当に普遍的なものなのか、それともアフリカの患者に対する「盲点」を持っているのかを知りたいと考えました。

---

偉大なる脳スキャン・テスト

この研究において、研究チームはこれらの「基盤モデル」を究極のテストにかけようと決めました。彼らは、2つの非常に異なるタイプのAIアシスタントを取り上げ、アフリカの患者の脳スキャンを用いて、2つの異なる仕事をさせました。

最初の仕事は、探偵ゲームです。AIは脳スキャンを見て、その人が認知症（記憶に影響を与える疾患）であるか、あるいは健康であるかを推測できるでしょうか？ 彼らはナイジェリアのデータセットを使用しました。
2つ目の仕事は、塗り絵ゲームです。AIはスキャンを見て、脳腫瘍の完璧な輪郭を描き出すことができるでしょうか？ 彼らはサブサハラ・アフリカのデータセットを使用しました。

AIが公平であるかどうかを確認するために、研究者たちは同じテストを、アメリカやオランダの脳スキャンを用いてAIに与えました。彼らは、AIが「ホーム」のデータ（アメリカ/ヨーロッパ）でより高い性能を発揮するのか、それとも「新しい」データ（アフリカ）に対しても同様にうまく対処できるのかを確認したかったのです。

探偵ゲームの結果：「まあまあ、大差なし」

探偵ゲーム（認知症の分類）に関しては、結果は少し期待外れでした。研究者たちは、これらの豪華な事前学習済みAIモデルは、この特定の仕事のためにゼロから構築された基本的なAIと比べて、それほど大きな差は見られないことを発見しました。

• ナイジェリアのデータにおいて、最高の基盤モデル（BrainIAC）のスコアは0.86（正解を推測する能力の指標）でした。
• ゼロから構築された基本的なAIのスコアは0.85でした。

これは、マスターシェフに見たこともないレシピを与えたようなものです。彼らはそこそここなせるかもしれませんが、必ずしも地元の食材を完璧に知っている地元の料理人より優れているわけではありません。研究者たちは、認知症のような微妙な変化を見分ける場合、これらの巨大な事前学習済みモデルは、患者がアフリカ人であろうとヨーロッパ人であろうと、大きなアドバンテージをもたらさないのではないかと示唆しています。

塗り絵ゲームの結果：「わあ、輝いている！」

しかし、研究者が塗り絵ゲーム（腫瘍のセグメンテーション）に切り替えると、物語は一変しました。ここでは、基盤モデルはまさにスター級の活躍を見せました。

• MedSAM2と呼ばれる一つのモデルは、アフリカの腫瘍データに対して0.86というスコアを叩き出しました。
• ゼロから作られた基本的なAIはどうだったでしょうか？ さまざまな種類のスキャン画像を見たとき、基本的なAIは苦戦し、スコアはわずか0.21でした。最も優れた画像タイプのみを見た場合でも、基本的なAIは0.55にしか達しませんでした。

それはまるで、基盤モデルがすでに何百万回も形を描く練習をしていたため、新しい腫瘍を見た瞬間に、驚くべき精度で完璧に輪郭を描き出すことができたかのようです。一方で、一度も腫瘍を見たことがない基本的なAIは、ただデタラメに推測しているだけでした。この劇的な向上は、アフリカのデータとヨーロッパのデータの両方で見られたため、これらのモデルはどこであっても腫瘍を見つけ出し、輪郭を描くことに長けていることが示唆されました。

大きな驚き： 「バイアス」は見つからず

この物語で最もエキサイティングな部分は、研究者たちが「見つけられなかった」ことです。彼らは、AIが「バイアス（偏り）」を持つのではないか、つまり、主にヨーロッパ人のデータで学習しているために、アフリカ人の脳を理解するのがずっと下手になるのではないかと懸念していました。

しかし、結果は、AIがアフリカの患者に対して本質的にバイアスを持っているわけではないことを示しました。

• 研究者たちがスコアを比較したところ、AIがアフリカのデータで行った成績と、ヨーロッパのデータで行った成績の差は小さく、一貫していませんでした。ある時はアフリカのデータの方がわずかに良く、またある時はその逆でした。
• AIがヨーロッパのデータでより高い性能を示した主な理由は、データが「優れている」からでも、AIがそれを「好んでいる」からでもありません。単純に、データの量が多かったからです。彼らがAIにヨーロッパからの学習例を増やして与えると、性能は向上しました。しかし、数を合わせた場合（アフリカから150例、ヨーロッパから150例を与えた場合）、パフォーマンスはほぼ同じでした。

真の問題： データ不足

では、本当の問題は何なのでしょうか？ 本論文は、問題はAIが差別的であったりバイアスを持っていたりすることではなく、単にAIを適切に教えるためのアフリカの脳スキャンが十分に存在しないことであると示唆しています。

研究者たちは、使用したアフリカのデータセットがかなり小さいことを指摘しています。例えば、認知症のデータセットにはわずか50人しか含まれていませんでした（ヨーロッパは97人）。腫瘍のデータセットは、アフリカからは146スキャンでしたが、ヨーロッパからは625という膨大な数がありました。

研究は、これらの基盤モデルはアフリカの脳に対しても効果的に汎用化できることを結論づけています。彼らには本質的な「盲点」はありません。しかし、アフリカのデータが非常に少ないため、100％確信を持つことは難しく、モデルはもっと多くのデータがあれば学習できたはずのレベルまで到達できていません。最大の障壁はAIの知能ではなく、AIを訓練しテストするための、アフリカの病院からの多様で高品質なデータの欠如なのです。

要約すると、超スマートなAIアシスタントたちはアフリカの医師を助ける準備はできていますが、彼らがより優れた仕事ができるようになるためには、もっと多くのアフリカの脳スキャンを学習させる必要があります。