Robustness of transferability estimation metrics for medical imaging

あなたは、ロボットにさまざまな種類の果物を認識させる方法を教えようとしているところだと想像してください。あなたには、膨大な写真ライブラリからリンゴ、オレンジ、バナナを仕分けることをすでに習得している、非常に賢いロボットがいます。これは**転移学習（Transfer Learning）**と呼ばれます。つまり、ある大きな仕事（「ソース」）で訓練されたモデルを、新しい、より小さな仕事（「ターゲット」、例えば、珍しくて奇妙な形をした熱帯の果物を仕分けること）に再利用するのです。これにより、ゼロからロボットに教え直す必要がなくなり、時間とエネルギーを節約できます。

しかし、ここからが厄介なところです。あなたの前には、あらかじめ訓練されたさまざまなロボットが棚に並んでいます。一つは果物について訓練され、もう一つは車について、そして三つ目は抽象芸術について訓練されています。熱帯の果物を仕分けるために、どれを選ぶべきでしょうか？この問いに答えるために、科学者たちは転移性推定（Transferability Estimation: TE）指標を考案しました。これらは「クリスタルボール（水晶玉）」や「適合性テスター」のようなものだと考えてください。これらは、実際に再訓練という大変な作業を行う前に、どの事前訓練済みロボットが新しいタスクに最適かを予測しようとします。目標は、レースを開始する前に勝者を決めることで、時間と費用を節約することです。

しかし、医療画像の世界——AIを使ってX線や皮膚スキャンから病気を見つけ出す世界——では、事態は複雑になります。医療データはしばしば不足しており、不均衡（健康なスキャンは非常に多いが、病気のものは少ない）です。研究者たちは、最適な医療用AIを選ぶためにこれらの「クリスタルボール」を使用してきましたが、奇妙なことに気づきました。ある時はクリスタルボールが「ロボットAがベストだ」と言い、またある時は「ロボットBだ」と言うのです。この論文は、シンプルで、かつ頭を悩ませる問いを投げかけています。これらのクリスタルボールは本当に信頼できるのか、それとも単にデータの微細なランダムな変化に反応しているだけなのか？

偉大なるクリスタルボール・テスト

この研究において、著者たちはこれらの「適合性テスター」を厳格なストレス・テストにかけました。彼らはこの問題を、椅子取りゲームのように扱いました。ただし、椅子ではなく、医療画像のデータの異なるスライスを使用しました。

セットアップ：ミニチュア集団
医療データセット（胸部X線のコレクションなど）を表す、混ざり合った巨大なジェリービーンの瓶を想像してください。通常、研究者は理論をテストするために、その中から一掴みの豆を取り出すかもしれません。しかし、もしその一掴みがほとんど赤色の豆で、次の手にはほとんど青色の豆が入っていたらどうなるでしょうか？たとえ瓶自体は同じであっても、結果は全く異なって見えるはずです。

これをテストするために、研究者たちは「ミニチュア集団」を作成しました。彼らは医療データセットを取り出し、それを異なるサイズ（5%、10%、25%、最大100%）にスライスしました。決定的なのは、単に一つのスライスを取ったのではなく、同じサイズで異なるランダムシード（瓶を振るたびに異なる混ぜ方をするようなもの）を用いて、5つの異なるスライスを取ったことです。そして、「もしこれらの異なるスライスに対してクリスタルボールのテストを実行したら、同じ勝者が得られるだろうか？」と問いかけたのです。

結果：クリスタルボールは不安定である
結果は目を見張るものでした。著者らは、これらのTE指標によって生成されるランキングが、極めて微細な変化に対して非常に敏感であることを発見しました。

• 「シード」の影響： ランダムシードを少し変えるだけで、ベストなモデルの順序が入れ替わってしまいました。あるスライスでランキング1位だったモデルが、同じサイズの別のスライスでは5位に転落することがありました。
• サイズが重要： データのスライスが小さければ小さいほど（手に取るジェリービーンが少なければ少ないほど）、ランキングはより混沌としたものになりました。非常に小さなデータセットの場合、「クリスタルボール」は意見の一致を見せることができませんでした。
• 指標の罠： 研究者たちはまた、異なるルールで「勝者」を判定する場合に何が起こるかもテストしました。医療画像では、単なる「正解率（Accuracy）」よりも、「AUROC」（不均衡なクラスをうまく扱うスコア）を用いることがよくあります。彼らは、判定基準を正解率からAUROCに切り替えると、モデルのランキング全体が変わってしまうことを発見しました。あるルールでは2位だったモデルが、別のルールでは11位になることもあったのです。

結論：明確な勝者はいない
研究者たちが、TE指標による予測を、モデルの実際のパフォーマンス（「リファレンス・ランキング」）と比較したところ、その一致度は驚くほど低いものでした。データの全量（100%）を使用した場合でさえ、TE指標は一貫して正しいモデルを選び出すことはできませんでした。

この論文は、問題は単に医療データが難しいことにあるのではなく、成功を予測するために使用しているツール自体が脆弱であることだと示唆しています。これらは以下の要素によって、意見を変えてしまうのです：

1. どれだけのデータを与えるか。
2. どのランダムなスライスのデータを選ぶか。
3. 誰が勝ったかを決めるために、どのスコアリング・ルール（正解率かAUROCか）を使用するか。

これが将来にとって何を意味するか
著者たちは、これらの指標が無用だと言っているわけではありませんが、それらを盲信してはいけないと警告しています。もし研究者が、単一のランダムなデータスライスと単一のスコアリング・ルールを選んで「最高の」モデルを宣言したとしても、それは真実ではなく、単なる偶然を見ている可能性があります。この研究は、医療画像においては、もっと注意深くある必要があると結論づけています。単一のテスト実行を見るだけでは不十分です。私たちは、これらの「クリスタルボール」が実験の設定における微細な詳細に対して非常に敏感であることを理解しなければなりません。この感度の問題を解決しない限り、医療用AIのための適切な事前訓練済みモデルを選ぶことは、依然として一種のギャンブルであり続けるのです。