Discrimination transfers but calibration does not:1prevalence-dominated miscalibration of diabetic2retinopathy screening across fundus cameras

あなたは、ロボットに特定の種類の雲を見分ける方法を教えているところだと想像してください。あなたは、ハイテクな気象観測所による、完璧なレンズで撮影された何千枚もの写真を見せています。ロボットは、「あれは嵐の雲だ！」と自信を持って言うことを学習しました。しかし、ここにはトリッキーな部分があります。雲を「見つける」ことができることと、それが「雨になる可能性がどのくらいあるか」を知っていることは別問題なのです。もしロボットが「これは嵐である確率が90%です」と言ったなら、それは90%の確率で正しくなければなりません。もしロボットが間違っていて、あなたがそれを信じすぎてしまったら、傘を持っていくのを忘れて雨に降られたり、あるいは空が完全に晴れているのに傘を持ち歩いたりすることになるかもしれません。

この論文は、コンピュータが糖尿病網膜症という目の病気を見つける手助けをする世界について掘り下げています。この論文は、非常に実用的な問いを投げかけています。もし、大きな高価なカメラを使って病院でコンピュータを訓練したとしたら、それを村に持っていき、小さな手持ちカメラを使用した場合でも、そのコンピュータは依然として信頼できるのでしょうか？答えは、コンピュータが病気を「見える」かどうか（それはできます）だけではなく、その「自信（確信度）」が新しい環境において妥当であるかどうか、という点にあります。研究者たちは、コンピュータの「目」は鋭いままですが、その「直感（確信度）」は、主にその場所における病気の頻度が以前と異なるために、完全に狂ってしまうことを発見しました。

---

混乱した眼科医ロボットの物語

あなたには、「Dr. AI」という名の優秀なロボット眼科医がいると想像してください。あなたは、豪華で温度管理された病院で、巨大で高価な卓上カメラを使ってDr. AIを訓練しました。Dr. AIは、目の写真を見て、糖尿病網膜症という病気を見つけることを学びました。Dr. AIは、病んでいる目を見ると、「95%の確率で病気です！」というスコアを出します。健康な目を見ると、「99%の確率で正常です」と言います。

さて、あなたは遠隔地の村へ行き、大きな病院に通えない人々を助けるためにDr. AIを連れて行こうとしています。しかし、村ではあの巨大なカメラを持ち運ぶことはできません。バックパックに入るような、小さな手持ちカメラを使う必要があります。この小さなカメラからの写真は、病院の写真とは少し異なって見えるかもしれません。明るすぎたり、暗すぎたり、あるいは病院の写真に比べて少しぼやけていたりするかもしれません。

大きな疑問： Dr. AIがこれらの新しい村の写真を見たとき、それでも優れた医師であり続けられるでしょうか？

論文の研究者たちは、Dr. AIをテストしました。彼らは、2つの非常に異なることが起こったことを発見しました。

1. 目は鋭いまま（識別能）： Dr. AIは、病んでいる目と健康な目の違いを見分けることに関しては、依然として優れていました。追加のトレーニングなしでも、村のフォト専用に訓練された医師とほぼ同等のレベルで、病んでいる目を健康な目よりも高くランク付けすることができました。問題を見抜く能力自体は失われていなかったのです。
2. 自信が狂った（較正/キャリブレーション）： ここで問題が発生しました。Dr. AIは、自分の自信について嘘をつき始めました。もしDr. AIが「90%の確率でこの目は病んでいる」と言ったとしても、実際にそれが90%の確率で正しいとは限りませんでした。その確信度スコアは壊れてしまったのです。村において、ロボットは健康な目に対して自信過剰になったり、逆に病んでいる目に対して自信がなさすぎたりすることがありました。これは、医師が誰をすぐに人間の専門医に診せるべきかを判断するために、これらの確信度の数値に頼っているため、非常に危険なことです。

なぜ自信が壊れたのか？

あなたはこう思うかもしれません。「手持ちカメラが問題に違いない！写真は見た目が全然違うのだから」。研究者たちは実際にこの仮説を検証しましたが、驚くべき事実を発見しました。

彼らは、カメラ自体は問題のほんの一部（約20%）に過ぎないことを突き止めました。真の犯人は**「集団（人口統計）」**でした。

このように考えてみてください。Dr. AIが訓練された病院では、20人に1人（5.7%）しか病気にかかっていませんでした。しかし、村では6人に1人（17.6%）が病気にかかっていました。別のテストグループでは、半数近い人々（40.6%）が病気でした。

Dr. AIは、病気が稀な世界で訓練されました。そのため、非常に慎重になるように学習しました。しかし、病気が一般的な村に移ったとき、Dr. AIは自分の「直感」をどのように調整すべきか分からなくなりました。それは、砂漠で育った気象予報士のようなものです。もしその予報士が熱帯雨林に移り、「雨が降る確率は10%です」と言ったとしたら、それは予報士の目が悪いのではなく、雨が珍しい世界に慣れすぎているために間違っているのです。研究者たちは、混乱の約80%がカメラのせいではなく、この病気の発生頻度の変化から来ていることを示しました。

ロボットを直す方法

では、どうすればDr. AIの壊れた自信を直せるのでしょうか？研究者たちはいくつかのトリックを試しました。

• 「温度」のトリック： 彼らは「温度スケーリング（temperature scaling）」と呼ばれる単純な数学的調整を試みました。これは、ロボットの答えを少し柔らかくしたり、逆に強くしたりするためのダイヤルを回すようなものです。しかし、これはうまく機能しませんでした。なぜなら、ロボットの問題は単に答えが「柔らかすぎる」ことではなく、病気がより一般的であるために、ベースライン全体をシフトさせる必要があったからです。
• 「再学習」による修正： 彼らは、プラット・スケーリング（Platt scaling）とアイソトニック・スケーリング（isotonic scaling）と呼ばれる2つの別の手法を試しました。これらは、ロボットに短い、素早いレッスンを与えるようなものです。彼らは、村の新しい写真をわずか100〜200枚（人間によってラベル付けされたもの）だけ見せ、確信度の数値を調整するように求めました。
  • 結果： それはうまくいきました！ごく少量の新しいデータを与えるだけで、Dr. AIの自信は再び信頼できるものになりました。Dr. AIは、デタラメな状態から、村のデータからゼロから訓練されたロボットとほぼ同等のレベルへと戻ったのです。

「小さな脳」の問題

もう一つの展開がありました。安価な手持ちデバイスでDr. AIを動かすためには、多くの場合、コンピュータプログラムを小さく縮小する必要があります。これは「量子化（quantization）」と呼ばれます。

• 半精度（FP16）： これは、写真を少し圧縮するようなものです。プログラムを小さくしますが、Dr. AIの「目」や「自信」を損なうことはありませんでした。これは安全でした。
• 8ビット整数（INT8）： これは、写真を極端に圧縮して、ピクセル化してしまうようなものです。研究者たちは、これがDr. AIの「目」と「自信」の両方を壊してしまうことを発見しました。たとえ「再学習」のトリックを使って自信を修正しようとしても、目へのダメージを完全に取り除くことはできませんでした。ロボットの精度は低下し、どんなに素早い数学的処理を用いても、元に戻すことはできなかったのです。

まとめ

この研究の主な教訓は、AIが実世界で安全であるためには、単に病気を「見つけられるか」を見るだけでは不十分であるということです。その「自信」が、新しい場所において妥当であるかどうかを確認しなければなりません。

もし、豊かな病院から貧しい村へと医療AIを持っていくのであれば、単に「賢いから大丈夫だろう」と決めつけてはいけません。そこでは病気がより一般的である可能性があり、それがロボットの自信を混乱させるからです。しかし、良いニュースもあります。修正するために何百万枚もの新しい写真は必要ありません。わずかな、安価なレッスン（約100〜200の例）と、正しい数学的トリックさえあれば、ロボットに自分の感覚を信じる方法を教えることができるのです。そして、もしプログラムを小さなデバイスに収めるために縮小する場合、注意してください。縮小しすぎると、簡単に修復できない形でロボットを壊してしまう可能性があります。