Real-World Diagnostic Accuracy of Fully Autonomous, FDA-Approved Artificial Intelligence Systems for Diabetic Retinopathy Screening in the United States: A Systematic Review and Meta-Analysis

あなたの目は、眠ることなく常に周囲の世界を捉え続けている高精細カメラのようなものだと想像してみてください。しかし、何百万人もの糖尿病患者にとって、「糖尿病網膜症」という名の巧妙な泥棒が、そのカメラのレンズをじわじわと傷つけています。もし放置してしまえば、この泥棒は景色をぼやけさせ、最後には完全に消し去ってしまうかもしれません。良いニュースは、この泥棒は通常、動きが遅く予測可能だということです。年に一度カメラのレンズをチェックしていれば、傷が永久的なものになる前に、早期に発見して修理することができます。

しかし、レンズのチェックは容易ではありません。専門の医師、高価な装置、そして多くの時間を必要とします。多くの人が予約を逃しており、そもそも眼科医の数も足りていません。そこで登場するのが「デジタル探偵」、人工知能（AI）です。これらは、目の奥の写真を見て、人間よりも速く傷を見つけ出すように訓練されたコンピュータプログラムです。最近、FDA（政府の規制当局）は、人間の医師によるダブルチェックを必要とせず、単独で動作できる2つの特定のデジタル探偵に「ゴーサイン」を出しました。それらは、ビデオゲームのパーフェクトスコアのように、極めて正確であると約束されています。

しかし、ここにひねりがあります。ビデオゲームは、照明が完璧で、邪魔するものがない制御された環境でプレイされます。現実の世界は混沌としています。これらのデジタル探偵が、暗い照明、疲れ切ったスタッフ、そして患者が完璧に静止していられないような忙しいクリニックに送り出されたとき、一体何が起こるのでしょうか？彼らは依然としてすべての傷を見つけ出すことができるのでしょうか、それとも混乱し始めてしまうのでしょうか？これが、シュレヤ・パリムーという若い研究者が答えを出そうとした大きな疑問です。

---

野生の中のデジタル探偵たち

シュレヤのプロジェクトは探偵物語のようなものでしたが、犯罪を解決する代わりに、彼女は「LumineticsCore（旧IDx-DR）」と「EyeArt」という名前の2つの特定のAIシステムが、実際のアメリカのクリニックでどのように機能しているかという謎を解こうとしました。

あなたはこう思うかもしれません。「政府が承認したのだから、完璧に違いない！」しかし、シュレヤはすべてがうまくいく華やかなラボテストの先を見ようとしました。彼女は、これらのAIシステムが、現実世界の、医師の診察室における混沌とした状況の中でどのように使われるのかを知りたかったのです。彼女は、10万8,000件以上の眼底検査を含む5つの異なる研究からデータを集めました。それは、膨大な数の「目」です！

大きな発見：捕まえるのは得意だが、時々敏感すぎる

調査の結果は以下の通りです。

1. 「絶対に見逃さない」スーパーパワー
AI探偵たちは、悪いものを見逃さないことに関しては驚くほど優秀です。現実の世界でも、彼らは疾患を持つ目を**95.8%**の割合で捉えました。これは空港の金属探知機のようなものです。もし金属探知機の感度を非常に高く設定すれば、ベルトのバックルや鍵、コインに対しても反応してしまいます。本来の武器ではないものに対して何度も鳴ってしまうかもしれませんが、それでも武器をすり抜けさせることは決してありません。それが、これらのAIシステムが行っていることです。彼らはトラブルを見つけるのが非常に上手いため、症例を見逃すことは滅多にありません。もしAIが「この目は大丈夫そうだ」と言えば、その目は本当に大丈夫であると自信を持って言えます。

2. 「敏感すぎる」問題
しかし、落とし穴があります。彼らは疾患を見つけることには長けていますが、「すべてが正常である」と言うときには、少し敏感すぎる（ジャンプしすぎる）ことがあります。現実の世界では、実際に健康であった目のうち、AIが「健康である」と判定したのは**83.5%でした。しかし、場所によっては、その数字が60.3%**まで低下することもありました。

キッチンの煙探知機を想像してみてください。もし感度を高く設定しすぎると、パンを少し焦がしただけで「火事だ！」と叫び始めます。それは本当の火災ではありませんが、警報器があまりに敏感なので、火事だと判断してしまうのです。これが、一部のクリニックで起きたことです。AIは、傷ではないものを見て「傷がある」と判断してしまいました。これは「偽陽性」と呼ばれます。

なぜ違いが出るのか？ 混沌とした現実世界

シュレは、AIの脳が変わったのではなく、周囲の世界が変わったのだということを発見しました。AIが「A+」の成績を取った華やかなラボテストでは、写真は専門家によって完璧な照明の下で、また散瞳薬（瞳孔を開く薬）を使用して撮影されていました。しかし現実の世界では、写真は通常のクリニックで、通常の看護師や技術者によって撮影されることが多く、瞳孔が小さかったり、目が曇っていたり（霧がかかった窓越しに覗いているような状態）することもありました。

写真は必ずしも完璧ではなかったため、AIは少し混乱してしまいました。影を傷として見なし始めたのです。また、一部のクリニックではAIを異なる方法で使用していました。彼らはAIに対し、「特に注意しろ！もし確信が持てないなら、フラグを立てろ（報告しろ）！」と指示していました。これにより、AIはより多くの問題を捉えることができましたが、同時に健康な目を問題ありとしてフラグを立てることも増えたのです。

結論：優れたツールだが、魔法ではない

では、最終的なスコアはどうでしょうか？ 本論文は、これらのAIシステムは疾患を排除する上で極めて優秀であると結論付けています。もしAIが「安全である」と言えば、その人はほぼ間違いなく安全です。これは、健康な人々を迅速に分類し、眼科医が本当に助けを必要としている人々に集中できるようにできるため、大きな勝利を意味します。

しかし、本論文は、AIがどこでも完璧であることを期待しないでほしいとも警告しています。「敏感すぎる」挙動は、一部のクリニックにおいて、AIがセカンドオピニオンのためにあまりにも多くの人を眼科医のもとへ送ってしまう可能性があることを意味します。これはスケジュールを混雑させ、人々の待ち時間を長くさせる原因となります。研究によれば、AIのパフォーマンスは、それが「どこで」「どのように」使用されるかに大きく依存します。

まとめ

シュレヤの研究は、これらのFDA承認を受けたAI探偵は、私たちの視力を守ることができる強力なツールではあるものの、あらゆる部屋で同じように機能する魔法の杖ではないということを教えてくれます。それらは超高感度の煙探知機のようなものです。本当の火災からあなたを守ってくれますが、パンを焼いているだけで叫び出すこともあるのです。

この研究は、これらのシステムを「悪い知らせ」を見つけるために信頼できる一方で、「誤報」をどのように扱うかに注意を払う必要があることを示しています。AIを広く導入する前に、クリニックは自分たちの特定の環境下でテストを行い、AIが過剰に反応しないようにする必要があります。テクノロジーの準備はできていますが、誤報によって人々が圧倒されることなく、誰もが必要なケアを受けられるようにするためには、現実世界の設定における微調整がまだ必要です。