Predicting Visual Acuity from Fundus Photographs Using a Domain-Pretrained Vision Transformer: Anatomical Alignment of Attention Patterns

たった一枚の色彩豊かな眼底写真を見るだけで、その人の視力がどの程度かを推測できるとしたら、どうなるでしょうか。これが眼科AIの世界です。コンピュータは網膜の写真から視力（つまり、その人の視界がいかに鮮明であるか）を予測するように学習します。通常、視力をチェックするには、医師の診察室に座り、文字盤を凝視して、文字を声に出して読む必要があります。しかし、もしコンピュータがあなたの目の写真を見て、「ああ、あなたの視力は完璧です」とか「眼鏡が必要かもしれません」と、あなたが言葉を発することなく判断できるとしたらどうでしょうか？

これを行うために、科学者たちはビジョン・トランスフォーマー（Vision Transformers）を使用しています。これらは「超スマートなデジタル探偵」のようなものです。従来のコンピュータモデルがカメラでスナップショットを撮るように画像をスキャンするのとは異なり、ビジョン・トランスフォーマーは画像を小さなパズルのピースに分解し、「このピースはあのピースとどのように関係しているのか？」と問いかけます。それは、指紋や泥のついた靴跡に注目する探偵のように、特定の詳細に注意を払うことを学びます。この論文が取り組んでいる大きな疑問は、「コンピュータはこれらの目の地図を見るだけで視力の質を予測することを学べるのか」、そしてさらに重要なことに、「コンピュータがどこを見ているのかを私たちは信頼できるのか？」という点です。もしコンピュータが「あなたの視力は悪い」と言ったとき、それは本当に目の損傷部分を見ているのでしょうか、それとも単にランダムなノイズに基づいて推測しているだけなのでしょうか？

---

探偵の新しいメガネ

この研究において、研究チームはデジタル探偵にRETFoundと呼ばれる特別な「メガネ」を与えることにしました。想像してみてください、何百万もの犯罪現場の写真を見て修行を積んだ探偵がいるとします。彼らは指紋がどのようなものか、血飛沫がどのように飛び散るか、そして手がかりが通常どこに隠れているかを正確に知っています。それがRETFoundです。これは、160万枚のラベルなし眼底写真をすでに「読み終えた」大規模なAIモデルです。視力の特定のパズルを解こうとする前から、すでに網膜の微細な血管や質感を見分けるエキスパートなのです。

研究者たちは、このエキスパート探偵を連れてきて、目の写真を4つの視力カテゴリーに分類するという特定のミステリーを解くために微調整（ファインチューニング）を行いました。

• C0: 全盲または機能的失明。
• C1: 重度の障害（非常にぼやけている）。
• C2: 中等度から軽度の障害。
• C3: 正常で鮮明な視力。

彼らはこれを、3,654人の患者から得られた21,602枚の写真でテストしました。探偵が答えを丸暗記して「ズル」をしないようにするために、彼らは非常に厳格でした。データを分割する際、写真単位ではなく「患者単位」で行ったのです。つまり、ある患者に5枚の写真があった場合、その5枚すべてがトレーニンググループかテストグループのどちらか一方にのみ入り、両方に入ることはありません。これは、学生がテストを受ける際に、同じ問題が形を変えて二度と出てこないようにするようなものです。

結果： 「実質的な」成功

結果は有望でした。RETFound探偵は**55.6%**の確率で正解を導き出しました。これは完璧なスコアには聞こえないかもしれませんが、医療AIの世界では大きな成果です。さらに重要なのは、間違いを犯したときでも、それは通常わずかな差によるものだったことです。**89.6%**のエラーは、正解からわずか一歩手前のカテゴリー（例えば、正解が「中等度」のときに「重度」と予測するなど）でした。RETFoundが「正常な目を盲目である」と呼ぶような、突拍子もない間違いをすることは滅多にありませんでした。

論文では、RETFoundを他の2人の探偵、つまり汎用AIであるDINOv2（眼底写真を専門に学習していない）および、古いスタイルのコンピュータビジョンであるEfficientNetと比較しました。RETFoundは両者を大幅な差で上回りました。研究者たちは、予測が実際の順序とどれほど一致しているかを測定するQuadrabs Weighted Kappa（二次加重カッパ）というスコアを算出しました。RETFoundは0.612を記録し、専門家が「実質的な一致（substantial agreement）」と呼ぶ数値を叩き出しました。

「どこを見ているのか？」というミステリー

この論文の最もエキサイティングな部分は、コンピュータが単に正解を出したことではなく、答えを導き出すために「どのように目を見たか」にあります。研究者たちは**アテンション・ロールアウト（Attention Rollout）**と呼ばれる手法を用いました。コンピュータが眼底写真に照らす「スポットライト」を想像してください。この技術により、研究者はコンピュータのスポットライトがどこに焦点を合わせているかを正確に把握することができます。

彼らは、人間の医師が数十年にわたって知っている事実と一致する、美しいパターンを発見しました。

• 視力が極めて悪い目（C0）の場合： コンピュータのスポットライトは、目の周囲の血管に強く集中していました。これは、深刻な視力喪失がしばしば損傷したり漏れたりした血管によって引き起こされるため、理にかなっています。コンピュータは、マップの「乱れた」部分を見ることを学んだのです。
• 視力が完璧な目（C3）の場合： スポットライトは目のまさに**中心部（黄斑）**へと移動しました。ここは鋭い中心視力を司る部分です。コンピュータは端の部分を無視し、中心に集中することを学んだのです。

それは、家が火事であれば煙と炎を見るべきだと知り、家が清潔であれば玄関や窓を見てすべてが正常であることを確認する、ということを知っている探偵のようなものです。

「信じてくれ」テスト

ここが巧妙な仕掛けです。研究者たちは、この「スポットライト」の挙動が単なる幸運な偶然なのか、それとも実際にコンピュータが正しく思考していることを意味するのかを知りたいと考えました。彼らは、コンピュータが正解した写真と間違えた写真を比較しました。

• コンピュータが正解したとき： スポットライトは完璧に機能していました。もし「盲目」と予測したなら、光は血管の上にありました。もし「正常」と予測したなら、光は中心にありました。スポットライトと答えの間の結びつきは非常に強力でした。
• コンピュータが間違えたとき： スポットライトは混乱していました。光はあちこちに散らばり、ランダムな場所を見ていました。見た場所と予測した内容との間の結びつきは弱いものでした。

このことは、コンピュータの「注意（アテンション）」が信頼できる手がかりであることを示唆しています。もしコンピュータが正しい場所を見ているなら、おそらく正しいでしょう。もしあちこちを見すぎているなら、疑うべきです。

「ぼやけた中間」の問題

また、この研究では難しい箇所があることも判明しました。コンピュータはC1のカテゴリー（重度の障害だが、完全な失明ではない状態）で最も苦戦しました。C1の目は「中等度」のカテゴリーと混同されることがよくありました。研究者たちは、これはコンピュータが愚かなのではなく、このレベルの視力における眼底写真が自然に曖訳（アンビギュアス）であるためだと指摘しています。それは、少し霧がかかった日と、非常に曇った日の違いを判別しようとするようなものです。時には、写真自体に100%確信を持つための明確な手がかりが不足していることがあります。

これが何を意味するか

この論文は、視力喪失を解決した、あるいは医師に取って代わると主張しているわけではありません。そうではなく、私たちは単に推測するだけでなく、人間の医師と同じように目を「見る」ことができるAIを構築できることを示しています。AIは、悪い目に対しては血管に、良い目に対しては中心部に注目することを学びます。

著者らは、将来的にこの「スポットライト」の挙動を警告システムとして利用できる可能性を示唆しています。もしAIが予測を下したものの、そのスポットライトがあちこちに散らばっている場合、医師はそのケースを人間による再確認が必要なものとしてフラグを立てることができます。これにより、AIは「ブラックボックス」から、単に「何を考えているか」だけでなく、「なぜそう考えるのか」、そして「その推測をどの程度信頼すべきか」を教えてくれるパートナーへと進化するのです。