PathAgentBench: Benchmarking Evidence-Seeking Vision-Language Models on Whole-Slide Pathology Image

あなたは、砂粒の何十億倍も大きい街の中に隠された巨大な謎を解こうとしている探偵だと想像してください。この街は、組織標本のデジタル画像である「ホールスライドイメージ（WSI）」です。これは、人間がスクロールするだけで数時間かかるほど巨大なデジタル写真です。現実の世界では、病理医（細胞を見て病気を診断する医師）は、ただ一つの小さな点を見つめているわけではありません。彼らはまず、ヘリコプターから街全体を眺めて怪しい近隣地域を見つけ、次に街路を確認するためにズームインし、最後に個々の家や人々を検査して犯人を突き止めるために、さらに深くズームインします。これは「証拠探索（evidence-seeking）」と呼ばれます。

最近、科学者たちは「ビジョン・ランゲージ・モデル（VLM）」と呼ばれる超スマートなコンピューターの脳を作り上げました。これらは、画像を見ながら同時にテキストを読むことができるAI探偵のようなものです。彼らは、誰かが特定の写真を手渡し、「ここには何が起きているのか？」と尋ねられたとき、パズルを解くのが非常に上手になっています。しかし、大きな疑問があります。これらのAI探偵は、その巨大な街の中から自力で正しい写真を見つけ出すことができるのでしょうか？ それとも、人間が場所を指し示してくれる必要があるのでしょうか？ もしAIが謎解きはできるのに、その謎が隠されている部屋を見つけることができないとしたら、それはまだ優れた探偵とは言えません。この研究が測定しようとしているのは、まさにこのギャップです。

---

偉大なるAI探偵テスト：PathAgentBench

研究チームは、AIが本当に人間の病理医のように振る舞えるかどうかを検証するために、PathAgentBenchという新しい、非常に難易度の高いテストを構築しました。AIに単に選ばれた写真を与えて「これは何ですか？」と問う（これが従来のほとんどのテストが行ってきたことです）のではなく、彼らはAIに巨大な街全体を与え、自ら手がかりを探し回るよう命じたのです。

これは、「ウォーリーをさがせ！」のようなゲームを想像してみてください。ただし、本はサッカー場の大きさであり、小さな詳細を見つけるためにズームインとズームアウトを繰り返さなければなりません。研究者たちは「診断ツリー（diagnostic tree）」を作成しました。これは宝探しのような地図です。AIは一番上（スライド全体）からスタートし、怪しい領域を選び、ズームインし、より小さな領域を選び、再びズームインし、そして道中で集めたすべての手がかりに基づいて診断を下します。

テストを公平かつ過酷なものにするため、彼らは巨大なデータベースから1,822枚の実際の医療用スライドを使用し、10名の専門医による、ケースを解決するために彼らが辿るであろう正確な経路を描かせました。そして、20種類の異なるAIモデル（大手テック企業によるもの、オープンソースのもの、そして医学に特化したもの）をテストして、その性能を調べました。

結果は以下の通りですが、そこにはちょっとしたどんでん返しがありました。

1. AIは読解の天才だが、ナビゲーションの初心者である
研究者がAIに特定の手がかり（例えば、「これが怪しい細胞をズームアップした写真です。さて、これは何ですか？」といったもの）を手渡したとき、AIは見事でした。最高のモデルは93%以上の正解率を叩き出しました。彼らは証拠を完璧に読み取ることができたのです。

しかし、研究者が「よし、では、その巨大な街の中でその怪しい細胞を自力で見つけなさい」と言ったとき、AIは完全に崩壊しました。最も賢いAIモデルでさえ、空間的な重なりスコア（平均IoUと呼ばれるもの）は0.09未満でした。これは、AIが怪しい領域を描いた枠が、実際の場所にほとんど触れていないことを意味します。実際、非常に単純で単純なトリック――前の枠の中心を予測するだけという方法――が、洗練されたAIモデルよりも優れた結果を出しました！

2. 「ズームアウト」問題
研究者は、AIが自律的にスライドを探索しようとする様子を観察しました。最も広い視点（低倍率）では、AIは**52%の確率で怪しい領域を見つけることができました。しかし、より近くを見るためにズームインしようとすると、AIは足跡を見失い始めました。最高倍率（微細な詳細を見る必要があるレベル）に達する頃には、正しい場所を見つける確率はわずか2%**にまで落ち込んでいました。それは、正しい近隣地域は見つけたものの、間違った路地裏で迷子になり、決して目的地となる家にたどり着けない探偵のようなものです。

3. 特化型AIが常に優れているとは限らない
医学書に基づいて訓練されたAIモデルが、最高の探偵になるだろうと予想されるかもしれません。驚いたことに、一般的な目的のAIモデル（猫から車まであらゆるものを学習したモデル）の方が、手がかりを見つける能力において医学特化型のモデルよりも優れた成績を収めました。特化型の医学モデルは、時として行き詰まったり、場所を指し示すための座標を出力することすらできなかったりしました。

4. 探索のコスト
この研究は、どれほどの「脳の力」と費用がかかったかも調査しました。AIが手がかりを探し回る部分（自律的探索）は、非常に高価で時間がかかりました。AIがスライドを1枚見るだけで数分を要しましたが、あらかじめ選ばれた写真について単純な質問に答える場合は、ほんの一瞬でした。

結論

この論文の主な教訓は、AIは手がかりを与えられればその「解釈」において驚異的に優れたものになっている一方で、その手がかりを自力で「見つける」ことについては依然として非常に未熟であるということです。研究者たちは、単に謎を解けるAIを称賛するのではなく、謎そのものを見つけ出すことができる「探偵」としての能力を教える必要があると主張しています。

AIが、迷うことなくこれらの巨大なデジタルスライドを確実にナビゲートできるようにならない限り、現実世界で人間の病理医の完全な代わりを務めることはできません。論文は、将来のAIには、より優れた「空間推論（自分がどこにいるかを知ること）」、ツールを使って正しくズームイン・アウトする方法、そして間違った方向に進んだときにどのように立て直すかという能力が必要であると示唆しています。今のところ、AIは極めて優秀な「読書家」ではありますが、まだ「街の歩き方」を学んでいる最中なのです。