Do Vision-Language Models See Dwarf Galaxies the Way We Do?

あなたは、巨大で混雑した夜の都市の中で、非常に特定かつ、小さく、かすかな幽霊を探している探偵だと想像してください。この幽霊とは「矮小銀河（わいしょうぎんが）」、つまり私たちの天の川銀河の周りを回っている小さな星の集まりのことです。空は都市であり、その群衆は、街灯やカメラのノイズ、反射、ランダムなノイズなど、幽霊のように見えるものの、実際には幽霊ではない無数のものたちで溢れています。

この論文は、新しい種類の「スーパー探偵」（Vision-Language Modelと呼ばれるAI）をテストし、それが人間のボランティアチームと同じくらい、これら本物の幽霊を見つけ出すことができるかどうかを検証するものです。

以下に、彼らの実験の内容と、判明した事実をまとめます。

セットアップ：「幽霊狩り」

研究者たちは、DELVEと呼ばれる実際の天文学調査のデータを使用しました。彼らは、潜在的な候補を示す膨大な数の画像を手に入れていました。どの候補が本物の矮小銀河で、どれが単なる「ゴミ（アーティファクト）」であるかを判断するために、彼らは「シチズン・サイエンス（市民科学）」キャンペーンを実施しました。これは、1,650人以上の人間のボランティアが各候補を観察するという、大規模なゲームのようなものです。

各候補は単一の写真ではなく、診断パネル（星のカルテのような、複数のチャートやグラフのセット）でした。これらを総合的に見て判断する必要がありました。人間は投票しました。「これは本物の銀河か、それともゴミか？」

テスト：AIはゲームに参加できるか？

研究者たちは、強力なAI（具体的にはGPT-5-miniと呼ばれるモデル）に、これと同じ診断パネルを見るよう求めました。彼らは、AIに対して天文学に関する特別な事前学習を行いませんでした。代わりに、自然な英語による指示を与えただけです。「これらのチャートを見てください。もし本物の矮らな銀河のように見えたら『Dwarf（矮小銀河）』と答え、もしゴミのように見えたら『Junk（ゴミ）』と答えてください」。これは「ゼロショット学習」と呼ばれ、AIが持つ一般的な知能と提供された指示のみを使用して、新しい仕事を行わせる手法です。

結果：良い点、悪い点、そして不確実な点

1. 全体像：AIは優れた「群衆サーファー」である
グループ全体の結果を見たとき、AIは驚くほど優れた成果を出しました。もし80%の人間ボランティアが、ある候補を本物の銀河だと判断した場合、AIもまた、それを本物の銀河であると判断する傾向がありました。

• 比喩： カボチャの重さを推測する人々が集まっている部屋を想像してください。平均的な予想が20ポンドであれば、AIの予想もだいたい20ポンド付近になります。大規模なスケールで見れば、AIは人間と「バイブス（感覚）」が一致しているのです。

2. 個別のケース：AIは「気分屋」である
しかし、特定の難しい事例を一つずつ詳しく見ていくと、AIは人間よりもはるかに信頼性が低いことがわかりました。

• 比喩： 人間に「これは本物の幽霊ですか？」と尋ねると、彼らは「おそらくそうです」と答えるかもしれません。しかし、同じ難しいケースについてAIに尋ねると、コイン投げをしているようなものです。たとえ画像が変わっていなくても、ある時は「はい」、ある時は「いいえ」と答えます。AIには、人間が持つような、ケースごとの安定した判断力が欠けています。

3. 信頼性の問題：AIは自分が推測している時にそれを自覚できない
研究者たちは、AIに自分の回答に対する自信の度合い（高、中、低）を評価するよう求めました。彼らは、AIが「自信あり」と言ったときは、ほぼ毎回正解することを期待していました。

• 現実： AIの自信メーターは壊れていました。AIは間違っているときでも「自信あり」と答え、正しいときには「自信あり」と答えないことがよくありました。
• 比喩： 天気予報士が「100%雨が降ると断言します」と言っているのに、実際には晴れている状況を想像してください。あるいは、土砂降りなのに「自信がありません」と言う状況です。彼らの「自信」のスコアを、傘を持っていくべきかどうかの判断材料として信頼することはできません。

4. 「テストを繰り返す」というトリックは機能しなかった
研究者たちは、自信の問題を解決するための策として、同じ質問を10回行い、その回答を平均化するという方法を試みました。これにより、AIの混乱が緩和されることを期待しました。

• 現実： これもあまり効果はありませんでした。10回繰り返した後でも、難しいケースにおけるAIの回答は依然としてバラバラでした。AIは「たぶん」と「間違いなく」の違いを、信頼できる形で識別することができなかったのです。

結論

この論文は、これらのAIモデルは**「素早い一次フィルター」としては非常に優秀である**と結論付けています。もし数百万の画像があり、単に明らかなゴミを取り除きたいのであれば、AIはまともな仕事ができ、人間の時間を節約できます。

しかし、AIは**「難しいケースにおける最終決定者」にはなれません**。AIは科学者に対して、「これを信じてください」とか「これは無視してください」と信頼できる形で伝えることはできません。AIが信頼できる自信スコアを提供できるようになるまでは、困難で曖昧な発見については、依然として人間が主役を務める必要があります。

要約すると： AIは、簡単な郵便物を仕分けすることができる「有能なインターン」ですが、複雑な謎を独力で解明できる「シニア探偵」にはまだなっていないのです。