Do Vision-Language Models See Dwarf Galaxies the Way We Do?

想象你是一名侦探，试图在一座巨大的、拥挤的城市黑夜中，寻找一个非常特定、微小且模糊的幽灵。这个幽灵是一个“矮星系”——即绕着我们的银河系运行的一个小型恒星簇。这座城市就是天空，而人群中充满了数百万计的其他东西：路灯、反射光、相机故障产生的噪点，以及看起来像幽灵但其实并非幽灵的随机噪声。

这篇论文是关于测试一种新型“超级侦探”（一种被称为视觉语言模型 [Vision-Language Model] 的人工智能）是否能像人类志愿者团队一样，有效地帮助寻找这些真实的幽灵。

以下是他们的实验过程及其发现：

设定：一场“猎鬼行动”

研究人员使用了来自真实天文调查项目 DELVE 的数据。他们拥有海量的显示潜在候选目标的图像。为了判断这些候选目标是真实的矮星系还是仅仅是“垃圾”（伪影），他们开展了一场“公民科学”运动。这就像是一场大规模的游戏，超过 1,650 名人类志愿者观察了每一个候选目标。

每个候选目标不仅仅是一张图片，而是一个诊断面板——一组多个图表和图形（就像是恒星的医疗报告）的集合，必须结合起来观察才能做出判断。人类进行投票：“这是一个真实的星系，还是垃圾？”

测试：AI 能玩转这场游戏吗？

研究人员要求一个强大的 AI（具体是一个名为 GPT-5-mini 的模型）查看这些相同的诊断面板。他们并没有预先教给这个 AI 任何天文学方面的知识。相反，他们只是用直白的英语给它下达了一系列指令，说：“观察这些图表。如果它看起来像一个真实的矮星系，就说‘矮星系’。如果它看起来像垃圾，就说‘垃圾’。”这被称为“零样本”（zero-shot）学习——即仅凭其通用的智能和提供的指令来完成一项新工作。

结果：好的一面、坏的一面以及不确定的一面

1. 大局观：AI 是一个优秀的“人群冲浪者”
当研究人员从整体群体角度观察结果时，AI 的表现出奇地好。如果 80% 的人类志愿者认为一个候选目标是真实的星系，那么 AI 也倾向于认为它是一个真实的星系。

• 类比： 想象一间满是人正在猜测南瓜重量的房间。如果平均猜测是 20 磅，那么 AI 的猜测也大致在 20 磅左右。在大尺度上，AI 的“感觉”与人类一致。

2. 个案分析：AI 是个“情绪化的人”
然而，当研究人员逐一观察特定的、棘手的案例时，AI 的可靠性远不如人类。

• 类比： 如果你问人类，“这是一个真实的幽灵吗？”他们可能会说，“我很确定。”但如果你问 AI 关于一个棘手案例的问题，它可能会像抛硬币一样随机。有时它说“是”，有时说“不是”，即使图片本身并没有改变。它缺乏人类那种针对单个案例的稳定判断力。

3. 置信度问题：AI 无法分辨自己是否在瞎猜
研究人员要求 AI 对其答案进行置信度评分（高、中、低）。他们曾希望当 AI 说“高置信度”时，它几乎每次都会是对的。

• 现实情况： AI 的置信度计器是失灵的。它经常给出错误的“高置信度”答案，而且即使在正确时，也很少给出“高置信度”答案。
• 类比： 想象一位天气预报员说：“我百分之百确定会下雨，”但实际上阳光明媚。或者，他们说：“我不确定，”但实际上正大雨滂沱。你无法依靠他们的“置信度”分数来决定是否要带伞。

4. “重复测试”的小技巧失效了
研究人员尝试了一个修复置信度问题的技巧：他们让 AI 把同一个问题问 10 遍，并取其答案的平均值。他们希望这能平滑掉 AI 的混乱感。

• 现实情况： 这也没什么帮助。即使问了 10 遍，对于那些棘手的案例，AI 的答案仍然是变幻莫测的。它无法可靠地分辨什么是“可能”，什么是“肯定”。

核心结论

论文的结论是，这些 AI 模型是优秀的“初步筛选器”。如果你有数百万张图像，并且只想剔除明显的垃圾，AI 可以做得很好，从而节省人类的时间。

然而，AI 还无法胜任最终判官的角色，去处理那些复杂的案例。它无法可靠地告诉科学家，“相信我，这个是对的，”或者“忽略这个，它不对。”在 AI 能够给出值得信赖的置信度评分之前，人类仍然需要在困难、模糊的发现任务中承担主要工作。

简而言之：AI 是一个能帮你分拣简单邮件的得力实习生，但它尚未成为能够独立解决复杂谜团的高级侦探。