Human-AI Perceptual Alignment by Playing Hues and Cues

想象一下，你正试图教会一个机器人如何观察世界，不仅仅是识别形状，而是理解事物的“感觉”。在人工智能的世界里，有一种特殊的“大脑”叫做“视觉语言模型”（Vision-Language Model）。把这些模型想象成超级聪明的学生，他们读过互联网上数十亿本书，也看过数十亿张照片。他们很擅长说：“那是一只狗，”或者“那是一辆车。”但他们能理解一只狗的“颜色”吗？他们能知道香蕉通常是黄色的吗？并不是因为每一张照片里的香蕉在物理上都是黄色的，而是因为我们的大脑有一种“记忆”，知道香蕉是黄色的。这就是棘手之处：人类的色彩感知不仅仅是光线撞击眼睛，它还关乎我们的文化、记忆和共同的故事。科学家们想要知道，这些 AI 学生是在学习像人类一样观察，还是仅仅根据它们在海量数据堆中发现的奇特模式进行猜测。

为了找出答案，研究人员决定玩一个游戏。他们没有使用枯燥的图表或复杂的数学测试，而是使用了一个名为“色彩与线索”（Hues and Cues）的棋盘游戏。想象一个巨大的棋盘，上面有 480 个微小的方块，每个方块都有略微不同的颜色，排列得像一张彩虹地图。这个游戏的规则是这样的：有人说出一个词（比如“香蕉”或“希望”），然后你必须指向棋盘上最符合该词的方块。这听起来很简单，但它揭示了我们的大脑是如何将词汇与颜色联系起来的。研究人员使用这个游戏来测试 162 个不同的 AI 模型，让他们与 325 名真实人类一起对战。他们想看看 AI 的“猜测”是否与人群的“记忆”相匹配，或者 AI 是否在自己的思维中迷失了方向。

以下是当机器人坐下来开始游戏时发生的情况。

设置：一场数字棋盘游戏
研究人员构建了一个数字版的“色彩与线索”棋盘。这个棋盘拥有 480 个截然不同的颜色方块，经过科学测绘。他们收集了一大群 325 人，通过手机和电脑进行游戏。每个人被要求将 100 个不同的词语与棋盘上最合适的颜色进行匹配。有些词语是直观且具象的，比如“香蕉”或“血液”；另一些词语则比较抽象且难以捉摸，比如“希望”、“女性主义”或“流行文化”。

为了确保 AI 没有偏离实验方案，研究人员给模型提供了完全相同的数字棋盘。AI 的任务是观察一个词，并选出它认为最匹配的前 5 个颜色方块。研究人员随后将 AI 的选择与“人类共识”（即真实人类给出的平均答案）进行了对比。他们甚至计算了“人类误差率”，这基本上是指人类彼此之间产生分歧的程度。这为他们提供了一个完美的基准：如果一个 AI 表现得像人类一样好，它的“错误”程度应该与人类相当。

重大发现：“蓝色”崩溃
结果既有令人印象深刻的胜利，也有一个非常奇怪且系统性的失败。

首先是好消息：当词语涉及真实的物理对象时，AI 的表现非常出色。对于像“香ло香蕉”、“南瓜”或“猪”这类具体的物体，AI 模型经常能选出与人类完全相同的颜色。它们理解香蕉是黄色的，猪是粉色的。事实上，对于某些这些物理对象，AI 的精确度甚至达到了人类所拥有的“理想化”记忆颜色，而不仅仅是某张特定照片中的字面颜色。这表明，当存在清晰的物理现实时，AI 可以学习到人类的“氛围感”。

然而，当游戏转向抽象或文化概念时，AI 碰壁了。对于像“希望”、“愤怒”、“女性主义”甚至“拖拉机”（在西班牙具有特定的文化含义）这样的词语，AI 开始变得不合逻辑。它们不再选择一个符合情感或文化的颜色，而是开始做一些诡异的事情：所有的模型都坍缩到了一个单一的、默认的颜色上。

研究人员发现，当 AI 不知道答案时，它并不是随机猜测。相反，它几乎总是选择一种特定的蓝色（棋盘上的坐标为“I18”）。就好像 AI 的大脑短路了，心想：“我不知道这是什么意思，所以我就选蓝色吧。”无论词语是“冬天”、“史迪仔”（电影角色）还是“墨西哥钝头螈”，这种情况都会反复发生。

为什么会发生这种情况？
团队深入研究，试图找出 AI 为什么如此痴迷于蓝色。他们用“无意义”的词语（即没有任何意义的东西，如随机字母或停用词“the”和“and”）测试了模型。他们发现，大约 42% 的模型存在内置偏差。当它们看到无意义的词时，并不会随机猜测，而是默认选择特定的颜色，通常是那种蓝色，有时也是黄色。

这揭示了一个关键缺陷：AI 并不是真的“理解”“希望”这个词。它只是在遵循从训练数据中学到的模式。因为互联网上有大量的关于天空和水的图片（它们是蓝色的），所以 AI 学到了：当它感到困惑时，“蓝色”是一个安全的赌注。这就像一个学生，在不知道历史题答案时，直接写下“蓝色”，因为他在教科书里经常看到这个词。

数据质量的角色
研究人员还观察了 AI 是如何接受训练的。他们对比了在海量、混乱的互联网数据（如 LAION 数据集）上训练的模型，与在较小、经过精心清理和策划的数据集上训练的模型。

他们发现，庞大且杂乱的数据集并没有让 AI 在颜色方面变得更聪明。事实上，使用高质量、经过精心策划的数据进行训练的模型在匹配人类颜色方面表现得更好。数据的规模本身并不重要，质量才是关键。这就像备考：阅读一百万篇未经编辑的随机博客可能会让你获得很多事实，但阅读一本经过良好编辑的教科书会帮助你更好地理解概念。那些“干净”的模型犯错更少，也更不容易陷入那种默认的蓝色之中。

总结
那么，这一切意味着什么？这篇论文表明，虽然 AI 在识别物理对象及其颜色方面已经做得非常好，但在处理人类感知的复杂、文化和情感层面时仍然感到吃力。当 AI 感到困惑时，它不会承认不确定性，而是根据其训练数据中最常见的现象，直接退回到一个“安全”的颜色——通常是蓝色。

研究人员建议，要让 AI 真正理解我们，仅仅向它喂入更多数据是不够的。我们需要教会它如何在面对不确定性时而不发生崩溃，并且我们需要使用更好、更干净的数据，来帮助它学习人类自然遵循的那些微妙的、文化性的色彩规则。这场“色彩与线索”的游戏证明了，即使是最聪明的 AI 模型，距离真正像我们一样观察世界，还有很长的路要走。