The Concept of Representation in ML: Beyond Plato and Aristotle

地图与疆域：快速指南

想象一下，你正试图向一位从未离开过家门的朋友描述这个世界。你可以给他一串坐标、一堆原始数据，或者一张绘制精美的地图。在机器学习（ML）的世界里，这种“地图”被称为表示（representation）。它是计算机程序组织其所见信息的一种内部方式——比如将一张猫的照片转化为一组数字，这些数字代表着“毛茸茸”、“尖耳朵”和“胡须”。长期以来，工程师们只关心这些地图是否能帮助计算机解决谜题，比如正确识别出那只猫。

但最近，发生了一些迷人的事情。科学家们注意到，当他们构建不同的、庞大的计算机模型并在不同的事物上进行训练时，它们的内部地图开始变得惊人地相似。他们开始思考：这些计算机是否都在发现同一个“真实”的地图？这个想法被称为柏拉图式表示假设（Platonic Representation Hypothesis）。它暗示着，就像宇宙中存在一个完美的、理想的“猫”，而所有的猫都是它的副本一样，也存在着一个完美的现实结构，所有的智能 AI 模型都在缓慢地发现它。

然而，哲学家们几十年来一直在争论“表示”某物究竟意味着什么。他们问道：一张猫的照片仅仅是一张照片，还是它意味着“猫”？无论这张照片是由人类、机器人还是闪电造成的，这重要吗？本文深入探讨了这个问题。它追问：仅仅因为 AI 模型的地图看起来相似，我们真的可以说它们正在寻找“真理”吗？还是说我们看到的只是数学上的一个巧妙骗局？

---

当 AI 地图开始趋同

在现代机器学习的世界里，“表示”这个词是核心秘诀。把它想象成一个翻译官。当你向计算机展示一张狗的照片时，它看到的不是皮毛和骨骼；它看到的是一种复杂的数字模式。“表示”就是计算机如何将这些原始数据转化为一种它可以用来思考、学习和泛化的格式。多年来，工程师使用这个术力求实用主义，即“把事办成”的方式。如果一个模型能将混乱的图像转化为一种整洁的内部代码，从而帮助它在游戏中获胜，那么这段代码就是一个好的表示。

但随着这些 AI 模型变得越来越大、越来越聪明、越来越像人类，对话的重心发生了转移。研究人员注意到一个奇怪的现象：如果你选取两个完全不同的 AI 模型——一个在文本上训练，另一个在图像上训练，且使用了不同的代码——当你观察它们的“大脑”内部时，它们的内部地图开始变得一模一样。它们正在趋同。

这一观察引出了一个大胆的想法，称为柏拉图式表示假设。这个名字源于古希腊哲学家柏拉图，他认为在我们混乱、不完美的物质世界背后，存在着一个完美的、统一的现实。该假设认为，随着 AI 模型规模的扩大，它们不再仅仅是记忆数据，而是开始“发现”这种单一的、潜在的现实结构。这就像班级里的每个学生，尽管使用不同的教科书和不同的老师，最终却写出了完全相同的文章，因为他们都在揭示同一个普遍真理。

哲学上的减速带

本文的作者吉拉德·D·兰道（Gilad D. Landau）和阿维夫·克伦（Aviv Keren）在这里为这个令人兴奋的故事踩下了刹车。他们认为，虽然“地图趋同”的观察结果是真实的，但直接跳到“AI 正在寻找现实真理”的结论是一个巨大的跨越，跳过了许多非常重要的步骤。

为了理解其中的原因，我们需要看一个经典的哲学问题，叫做析取问题（Disjunction Problem）。想象你有一个传感器，每当它看到狗时就会发出鸣叫声。很好！但如果它在看到雾中的马、或者狗的雕像、或者一张狗的照片时也会鸣叫呢？如果传感器对所有这些情况都会鸣叫，那么这个鸣叫声到底意味着什么？它意味着“狗”？“动物”？“长得像狗的东西”？还是“光线不佳的狗”？

在工程领域，我们通常不在乎这种区别。如果鸣叫声能帮助机器人避开狗，那它就奏效了。但在哲学中，对于一个状态要成为真正的“表示”，它需要具有特定的含义，而不仅仅是模糊的相关性。论文指出，“柏拉图假设”依赖于测量不同模型的内部地图之间的相似程度。他们使用了一种称为核对齐（kernel alignment）的方法，这基本上是在检查两个模型是否以相同的几何形状组织它们的数据。

问题在于，仅仅因为两张地图看起来一样，并不意味着它们指向同一个真理。作者认为，这些模型可能只是找到了数据的相同“捷径”或统计模式，而非深层的现实结构。这就像两个学生从作弊纸上抄袭了同一个错误答案；他们的答案完美匹配，但他们并没有学到真理。

“沼泽人”与缺失的历史

论文还引入了一个著名的思想实验，叫做沼泽人（Swampman）。想象一道闪电击中了沼泽，意外地创造了一个在分子层面与人类完全相同的复制品。这个“沼泽人”看起来和行为举止都和真人一模一样。但由于他并非出生并进化而来，他拥有思想吗？他拥有对世界的“表示”吗，还是仅仅是一个模仿行为的空壳？

古典表示理论认为，要使某物具有意义，它需要一段塑造其使其能够正常工作的进化或学习历史。AI 模型与其说像人类，不如说更像“沼泽人”；它们是被设计和训练出来的，而不是进化的。论文表明，我们不能仅仅因为这些模型的表现看起来像人类，就假设它们拥有“真实”的表示。我们需要理解它们是如何利用这些表示来成功或失败于特定任务的。

由哲学家尼古拉斯·谢亚（Nicholas Shea）提出的一个较新的理论提供了一个折中方案。该理论认为，即使一个系统不是生物进化的，只要它能从环境中学习并随着时间的推移使行为趋于稳定，它仍然可以发展出真实的表示。但这不仅仅是观察数据的形状，还需要观察其功能。这个表示究竟是做什么的？

亚里士多德式的转折：现实检验

论文强调了一项挑战从技术角度质疑柏拉图观点的后续研究。这项名为《重新审视柏拉图式表示假设：一种亚里士多德式的观点》的研究表明，随着模型规模的扩大，它们实际上有更多的空间去建立偶然的联系。

可以这样理解：如果你抛 10 次硬币，很难出现完美的规律。但如果你抛 100 万次，你最终会因为偶然性发现一段很长的连续正面。同样，随着 AI 模型变得极其庞大，可能的“伪相关”（偶然匹配）数量也会随之增长。研究发现，当我们考虑到这些偶然匹配时，模型之间的“完美对齐”往往会消失。

剩下的则是一种更为谦逊的、“亚里士多德式”的观点。与其说是在寻找一个完美的、普遍的真理（柏拉图），不如说模型只是在寻找针对其正在执行的具体任务的最佳局部解决方案（亚里士多德）。它们趋同于那些有助于解决当前问题的结构，而不一定是宇宙的基本结构。

这对未来意味着什么

本文的核心启示是对谦逊和清晰度的呼吁。作者并不是说 AI 是无用的，或者它没有学习。他们是说我们需要谨慎使用词汇。当我们看到两个 AI 模型在内部结构上达成一致时，我们不应立即对现实的本质做出形而上学的结论。

相反，我们需要深入挖掘。我们需要追问：

1. 内容是什么？ 模型究竟在表示什么，我们如何知道这不仅仅是一个巧合？
2. 功能是什么？ 这种内部状态如何帮助模型在特定任务中成功或失败？
3. 谁在使用它？ 系统中的其他部分是如何解释这些信息的？

论文建议，要真正理解 AI 在表示什么，我们需要超越仅仅测量它们的地图看起来有多相似。我们需要使用哲学的工具来理解这些地图所扮演的角色。在我们能够解释这些模型如何固定其自身内部状态的含义之前，认为它们正在发现“柏拉图式真理”的想法，仍然只是一个美丽但未经证实的叙事。

简而言之，论文认为虽然“柏拉图式表示假设”是一个迷人的想法，但我们目前拥有的证据仅表明 AI 模型正变得擅长发现相似的模式。这并不能证明它们正在发现宇宙的终极真理。要了解这一点，我们不能仅仅观察地图；我们还需要理解模型绘制这些地图所经历的旅程。