Learning in Infinitesimal Non-Compositional Sketches

学习机器的隐藏语法

想象一下，你正在试图教一个机器人玩电子游戏。在机器学习的世界里，实现这一目标的标准方法是给机器人一个计分卡。如果它犯了错，分数就会下降；如果它表现得好，分数就会上升。然后，机器人会调整其内部设置，以便下次获得更高的分数。这被称为“优化”，它在从识别照片中的猫到翻译语言的方方面面都表现得极其出色。但问题在于：这种方法将机器人的大脑视为一个“黑盒”。它只关心最终的数字，而忽略了机器人是如何达到那个结果的，或者它所使用的逻辑是否真的合理。

现在，想象一下，如果不仅仅是看最终得分，你还可以窥视机器人的大脑，看看它的思维是否能够正确地“粘合在一起”。在数学和计算机科学中，这种事物完美契合的概念被称为“组合性”（compositionality）。这就像是在检查时钟里的齿轮是否啮合顺畅，或者故事里的句子是否逻辑通顺。有时，机器人会学会作弊：它可能会因为错误的原因得到正确的答案，或者当你看得仔细时，它的内部逻辑可能会崩溃。这篇题为《无穷小非组合草图中的学习》（简称 LINCS）的论文，出自范畴机器学习（categorical machine learning）领域。这是一种使用抽象数学规则（特别是范畴论）来描述机器如何学习的高级方法。论文提出了一个深刻的问题：当我们不仅观察机器人的错误，还观察当我们微小地、极其细微地推动机器人的大脑时，这些错误会发生怎样的变化，会发生什么？

论文的核心思想：“微小推动”测试

这篇论文提出了一种看待机器学习的新方式，称为 LINCS。LINCS 不仅仅是在问，“机器人答对了吗？”（这通常是一个简单的“是”或“否”，或者一个数字），LINCS 问的是：“机器人的逻辑是否破碎了？如果我们轻微地晃动它的脑回路，这种破碎是会加剧、保持不变，还是会自动修复？”

作者认为，机器学习模型的每一次失败不仅仅是一个数学错误，更是一种组合的失败。想象你在用积木搭一座塔。如果塔倒了，普通的老师可能只会说：“你丢分了。”但一个 LINCS 老师会观察这座塔并说：“积木没能拼在一起，是因为底部的积块歪了。”但 LINCS 更进一步。它会问：“如果我们把那个底部的积块微小地挪动一点点，整座塔是否会产生一种摇晃，从而揭示出一个隐藏的缺陷？”

在论文的语言中，这种“微观层面的推动”被称为无穷小量（infinitesimal）。作者将学习过程视为一张地图。如果地图是完美的，每条路径都会通向正确的目的地。如果地图是破碎的，路径就无法对齐。LINCS 拿到了这张破碎的地图，并创建了一个“切线”版本——即“地图的地图”。它检查原始地图中的微小误差是否也会在新的、放大的版本中无法对齐。如果它们确实无法对齐，说明模型存在深层的结构性问题，而简单的计分卡会忽略这一点。

“切线提升”：看见不可见之处

这篇论文的核心概念叫做切线提升（Tangent Lift）。把学习模型想象成一台拥有许多运动部件的复杂机器。通常，我们只在机器正常运行时观察它。切线提升就像是把机器放在显微镜下，它不仅能显示零件，还能显示当你轻微摇晃机器时，这些零件是如何运动的。

论文指出，目前的许多机器学习方法就像是只盯着时速表开车。你知道自己的速度有多快，但你不知道引擎是否在失火，或者轮子是否即将脱落。LINCS 就像是增加了一个显示引擎震动的仪表盘。如果震动（即“无穷小非组合性”）过高，这意味着汽车的设计存在缺陷，即使它目前行驶速度很快。

作者将这种“震动”定义为障碍（obstruction）。在数学中，障碍是阻止完美解存在的东西。在 LINCS 中，障碍是模型内部逻辑不一致的信号。论文表明，如果一个模型真正学习到了正确的规则，那么这些障碍不仅在主任务中消失，在每一个微小的“推动”任务中也应该消失。如果当你推动模型时，障碍依然存在，这意味着模型只是在记忆模式，而不是理解底层的结构。

从全局混乱到局部修复

论文中聪明的部分之一是它如何处理大规模、混乱的问题。想象你在试图解开一个巨大的、缠绕在一起的毛线团。很难看出问题出在哪里。LINCS 建议将这个结拆解成一个个小环。如果一个小环缠绕在一起，你就修复那个小环。论文证明，如果你正确地修复了所有的小环，大结最终也会解开。这被称为障碍局部化（obstruction localization）。

在神经网络（用于聊天机器人等 AI 的类型）的世界里，这意味着你不需要同时观察整个大脑。你可以只观察网络的某一层，看看它的微小“推动”是否会导致逻辑崩溃，并修复那个特定的点。论文表明，这种修复小部件的方法对于“推动”版本的问题与对于原始问题的处理同样有效。这是一个重大突破，因为这意味着我们可以通过在这些微小的、隐藏的逻辑崩溃导致大错之前将其修复，从而构建更好、更稳定的 AI。

学习的“塔”

论文还引入了一个迷人的概念：余代数不动点（coalgebraic fixed point）。这听起来很复杂，但实际上非常简单。想象你在剥一个洋葱。你剥掉一层，然后是另一层，接着又是另一层。通常，当你到达核心时，你会停止。但在 LINCS 中，你会持续剥下去。你观察核心，然后观察“核心的核心”，以此类推。

作者建议，一个真正完美的学习模型是这样的：在剥掉足够多的层数（或应用足够多的“切线提升”）之后，你不再发现新的问题。这种“震动”或“障碍”停止了变化。模型达到了一个稳定状态。论文使用高级数学证明，如果你持续进行这种剥离过程，你最终会达到一个点，在那里的模型的逻辑是如此一致，以至于任何程度的微小推动都无法将其破坏。这就是“不动点”。这是 AI 真正“学习”了游戏规则，而不仅仅是学会了答案的时刻。

论文排除了什么，又提出了什么

重要的是要注意这篇论文不是在说什么。作者并没有声称我们应该抛弃旧的训练 AI 的方法（使用简单的分数和损失函数）。他们明确表示，旧的方法是强大且有用的。相反，他们是在暗示旧的方法是不完整的。他们反对“微小的误差得分意味着模型是完美”的观点。一个模型可以拥有极小的误差得分，但其内部逻辑仍然是破碎的，会在现实世界变得诡异时失效。

论文也排除了我们需要发明全新数学来解决问题的想法。相反，他们展示了我们可以利用现有的数学工具（如“切线范畴”和“草图”）来重新界定问题。他们并不声称已经解决了所有的机器学习问题。事实上，他们承认虽然数学证明了这些“稳定状态”的存在，但在现实世界的 AI（如编写故事或驾驶汽车的大型模型）中实际找到它们仍是一项正在进行中的工作。他们提到，目前正在进行实验，以观察该理论在大型语言模型和强化学习等领域的实际效果，但这些具体实验的结果被描述为“正在进行中”，而非已完成。

“李括号”与 AI 的秘密语言

论文中最具趣味性和深度的概念之一是李括号（Lie bracket）。简单来说，这是一种衡量机器中两个不同动作如何相互干扰的方法。想象你在跳舞。如果你先向左旋转再向前迈步，和你先向前迈步再向左旋转，最终到达的位置是不一样的。这两个结果之间的差异就是“李括号”。

论文建议，在一个学得良好的 AI 中，这些“舞蹈动作”（或内部操作）应该完美地契合在一起。如果它们不契合，意味着 AI 对顺序感到困惑。作者展示了通过检查这些李括号，我们可以发现 AI 模型在处理语言或决策等问题时存在的隐藏缺陷。例如，如果一个 AI 被要求理解“打乱句子中的单词顺序”不应改变含义，但实际上却改变了，李括号可以精确检测出这种困惑发生的地点。

为什么这对于未来很重要

那么，为什么一个好奇的青少年应该关心这个？因为未来的 AI 需要不仅仅是一个聪明的猜谜者。它需要成为一个逻辑思考者。如果我们只训练 AI 去最小化分数，我们最终得到的模型可能擅长通过考试，但在理解世界方面却表现糟糕。它们可能是脆弱的，一旦遇到稍微出乎意料的情况就会崩溃。

LINCS 提供了一条构建稳健且可靠的 AI 的路径。通过检查“微小的推动”并确保逻辑在压力下依然成立，我们可以创造出不仅仅是模仿人类行为，而是真正理解其解决问题之结构的机器。论文暗示，下一代 AI 可能不仅仅是在数据上进行训练，而是在连贯性（coherence）上进行训练。其核心在于教机器建立一座逻辑之塔，即使地面摇晃，这座塔也不会摇摆。

作者总结道，这个框架是一个看待机器学习的新视角。它将训练 AI 这一混乱、混沌的过程，转变为一个层层修复破碎逻辑的有结构的旅程，直到机器达到一种完美的、稳定的理解状态。虽然数学原理很深奥，但道理很简单：不要只检查答案，要检查思考过程。如果思考在受到推动时会摇晃，请在继续前进之前先修复这种摇晃。