🤖 machine learning

A mathematical theory of balancing relational generalization and memorization

本文引入了一种新颖的“带例外的传递推理”任务，以研究学习系统如何平衡关系泛化与记忆，并提出了一种核岭回归的解析理论，该理论预测了特定的表征敏感性和系统性误差，这些预测随后在微调后的语言模型中得到了验证。

原作者： Luke Cheng, Samuel Lippl

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Luke Cheng, Samuel Lippl

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对论文《平衡关系泛化与记忆化的数学理论》的解释。

核心难题：规则与例外

想象你在教一个机器人玩游戏。你教给它一条简单的规则：“如果你有一张皇后牌，通常比有一张骑士牌更强。”

机器人很快学会了这条规则。现在，你给它展示一个新情况：“我有一张皇后，你有一张骑士。”机器人正确预测：“你赢了！”这就是泛化。机器人学会了模式，并能将其应用到它从未见过的新事物上。

但问题在于：现实生活是混乱的。 有时，规则会有例外。也许在棋盘的某个特定角落，牺牲你的皇后反而能赢得比赛。或者，在德语中，单词"Gift"的意思是“毒药”，而不是“礼物”。

这篇论文提出的大问题是：一个学习系统（如人脑或人工智能）如何在掌握一般规则的同时，记住具体的例外？

如果你过于关注规则，就会错过例外；如果你过于关注例外，就会忘记规则，无法应对新情况。

新游戏：“带例外的传递推理”

为了研究这一点，作者发明了一种名为“带例外的传递推理”的新测试。

把它想象成一个有 9 支队伍（从 A 到 I）的体育联赛。

规则：通常，A 队击败 B 队，B 队击败 C 队，C 队击败 D 队，依此类推。这形成了一个清晰的阶梯。
例外：但我们引入了一个故障。假设通常较弱的 D 队突然击败了通常较强的 G 队。这打破了阶梯。

该测试向人工智能提问：

记忆化：你能记住 D 击败了 G（这个例外）吗？
泛化：如果你知道 A > B > C 且 E > F > G，你能猜出 A > F 吗？（这是遵循阶梯）。
难点：你能猜出 B > F 吗？即使 B 和 F 位于“故障”的不同两侧？

理论：“双脑”模型

作者使用了一个数学模型（神经网络学习方式的简化版本）来探究人工智能“大脑”内部发生了什么。他们发现，人工智能实际上同时使用了两种不同的策略，就像一个两人团队：

“排名”大脑（规则遵循者）：这部分试图给每个项目分配一个数字（1 到 9）以创建一个平滑的阶梯。它热爱秩序。它希望 A 是 9，B 是 8，以此类推。
“查找”大脑（例外记忆者）：这部分就像一张便利贴。它不在乎阶梯；它只记住特定的配对。“哦，D 击败了 G？我会把它写在便利贴上。”

神奇的平衡：
论文表明，为了让人工智能成功，它需要这两种大脑的特定混合。

如果“查找”大脑太弱，人工智能就会忘记例外（D 输给了 G，因为阶梯显示 G 更强）。
如果“排名”大脑太弱，人工智能就会因例外而感到困惑，并破坏整个阶梯，无法猜出 A 击败了 F。

惊人的转折：正则化是一把双刃剑

在机器学习中，我们通常使用一种称为正则化的工具（将其想象为一位“纪律教练”），以防止人工智能过于完美地记忆训练数据，希望它能更好地泛化。

论文发现了一个令人惊讶的结果：在这个特定游戏中，“守纪律”实际上会伤害人工智能。

没有教练：人工智能可以完美地记忆例外（D 击败 G），同时仍保持阶梯基本完整。
有教练（强正则化）：教练告诉人工智能：“停止记忆特定的配对！”人工智能听从了，但这样做迫使“排名”大脑弯曲阶梯以适应例外。这导致阶梯扭曲。突然，人工智能开始在新问题上犯系统性错误（例如认为 B 输给了 F），因为阶梯现在被破坏了。

类比：想象试图画一条直线（规则），但你必须在中间画一个小凸起（例外）。

如果你被允许自由地画这个凸起，其余的线条保持笔直。
如果你被迫保持线条“平滑”（正则化），你可能会最终倾斜整条线以使凸起吻合，导致线条的两端指向错误的方向。

在真实人工智能（语言模型）上的测试

作者在真实的现代人工智能模型（如驱动聊天机器人的模型）上测试了他们的理论。他们在体育队和扑克牌示例上对这些模型进行了微调。

结果：

成功：人工智能模型非常擅长学习一般阶梯（A > B > C）。
故障：正如理论预测的那样，当它们尝试处理例外时，一些模型感到困惑。
预测：该理论正确预测，如果你使“纪律”（正则化）过强，人工智能就会在交叉问题（如 B 对 F）上开始犯具体且可预测的错误。真实的人工智能模型确实如此。

结论

这篇论文证明，学习系统有能力平衡规则与例外，但这就像走钢丝。

过于关注规则：你会错过例外。
过于关注例外：你会破坏规则。
过于“守纪律”（正则化）：你可能会在试图忽略例外时意外地破坏规则。

作者得出结论，为了构建更好的人工智能（并理解人类如何学习），我们需要设计专门测试这种平衡的任务，而不仅仅是测试模型是否能遵循简单的规则。我们需要教会人工智能如何应对现实生活中“礼物即毒药”的时刻。

技术摘要：平衡关系泛化与记忆化的数学理论

问题陈述

学习系统（包括人类、动物和机器学习模型）必须同时学习通用规则以实现关系泛化，并记忆这些规则的具体例外。尽管关于组合泛化和记忆化的独立研究文献丰富，但缺乏任务范式和理论框架来理解当两者同时需要时，系统如何平衡这些相互对立的需求。具体而言，学习系统如何处理那些大体上具有传递性但包含非传递性例外的有序关系（例如， $A > B > C$ ，但存在例外 $C > A$ ），目前仍不清楚。现有的范式如传递推理（TI）仅测试纯粹的泛化，而横向模式（TP）仅测试非传递性循环的纯粹记忆，但两者均未捕捉到规则与例外共存的现实世界场景的复杂性。

方法论

作者引入了一种新颖的任务范式和理论框架来分析这种平衡：

任务范式：带例外的传递推理（TIwE）
- 该任务涉及一组具有潜在传递性排序的项目 $I_1, \dots, I_n$ 。
- 引入一个“例外”：一个非传递性对 $I_p > I_q$ ，其中 $p > q$ （违反全局顺序）且 $|p-q| > 1$ 。
- 这创建了两个由非传递性部分（ $L$ ）分隔的传递性部分（ $O^{(1)}$ 和 $O^{(2)}$ ）。
- 评估侧重于四个指标：传递性对的记忆、非传递性对的记忆、部分内泛化以及跨部分泛化（例如，尽管中间存在例外，仍推断出 $I_1 > I_n$ ）。
理论模型：核岭回归
- 作者在无限宽极限下分析了一个随机特征模型 $\phi(x) = \sigma(Wx)$ ，该模型收敛于核岭回归。
- 他们假设存在一种可交换表示，其中核函数 $K(x, x')$ 仅取决于项目之间的重叠（相同、重叠或不同对），并通过参数 $\kappa_s, \kappa_o, \kappa_d$ 形式化。
- 该模型由两个关键参数表征：
  - 合取因子（ $\alpha$ ）： 衡量表示中项目间非线性纠缠的程度（ $\alpha=0$ 为完全组合/可加； $\alpha=1$ 为完全合取）。
  - 有效正则化（ $\tilde{c}$ ）： 缩放 $L_2$ 正则化强度。
解析推导
- 作者解析求解了岭回归对偶问题，以推导模型的预测。
- 他们将解分解为涌现的排序系统（ $r_j$ ）和仅在训练数据上激活的合取响应（ $t_{j,k}$ ）。
- 研究表明，排序系统是标准 TI 排序系统的扰动，并因例外的存在而进行了修改。

主要贡献与结果

1. 平衡的理论表征

本文推导出了一个闭式解（定理 1），表明核模型通过排序系统与合取读出之间的权衡，自然地平衡了泛化与记忆化：

泛化： 模型学习到一个在传递性部分内单调递减的排序系统 $r_j$ 。然而，例外的存在会在非传递性循环周围引入排序系统的非单调性。
记忆化： 模型使用合取项 $t_{j,k}$ 来修正训练集上的误差，特别是记忆例外。
权衡： 成功的泛化（特别是跨部分泛化）与成功的记忆化之间存在张力。
- 表示几何（ $\alpha$ ）： 更具组合性的表示（低 $\alpha$ ）有利于泛化，但难以记忆例外。更具合取性的表示（高 $\alpha$ ）容易记忆例外，但由于排序系统的非单调性，可能无法跨部分泛化。
- 正则化（ $\tilde{c}$ ）： 更强的正则化（更小的 $\tilde{c}$ ）迫使模型更多地依赖排序系统以最小化权重范数，导致泛化出现系统性误差（错误地预测 $I_{q-1} < I_{p+1}$ ）并减少对例外的记忆。相反，较弱的正则化允许更好的记忆，但存在过拟合风险。

2. 失败模式的机制解释

作者解释说，涌现排序系统的非单调性是系统性误差的根本原因。

为了最小化权重范数（正则化），模型必须在“平坦”的排序系统（有利于泛化）和“修正”的排序系统（拟合例外所需）之间做出妥协。
这种妥协导致排序系统在例外附近发生扭曲，从而将误差传播到跨部分泛化任务中。
至关重要的是，本文指出，通常有利于分布内泛化的L2 正则化，在此特定任务中可能对分布外泛化产生反作用，引发在标准 TI 中本不会发生的系统性误差。

3. 在预训练语言模型（PLMs）中的实证验证

通过在体育团队层级和扑克手牌排名上的 TIwE 任务微调 PLMs（Llama3.2, Qwen3.5），验证了理论见解。

泛化： 模型成功实现了部分内泛化，但在跨部分泛化上表现不一致，经常犯理论预测的系统性误差（准确率降至随机水平以下）。
记忆化： 模型能够记忆例外，但性能对正则化敏感。更强的正则化降低了例外对的准确率。
任务参数： 增加传递性部分的长度显著增加了跨部分泛化的难度，而增加非传递性循环的长度影响较弱，这与理论预测一致。
微调策略： 全量微调和线性探测通常优于 LoRA，且线性探测的行为与核模型关于正则化效应的预测高度吻合。

意义与主张

本文声称提供了首个分析框架，用于理解学习系统如何平衡关系泛化与例外记忆。其意义在于：

识别新的失败模式： 它表明，需要平衡规则与例外的任务本质上比纯规则学习任务更具挑战性，因为它们引入了表示几何与正则化之间的权衡，可能导致系统性而非随机的误差。
重新评估正则化： 它强调，标准正则化技术（如 L2）可能会阻碍具有例外的组合任务中的分布外泛化，这与其通常的作用相反。
基准测试： 它提出了“带例外的传递推理”作为探测生物和人工系统组合泛化极限的必要新范式。
理论基础： 通过表明简单的核模型能够捕捉大型语言模型在这些任务上的细微行为，它表明 PLMs 在处理例外方面的局限性可能源于其学习动力学中的基本几何约束，而不仅仅是架构复杂性。

作者得出结论，显式建模例外的影响对于开发能够进行稳健现实世界推理的学习系统至关重要，未来的工作应聚焦于捕捉这种复杂性的任务范式。