💬 NLP

Causally Evaluating the Learnability of Formal Language Tasks

本文引入了分箱半环（binning semiring）以及一个使用形式语言的因果框架，旨在证明由于混杂因素的存在，对语言模型可学习性的标准相关性评估存在缺陷，从而为准确衡量特定任务的数据需求提供了一种严谨的方法。

原作者： Vésteinn Snæbjarnarson, Anej Svete, Josef Valvoda, Reda Boumasmoud, Brian DuSell, Ryan Cotterell

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Vésteinn Snæbjarnarson, Anej Svete, Josef Valvoda, Reda Boumasmoud, Brian DuSell, Ryan Cotterell

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人如何说话。你给了它一堆厚厚的书（训练数据），并要求它学习一切：如何编写代码、如何讲笑话以及如何解决数学问题。

核心问题在于：机器人为了学会一项特定的技能，究竟需要进行多少次的针对性练习？

例如，如果你想让机器人学会一种特定类型的数学谜题，你是需要给它看 10 个例子，还是 10,000 个例子？

问题所在：“相关性陷阱” (The "Correlation Trap")

作者认为，如果你仅仅观察机器人的自然学习过程，你可能会得到错误的答案。他们称之为**“相关性陷阱”**。

类比：
想象你正在研究一位厨师制作香辣塔可 (Spicy Tacos) 的水平。

相关性方法： 你观察了世界上所有的厨师。你注意到，那些制作最多香辣塔可的厨师，通常也拥有最好的厨房、最新鲜的食材以及最丰富的烹饪经验。
错误结论： 你得出结论：“啊哈！要做出完美的香辣塔可，你只需要多做一些就行了！”
现实情况： 也许这些厨师之所以厉害，是因为他们拥有豪华的厨房，而不是因为他们做了很多塔可。如果你给一位厨房条件很差的厨师 10,000 个香辣塔可去练习，他们可能依然会失败。

在 AI 的世界里，“自然”的数据是混乱的。如果一个机器人频繁看到某种特定的模式（比如某个数学谜题），它通常也会同时看到其他有帮助的模式（比如简单的语法或常见的词汇）。你很难分辨出，机器人学会这个谜题是因为它看到了 100 次该谜题，还是因为它在看到谜题的同时，也看到了 100 个有助于它学习的简单句子。

解决方案：“因果干预” (The "Causal Intervention")

为了解决这个问题，作者决定不再旁观机器人的自然学习，而是开始强制控制学习环境。他们想要隔离变量：即“机器人看到这个特定事物的次数是多少？”

类比：
与其让机器人在图书馆里漫游，不如把它放在一个带有传送带的房间里。

设置： 你控制传送带。你说：“今天，这个机器人将恰好看到 50 个香辣塔可，除此之外什么都不看。”
控制： 你对 10 个机器人进行这样的实验。一个看 50 个塔可，一个看 100 个，一个看 1,000 个。你保持其他所有因素（房间、灯光、机器人的大脑）完全一致。
结果： 现在，如果随着观察数量的增加，机器人的塔可制作水平提高了，那么你就确定是“塔可的数量”导致了能力的提升。你排除了“豪华厨房”等干扰因素。

神奇工具：“分箱半环” (The "Binning Semiring")

为了实现这种“传送带”式的技巧，作者发明了一种新的数学工具，叫做**“分箱半环” (Binning Semiring)**。

类比：
想象你在数着滚下轨道的小球。通常情况下，你只是随着它们滚动时进行计数。但作者希望在计数的同时进行统计，并强制轨道在计数达到特定数值（比如 50）时精准停止。

“分箱半环”就像是内置在轨道上的一个智能计数器。

它不只是简单地说“1, 2, 3……”
它会说：“如果滚过来一个红球，计数加 1；如果滚过来一个蓝球，计数加 0。”
至关重要的是，它允许作者在数学上**“倒带并重滚”**这条轨道。他们可以设定：“向我展示所有红球计数恰好为 50 的路径”，并忽略所有计数为 49 或 51 的路径。

这使得他们能够生成在数学上得到保证的训练数据——即包含特定数量的“目标项”，且不会意外改变任务的难度或句子的长度。

他们的发现

作者在两种类型的机器人大脑上进行了测试：LSTM（一种较旧、较简单的类型）和 Transformer（现代 AI 如 ChatGPT 所使用的强大类型）。他们使用了“形式语言”（严格的、基于规则的谜题）而非真实的英语，以保持简单且受控。

重大发现：
当他们观察自然数据时（相关性陷阱），结果具有误导性。

有时，数据表明，当机器人看到某个任务的次数越少时，它反而学得越好。
有时，数据表明机器人对某项任务表现很差，仅仅是因为训练数据的特定“配方”恰好很难，而不是因为任务本身很难。

当他们使用因果干预（传送带）时：

曲线发生了彻底的变化。
他们发现，对于某些任务（如“奇偶校验”，即检查项目数量是奇数还是偶数），较旧的机器人（LSTM）确实随着观察例子的增加而变得更好。
但是，较新的机器人（Transformer）却遇到了瓶颈。无论他们强迫它看多少个例子，它的表现都没有显著提升。

总结

本文的结论是：标准的 AI 测试方法是有缺陷的，因为它们混淆了“看到很多”与“看到正确的东西”之间的关系。

如果你想知道一个 AI 是否真正学会了一项特定技能，你不能仅仅观察它在随机堆积的数据上的表现。你必须进行干预，控制确切的样本数量，并观察会发生什么。否则，你可能会误以为机器人很聪明，其实它只是运气好；或者误以为它很笨，其实它只是被噪声干扰了。

简而言之：不要相信相关性。通过强制实验来寻找真相。

技术摘要：因果评估形式语言任务的可学习性

问题陈述

语言模型（LM）作为多任务学习者，从单一训练语料库中获取多种能力。理解 LM 能力的一个基本问题是：学习给定任务需要多少特定任务的数据。在自然语言设置中，这一探究受到任务划分困难以及任务间相似性引入混杂因素的影响。标准的关联性评估实践——即通过相关性研究数据集中某一属性的频率与模型性能之间的关系——往往会得出错误的结论，因为属性频率与数据分布的其他结构特征（如字符串长度、整体复杂度）是纠缠在一起的。

本文认为，为了严谨地研究数据频率与可学习性之间的关系，必须隔离这些混杂因素。由于无法控制数据生成过程，使用自然语言语料库进行此类研究是难以实现的。因此，作者提出了一个受控设置，利用由概率有限自动机（PFA）诱导的形式语言作为方法论实验平台。

方法论

因果框架

作者将实验流程公式化为一个包含四个随机变量的图形因果模型（GCM）：

A (PFA)： 生成过程（自动机）。
D (数据集)： 从 $A$ 中采样的语料库。
L (学习到的模型)： 在 $D$ 上训练得到的神经网络参数。
M (性能)： $L$ 相对于 $A$ 的保真度。

核心区别在于条件化（Conditioning）与干预（Intervening）：

关联性（条件化）： 评估 $P(M | D \in P)$ ，其中 $P$ 是一个属性（例如，“数据集包含 $N$ 个符号的出现次数”）。这会在 $A$ 与 $D$ 之间引入依赖关系，因为倾向于生成此类数据集的 PFA 会被过度代表。
因果性（干预）： 评估 $P(M | \text{do}(D \in P))$ ，其中数据生成过程被修改以满足 $P$ ，同时保持 $A$ 的原始边际分布。这使目标属性与语料库的其他结构特征解耦。

分箱半环（The Binning Semiring）

为了高效实现因果干预，论文引入了分箱半环，这是一种允许在采样过程中控制目标属性计数的代数结构。

定义： 对于基础半环 $K$ 和阈值 $R$ ，第 $R$ 阶分箱半环由 $(R+1)$ 元组 $v = (v_0, v_1, \dots, v_R)$ 组成。
运算： 加法为逐元素加法。乘法为溢出累积卷积：乘积的第 $n$ 个元素表示具有恰好 $n$ 个目标出现的路径权重（当 $n < R$ 时），而第 $R$ 个元素聚合所有 $\ge R$ 的计数。
应用： 将 PFA “提升”为基于该半环的加权有限自动机（WFA）。通过计算该提升自动机上的后向权重，作者推导出了具有特定目标转换计数的条件分布。这实现了约束采样：绘制出特定属性（例如，特定的转换或符号）恰好出现 $N$ 次的数据集，而不受底层 PFA 自然偏置的影响。

实验流程

采样： 生成 PFA（采用固定拓扑重采样权重或随机拓扑）。
干预： 使用分箱半环算法采样具有特定属性计数（例如，离开特定状态的转换）的语料库。
训练： 在这些语料库上训练 LSTM 和 Transformer。
评估： 使用分解库尔贝克-莱布勒（KL）散度衡量性能。与标准 KL 不同，该指标隔离了特定转换或状态的误差贡献，从而实现对可学习性的局部评估。

核心贡献

分箱半环： 一种新型代数工具，能够精确控制从 PFA 采样的语料库中特定特征的频率，从而促进了此前在计算上难以实现（相比于拒绝采样）的因果干预。
因果评估框架： 将 LM 可学习性研究形式化为一个因果推理问题，区分了关联性观察与数据频率的因果效应。
分解 KL 指标： 一种将性能指标局部化到特定子任务（状态、转换或符号）的方法，适用于形式语言环境。
混杂效应的实证证据： 证明了标准的关联性评估可能会因不受控的混杂因素而导致错误的结论。

结果

作者在三个设置中进行了实验：

PARITY + 无星型自动机（Star-Free Automaton）： 一个结合了易学语言（ $aa^*$ $a a^{*}$ ）和难学 PARITY 语言的受控设置。
- 发现： 在关联性分析中，PARITY 字符串的低计数与高误差相关联，但这种趋势是非单调的，并受到字符串长度分布的混杂影响。因果干预揭示了一个单调关系，即增加 PARTY 计数能持续提高可学习性，从而暴露了 Transformer 与 LSTM 在处理该任务时的真实难度差异。
随机拓扑（50个状态）： 采样了 952 个随机 PFA。
- 发现： 关联性趋势往往与因果趋势相反。例如，在低出现次数时，关联性 KL 散度较低（暗示学习容易），因为自然产生少量目标实例的特定自动机在结构上更简单。因果采样消除了这种偏差，显示出可学习性实际上随频率增加而提高。
固定拓扑，变化权重： 单一 40 状态拓扑，包含 400 种权重配置。
- 发现： 即使在同一拓扑结构内，混杂效应也存在显著差异。在某些状态下，随着频率增加，因果曲线急剧下降，而关联性曲线保持平坦或上升，这表明在关联性研究中观察到的“难度”是特定权重配置的产物，而非任务本身的特性。

在所有设置中，因果曲线（实线）与关联性曲线（虚线）均表现出显著差异。在某些情况下，关联性趋势暗示某一属性易于学习，而实际情况却是难学的；反之亦然。

意义与主张

本文声称，评估形式语言可学习性的标准关联性方法论本质上是有缺陷的，因为它们未能控制任务间的混杂因素。观察到的数据频率与模型性能之间的关系，往往反映的是采样过程以及与目标属性共变的自动机的结构属性，而非任务本身的内在可学习性。

通过引入分箱半环实现的因果干预，作者提供了一个工具来解构这些效应。他们认为，这种方法对于以下方面是必要的：

准确比较不同架构（如 Transformer 与 RNN）的归纳偏置。
在没有混杂结构特征噪声的情况下表征缩放行为。
将难度归因于特定的结构特征，而非数据分布的人工痕证。

作者将这项工作定位为该领域的一种方法论修正，指出先前关于语言属性如何影响可学习性的关联性研究结论可能需要重新审视。他们指出，虽然本研究侧重于 PFA，但该框架可以自然地扩展到更丰富的自动机（如下推自动机），并为神经语言模型在形式任务上的“黑盒”评估提供了一种严谨的替代方案。