💬 NLP

Evaluating the relationship between regularity and learnability in recursive numeral systems using Reinforcement Learning

本研究利用强化学习证明，人类递归数字系统的高度规律性使其能够从有限数据中被习得，表明这一结构特征是其跨语言普遍性的关键驱动因素。

原作者： Andrea Silvi, Ponrawee Prasertsom, Jennifer Culbertson, Devdatt Dubhashi, Moa Johansson, Kenny Smith

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Andrea Silvi, Ponrawee Prasertsom, Jennifer Culbertson, Devdatt Dubhashi, Moa Johansson, Kenny Smith

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人数数。对于你赋予它的数字“语言”，你有两种选择：

“规则”语言：像英语或汉语一样。一旦机器人学会了“十”加“一”是“十一”，“十”加“二”是“十二”，它就能轻松猜出其余部分。这就像一本食谱书，其中的指令是一致的：“加一杯面粉，然后加一个鸡蛋。”
“不规则”语言：一种人为编造的系统，其中的规则随机变化。也许“十加一”是“十一”，但“十加二”是“香蕉”，而“十加三”是“紫色”。没有可重复使用的模式；每一个数字都是一个全新的、令人困惑的秘密代码。

这篇论文提出了一个简单的问题：人类使用规则的数字系统（如英语）的原因，是否因为它们更容易学习？

为了找到答案，研究人员没有询问人类，而是构建了一个数字“学生”（一个强化学习智能体），并让它学习数千种不同的数字系统。他们测量了机器人掌握该系统所需的速度。

以下是他们的发现，分解为简单的概念：

1. “测试”方式最为关键

研究人员意识到，他们如何测试机器人会改变结果。

场景 A（“现实世界”测试）：他们主要让机器人学习小数字（1–10），因为人们最常使用小数字。然后，他们用所有直到 99 的数字（包括罕见的大数字）来测试它。
- 结果：机器人学习规则系统快得多。因为规则是一致的，机器人可以将从小数字中学到的东西“泛化”（应用逻辑）到大而罕见的数字上。不规则系统则是一场噩梦；机器人不得不从头开始死记硬背每一个数字。
- 类比：把规则系统想象成一套乐高积木。一旦你知道了如何将两块积木扣在一起，你就可以搭建塔楼、汽车或城堡。而不规则系统就像一盒随机的、独特的拼图碎片，每一块只能拼在一个特定的位置。如果你想搭建一个大型结构，乐高积木显然更容易学习。
场景 B（“频率”测试）：他们使用相同的偏斜分布（主要是小数字，几乎从不出现大数字）来训练和测试机器人。
- 结果：在这种特定情况下，机器人并不在乎系统是否规则。由于它很少被测试大数字，它不需要泛化。它只是死记硬背了那些它经常看到的小数字。
- 启示：只有当你需要能够处理新的或罕见的情况时，规则性才有助于你学习。

2. “过于怪异”的领域

研究人员还考察了那些极度混乱和不规则的系统。

结果：对于这些“超级怪异”的系统，规则性并不重要。相反，主要问题在于长度。如果数字的词汇太长且难以发音，机器人就很难学会它们，无论是否存在模式。
类比：如果你试图记忆一串随机单词，它们是否押韵（规则）并不重要。如果这些单词本身就非常长且难以发音，你无论如何都会忘记它们。但如果单词很短，拥有押韵方案（规则性）会使它们更容易记忆。

3. “局部”模式

研究人员注意到，有时一个系统整体看起来杂乱无章，但在小范围内却有序。

结果：当规则在局部保持一致时，机器人的学习效果最好。例如，如果 30–39 的规则是一致的，即使 40–49 的规则不同，机器人仍然可以很好地学习它。
类比：想象一座城市，其中“北区”的每条街道都遵循网格模式，但“南区”却是一个迷宫。只要你待在北区，你仍然可以轻松地在这座城市中穿行。你不需要整座城市都是网格才能通行；你只需要一些局部的一致性。

主要结论

该论文得出结论：人类的数字系统之所以规则，不仅仅是因为它们说话效率高，而是因为规则性使它们更容易学习并传递给下一代。

如果一种语言的数字系统过于混乱，孩子（或机器人）就很难在没有被明确教授每一个数字的情况下，推导出大数字的规则。规则性就像一个安全网，允许学习者通过少数几个例子正确猜出其余部分。这种“学习压力”很可能是为什么世界各地的人类文化都自然演化为使用基于规则的、有模式的数字系统的原因。

以下是论文《使用强化学习评估递归数字系统中规律性与可学性之间关系》的详细技术总结。

1. 问题陈述

本文调查了塑造递归数字系统（例如英语的十进制、汉语）的进化与认知压力。虽然人类的数字系统高度规律，但理论上可能的系统却可能极不规则。先前的研究（例如 Prasertsom 等人，2026）表明，自然系统优化了词汇量与形态句法复杂度之间的权衡，但未能解释规律性（形式的复用）。

核心研究问题是：规律性是否促进可学性？
作者假设规律性系统之所以普遍存在，是因为它们更易于学习，特别是当学习任务要求从有限的训练数据中泛化以准确表示广泛整数时。他们旨在利用强化学习（RL）智能体模拟学习过程来检验这一假设。

2. 方法论

本研究采用**单智能体强化学习（RL）**来量化各种数字系统的可学性。

任务构建： 任务被构建为一个具有连续动作空间的上下文多臂老虎机问题。
- 输入： 数字字符串（语素序列）。
- 输出： 预测的整数值（1–99）。
- 智能体架构： 单层 LSTM 网络。语素被嵌入（大小为 5），按顺序处理，最终隐藏状态预测标量 $\mu \in [0, 1]$ 。这被解释为高斯策略 $N(\mu, \sigma)$ 的均值。
- 奖励函数： 基于预测整数与目标整数之间距离的有界指数衰减高斯函数。1–99 范围之外的预测获得零奖励。
- 训练： 智能体使用 REINFORCE 算法训练 30,000 个纪元。
- 指标： 可学性通过测试准确率随训练纪元变化的**曲线下面积（AUC）**来衡量。较高的 AUC 表示学习速度更快。
系统数据集： 本研究评估了四类系统：
1. 人类系统： 128 个经证实的递归数字系统。
2. D&S 最优系统： 为词汇量/复杂度权衡而人工生成的系统（Denić & Szymanik, 2024）。
3. Y&R 最优系统： 为相同权衡优化但受限于类人特征的人工系统（Yang & Regier, 2025）。
4. 随机基线： 300 个使用类人符号的未证实系统。
规律性测量： 不规则性通过生成该系统语法所需的**最小确定性有限自动机（DFA）**的大小来量化。该度量计算编码 DFA 转换表、初始状态和接受状态所需的比特数。
实验条件：
- 实验 1： 训练分布 ( $p(n)$ ) 和测试分布 ( $q(n)$ ) 均遵循幂律 ( $n^{-2}$ )，反映交际频率（严重偏向小数字）。
- 实验 2： 训练遵循幂律，但测试使用均匀分布 ( $q(n) \propto 1/99$ ) 以测试对所有整数的泛化能力。
- 实验 3： 聚焦于人类系统的“局部邻域”（仅改变现有语素的排列），在保持词汇量和平均长度不变的情况下隔离规律性的影响。

3. 关键结果

实验 1（幂律训练与测试）：
- 结果： 规律性与可学性之间无显著相关性 ( $\beta = -0.020$ )。
- 解释： 当测试分布与偏斜的训练分布相匹配（专注于小数字）时，智能体可以在不需要泛化到大数字的情况下实现高准确率。因此，规律性的结构优势未被利用。
实验 2（幂律训练，均匀测试）：
- 结果： 不规则性与可学性之间存在强烈的负相关 ( $\beta = -0.828$ )。高度规律的人类类系统显著更易于学习。
- 解释： 当智能体必须泛化到大而罕见的数字（“长尾”）时，规律性系统允许智能体高效地复用已学习的子部分（语素/规则）。不规则系统无法提供这些可复用的模式。
- 局部规律性： 引入“局部规律性”指标（连续数字范围内的规律性，例如 30 年代、40 年代）进一步改善了相关性，解释了像法语这样的异常值，其全局基数不一致但局部范围一致。
实验 3（局部邻域）：
- 结果： 在具有固定词汇量和长度的特定系统家族中，30 个邻域中有 21 个显示不规则性与可学性之间存在负相关。
- 细微差别： 对于高度不规则的系统（随机基线），规律性对可学性影响甚微。相反，**形态句法复杂度（长度）**成为主导因素；无论规律性如何，较长的形式都更难记忆。

4. 主要贡献

作为可学性代理的 RL： 证明了强化学习智能体可以有效模拟语言系统的可学性，特别是捕捉规律性与泛化之间的权衡。
泛化的作用： 确立了规律性与可学性之间的联系是有条件的。只有当学习任务要求超越即时训练分布进行泛化（即从频繁的小数字到罕见的大数字）时，规律性才赋予可学性优势。
复杂度指标的细化： 表明“不规则性”并非可学性的单一预测因子。在高度不规则的系统中，长度/复杂度占主导地位，而在规律系统中，结构规律性占主导地位。
局部与全局规律性： 引入了局部规律性（连续范围内的一致性）作为可学性的关键因素，解释了为何具有混合基数（如法语）的系统仍然可学。

5. 意义与启示

语言进化： 研究结果支持了跨语言中规律数字系统的普遍性是由可学性压力驱动的假设，特别是为了在代际间高效传递知识以表示所有整数，而不仅仅是最常用的那些。
认知建模： 该研究表明，人类对数字的学习可能依赖于类似的泛化机制。与先前人类实验（Holt & Barner, 2025）的差异归因于那些特定实验设计中缺乏泛化到大数字的压力。
未来方向： 作者提出，计数惯例（顺序暴露）可能会人为地增加人类学习中较大数字的频率，从而促进一般规则的提取。他们还建议，可学性是一个多维空间，其中不同的复杂度因素（长度与规律性）在假设空间的不同区域占主导地位。

总之，该论文提供了计算证据，证明规律性是数字系统的适应性特征，因其能够支持从有限数据到整数通用集的稳健泛化而被选择。