技术摘要：通过机械解释性在 Dyck 路径上发现 Zeta 映射算法

问题陈述

机器学习正越来越多地应用于数学研究，但在高精度预测与生成显式、可验证的数学构造之间仍存在一个根本性的鸿沟。在组合数学中，理想的输出通常是猜想、构造或算法，而非数值近似。本文旨在解决这一差距，探讨机械解释性工具是否能从训练好的神经网络中提取出显式的组合算法。

具体的测试案例是 Dyck 路径上的 Zeta 映射 ($\zeta$)，这是 $q,t$-Catalan 数理论中一个核心的经典双射。Zeta 映射交换了 $(dinv, area)$统计量与$(area, bounce)$ 统计量。虽然 Zeta 映射已被深入理解，并拥有多种现有的算法描述（例如通过 area 序列或 sweep maps），但它作为 AI 辅助发现的理想受控环境，是因为其数据是精确可生成的，正确性是可穷举检查的，且目标是一个离散的组合过程。

研究方法

1. 实验设置

作者训练了 Transformer 模型来学习不同半长 $n$ 的 Dyck 路径的 Zeta 映射。

• 数据： 监督学习数据集包含 Dyck 词及其在 Zeta 映射下的图像（具体为 $\text{rev} \circ \zeta$，其中 $\text{rev}$ 表示将词反向读取并交换 0 和 1，这与使用的 SAGEMATH 实现一致）。
• 初始训练： 标准的编码器-解码器 Transformer（4 层，8 个注意力头）在各种半长（$n=11$ 到 $16$）下实现了$>99%$ 的准确率。
• 压缩： 为了实现机械分析，作者训练了一个 最小化 Dyck Transformer：一个刻意设计的微型架构，仅包含一个编码器层、一个解码器层和一个注意力头（嵌入维度 128，约 34 万个参数）。该模型实现了完美或接近完美的准确率。

2. 机械解释性分析

研究方法的核心在于使用三种主要工具对最小化 Dyck Transformer 的内部运作机制进行分析：

• 解码器交叉注意力分析： 作者追踪了在生成输出序列期间，哪些输入位置接收到了最高的注意力权重。
• 因果消融（Causal Ablation）： 他们对特定的输入位置（例如向上步 $w_i=1$ 的位置）进行了掩码处理，以测试这些位置对于解码是否具有功能必要性。
• 线性探测（Linear Probing）： 他们在编码器隐藏状态上训练了线性分类器，以预测 Dyck 路径中每个位置的“高度”（level），从而测试该组合统计量在表示中是否是线性可达的。

3. 算法提取

基于在最小化模型中观察到的模式，作者提出了一个新的显式算法——脚手架映射（Scaffolding Map），并随后证明了其与 Zeta 映射的等价性。

主要发现与贡献

1. 发现基于高度（Level）的机制

解释性分析表明，模型并非将 Zeta 映射视为任意的查找表，而是通过一个结构化的、基于高度的机制来组织生成过程：

• 最高高度选择： 解码器始终关注相关位置中的最大高度位置，特别是在生成过程的早期阶段。
• 系统性规避上升步： 解码器很少关注 $w_i=1$（北向步）的位置。因果消蔽证实，屏蔽对这些位置的注意力会导致准确率下降微乎其微，这意味着解码器并不直接“读取”它们，而是依赖聚合信息。
• 三角形顺序偏移： 注意力模式表现出从高高度的东向步位置（$w_i=0$）向下一个符合条件的东向步位置（$i+1$）的偏移，对应于高度的顺序递减（$\ell_{i+1} = \ell_i - 1$）。
• 线性可达性： 线性探测证实，编码器表示使 Dyck 路径的高度序列（$\ell_i$）在形式上是线性可达的（84% 的预测准确率）。

2. 脚手架映射（Scaffolding Map）

将这些信号转化为组合数学语言，作者提出了一个以峰值为中心的遍历算法——脚手架映射：

• 机制： 该算法按高度对峰值位置进行分组。它在这些峰值处初始化“代理”（agents），并从上到下逐层遍历路径。
• 遍历： 代理沿着相邻的东向步和非东向步位置移动。输出词是通过读取这些代理在由上升步构建的“脚手架”上移动时遇到的符号而生成的。
• 结构： 该算法将潜在的支持结构（由上升步构建的高度）与生成输出的遍历过程分离。

3. 理论验证

作者提供了形式化证明（定理 6.1），确立了脚手架映射与 Zeta 映射的等价性（在所使用的数据集的反转约定下）。

• 证明策略： 证明过程将脚手架映射与 $\text{rev} \circ \zeta$ 的 area 序列描述进行逐层对比。证明表明，脚手架映射的队列机制（$Q'_k$）生成的子序列与扫描反向 area 序列时由标准 Zeta 映射算法（$P_k$）生成的子序列完全匹配。

意义与主张

本文声称提供了一个AI 辅助数学发现的受控范例，其中机械解释性将模型行为转化为精确的、人类可验证的组合算法。

• 新颖性： 据作者所知，这是首次利用训练好的神经序列模型的机械解释来提取一个新的显式双射描述，用于描述一个研究已久的组合映射。
• 工作流： 本文阐述了一个工作流：
  1. 模型提供循环出现的结构化信号（注意力模式、线性探测）。
  2. 人类研究者将这些信号解释为组合操作。
  3. 干预措施（消融实验）测试因果相关性。
  4. 最终产生的程序成为一个数学对象（脚手架映射），可以独立于神经网络进行陈述和证明。
• 局限性： 作者对研究范围保持谦逊，指出：
  • 注意力模式本身并非证明；结合消融实验与形式化证明才是必不可少的。
  • 从学习到的机制来看，Transformer 实现的是该算法的一个“模糊”版本（由不完美的探测结果证明），这表明更大或训练方式不同的模型可能会实现更复杂或更“纯净”的机制。
  • 脚手架映射是从一个特定的简单模型中提取的；更大的模型可能会实现不同的内部解法。

文章总结道，虽然该特定发现的具体细节可能无法直接迁移到所有数学问题上，但利用机械解释性来弥合黑盒预测与显式组合构造之间鸿沟的概念，在组合数学研究中具有广泛的应用前景。