技术摘要：通过求解器残差实现几何定律的内化

问题陈述

大型语言模型（LLMs）在需要严格遵守几何、物理或逻辑定律的领域中表现出“精度幻觉”（precision hallucination）。虽然模型可以生成语法连贯且语义合理的输出，但它们经常无法满足精确的度量约束（例如垂直性、切线关系、特定长度）。现有方法通常将推理任务委托给外部符号或数值求解器，从而将 LLM 降级为自然语言到特定领域语言（DSL）的翻译器。这种委托过程阻碍了模型内化空间逻辑，使其在面对超出求解器预定义词汇表的创新约束时显得非常脆弱。

本文解决的具体挑战是几何约束求解（GCS）：将自由形式的自然语言描述转化为精确的 Python 程序，并输出满足数十个相互作用约束的精确度量坐标（点的位置、圆的半径）。与以往关注标量答案或定理证明的基准测试不同，该任务要求生成一个完全构建的几何构型，其中所有关系约束都必须在严格的容差范围内（$\|r\|_2^2 < 10^{-3}$）得到满足。

方法论

PyGeoX 框架

作者引入了 PyGeoX，这是一个可编程的几何 DSL 和引擎，旨在连接声明式意图与可微优化。

• 架构： PyGeoX 作为一个“声明式-符号化-可微化”流水线运行。它接收高层几何描述，将其编译为符号约束方程（使用 SymPy），并将它们聚合为一个单一的可微误差函数 $E(u)$。
• 能力： 该引擎支持 35 种对象类型和 38 种关系，包括复杂的代数约束（例如“五边形的周长等于圆的面积”）和不等式约束，而这些约束通常是传统演绎引擎不支持的。
• 训练中的角色： PyGeoX 严格用于离策（off-policy）任务。它通过程序化方式生成训练数据，并在强化学习（RL）奖励评估期间计算每个约束的残差。在推理过程中，模型永远无法访问 PyGeoX 库，从而迫使模型学习几何定律而非 API 语法。

奖励设计：异常值梯度掩盖与 SAR

本文的核心贡献在于识别了标准带有可验证奖励的强化学习（RLVR）中的一种失效模式，称为异常值梯度掩盖（Outlier Gradient Masking）。

• 问题： 标准的全局范数奖励（例如 $R = \exp(-\|r\|_2^2)$）将所有约束残差聚合为一个标量。在高维约束空间中，一个严重违反约束的异常值（outlier）会导致全局范数趋于零，从而使所有已满足约束的奖励信号发生坍缩。这种“全有或全无”的缩放机制使策略梯度失效，阻止了模型从部分进展中学习。

• 解决方案 (SAR)： 作者提出了饱和加性奖励（Saturating Additive Rewards, SAR）。SAR 不再全局聚合残差，而是将奖励分解为每个约束独立的、有界的核函数之和：
  $$R_{SAR}(r) = \sum_{i=1}^{C} \phi(r_i)$$
  其中 $\phi$ 是单调递减的核函数（例如 Boltzmann 核 $\phi(r) = e^{-r/T}$）。这确保了即使在其他约束被违反的情况下，已满足约束的进展仍能保持非零的梯度信号。

• 复合奖励： 为了解决“奖励平台期”（即部分满足约束虽能获得高奖励但无法达到精确解）和“几何退化”（如将所有点坍缩至同一坐标的平凡解）问题，最终的奖励函数结合了：

  1. 密集塑造（SAR）： 为部分进展提供连续梯度。
  2. 稀疏奖励： 仅在所有约束均得到满足（$\|r\|_2^2 < 10^{-3}$）时激活的二值奖励。
  3. 退化惩罚： 对平凡构型（如重合的点）进行扣分。

训练协议

该框架使用 Qwen3-8B 作为基座模型进行评估。

• 数据： 程序化流水线生成了约 10 万个经过验证的训练问题，并分为简单、中等和困难三个等级。
• 方法： 作者对比了使用加权损失（使用归一化奖励）的监督微调（SFT）与使用群体相对策略优化（GRPO）的强化学习（RL）。
• 基准： 与标准全局范数奖励（基于 MSE）、稀疏二值奖励以及提出的复合 SAR+S+D 进行了对比。

关键结果

基准测试表现

作者在 PyGeoX-Bench（300 个分层问题）和 PyGeoX-Wild（86 个改编自初中几何基准的分布外问题）上评估了模型。

• SAR 的优越性： 复合 SAR+S+D 奖励显著优于标准的稀疏和全局范数奖励。在“困难”等级中，SAR+S+D 分别实现了 0.41（RL）和 0.32（SFT）的求解率（SR），而 MSE+S+D 仅为 0.18 和 0.04。
• 梯度掩盖验证： 对 3,893 个部分正确解的经验分析显示，60% 的基于 MSE 的奖励坍缩至接近零，使其对优化器而言无法区分。相比之下，97% 的 SAR 奖励落在信息丰富的区间 $[0.1, 0.9]$ 内，保留了不同解之间的相对差距。
• Token 效率： 使用 SAR+S+D 训练的模型解决问题所需的 token 数比稀疏基准减少了约 22.8%，这表明其推理路径更加直接。
• 竞争力： 最终的 8B 模型（在困难等级达到 0.41 SR）在困难等级上超越了四种受评估的前沿闭源系统中的三种（包括 DeepSeek-V3.2），尽管其规模显著较小。

内化的证据

论文认为模型内化了几何定律而非仅仅记忆训练数据，其依据有三点：

1. 构造性轨迹： 约 90% 的成功轨迹遵循逐步的构造性推导（尺规作图风格），而非黑盒优化调用。
2. 分布外（OOD）迁移： 模型在包含人类编写文本和未见过的约束组合的 PyGeoX-Wild 上保持了高性能。
3. 组合不可行性： 困难问题的解空间超过 $10^{17}$ 种配置，远大于训练集，使得单纯的记忆在统计学上是不可行的。

重要性与主张

本文声称提出了第一个将端到端几何约束求解表述为 LLM 对齐任务的框架，超越了“翻译器”范式。其主要意义在于：

1. 奖励设计： 识别并解决了“异常值梯度掩盖”问题，证明了对于在多约束任务上训练 LLM，基于每个约束的密集残差信号是必不可少的。
2. 基础设施： 发布了 PyGeoX，这是一个支持不等式约束和复杂代数关系的微分几何引擎，同时提供了 PyGeoX-Bench 和 PyGeoX-Wild 用于严格评估。
3. 泛化性： 作者认为 SAR 方法适用于任何求解器返回多维残差向量的 RLVR 场景，例如物理模拟、场景布局或机器人操控。

作者对研究范围保持了审慎态度，指出目前的结果仅限于二维静态几何，且该方法需要具备强大数学和代码能力的基座模型（较小的模型无法收敛）。他们并未声称解决了通用的工程设计问题，但建立了一条让 LLM 在精度关键领域内化几何定律的可行路径。