SURFACEBENCH: A Geometry-Aware Benchmark for Symbolic Surface Discovery

本文提出了 SURFACEBENCH，这是首个面向三维曲面符号发现且具备几何感知能力的基准测试，旨在通过涵盖显式、隐式及参数化形式的多样化任务，评估现有方法在复杂几何结构推理与多变量耦合方面的性能，并揭示了当前大语言模型等方法在参数校准与多方程推理上的局限性。

要点

这篇论文介绍了一个名为 SurfaceBench 的新工具，它的目的是给那些试图从数据中“发明”数学公式的人工智能（AI）出难题。

为了让你轻松理解，我们可以把这项研究想象成一场**“猜谜游戏”，但这次猜的不是简单的数字，而是三维的几何形状**。

1. 以前的游戏 vs. 现在的挑战

以前的游戏（旧基准）：
想象一下，你给 AI 看一张纸上的波浪线（比如正弦波），然后问它：“这条线是用什么公式画出来的？”

• 局限： 以前的测试大多只关注这种简单的“一维曲线”。而且，评判标准很死板：如果 AI 写出的公式和你心里的公式哪怕差了一个字母（比如 sin(x) 和 cos(x-π/2) 其实是一样的），AI 就被判错。
• 问题： 这就像要求画家必须用完全相同的笔触画画，哪怕画出来的效果一模一样，只要笔法不同就不算对。

现在的挑战（SurfaceBench）：
SurfaceBench 把游戏升级了。它不再给 AI 看一条线，而是给 AI 看一堆散落在空中的点，这些点组成了一个三维物体（比如一个球、一个甜甜圈、或者一个复杂的波浪面）。

• 任务： AI 需要猜出定义这个三维物体的数学公式。
• 难点： 同一个形状，可以用无数种不同的数学语言来描述。
  • 比如一个球，你可以说它是“所有点到中心距离等于半径”（隐式方程）；
  • 也可以说它是“用两个角度旋转画出来的”（参数方程）；
  • 还可以说它是“高度 z 等于根号下..."（显式方程）。
  • 关键点： 只要 AI 猜出的公式画出来的球和原来的球长得一模一样，哪怕公式写法完全不同，AI 也应该算对。

2. SurfaceBench 是怎么设计的？（像是一个“防作弊”的考官）

为了让 AI 不能靠“死记硬背”教科书上的公式来作弊，作者们设计了一套非常聪明的流程：

• 183 个不同的谜题： 他们收集了 183 个受科学启发的形状（来自光学、流体力学等领域），涵盖了 15 种不同的结构类型。
• 三种“方言”： 每个形状都有三种不同的数学表达方式（显式、隐式、参数式），强迫 AI 学会“翻译”不同的数学语言。
• 防记忆化： 他们把公式进行了“变形”（比如把 sin(x) 变成 sin(x+y)），确保 AI 不能直接背诵答案，必须真正理解背后的逻辑。
• 真正的裁判（几何度量）： 这是最精彩的部分。以前的裁判只看公式写得对不对（像改作文）。SurfaceBench 的裁判是**“形状比对器”**。
  • 它把 AI 猜出的公式画出来，和真实的形状放在一起。
  • 如果两个形状严丝合缝（就像两个拼图完美重合），哪怕公式写法不同，AI 也得高分。
  • 它使用了两种尺子：Chamfer 距离（看整体平均误差，像看两个球大概像不像）和 Hausdorff 距离（看最坏情况，比如球上有没有多出一个尖刺或破个洞）。

3. 测试结果：AI 表现如何？

作者测试了各种类型的 AI，包括传统的进化算法和最新的“大语言模型”（LLM，就像现在的 ChatGPT）。结果发现：

• 现状很糟糕： 目前没有任何一种方法能 consistently（稳定地）在所有类型的形状上都表现好。
• LLM 的“偏科”：
  • 优点： 大语言模型很擅长“猜结构”。它们能很快想到“哦，这应该是个三角函数”或者“这应该是个指数函数”。这就像它们很有直觉。
  • 缺点： 它们不擅长“调参数”。一旦结构猜对了，它们很难把具体的数字（比如半径是 5 还是 5.1）算得精准。结果就是：形状大概像，但细节全是毛刺，或者位置偏了。
  • 比喻： 就像一个很有艺术天赋的画家，能一眼看出要画个苹果，但画出来的苹果要么太扁，要么颜色不对，甚至画成了梨。
• 传统方法： 传统方法在参数调整上更稳，但在发现复杂的结构时往往比较慢或容易迷路。

4. 为什么这很重要？

这项研究指出了当前 AI 科学发现的一个巨大缺口：

• 现在的 AI 太擅长处理简单的、线性的数据了。
• 但在现实世界中，物理定律（比如流体力学、电磁学）往往涉及复杂的三维曲面和多变量耦合。
• SurfaceBench 就像是一个**“压力测试”**，它告诉科学家：别光看 AI 能不能背公式，要看它能不能真正理解形状和空间关系。

总结

SurfaceBench 就像是给 AI 科学家发了一张**“三维几何驾照考试”**。
以前的考试只考“能不能背出交通法规”（公式匹配），现在的考试是“能不能在复杂的路况下把车（形状）完美地开出来”（几何重建）。

目前的测试结果显示，虽然 AI 们（特别是大模型）已经能认出路标（结构），但在精准驾驶（参数校准）和处理复杂路况（多变量耦合）上，还有很长的路要走。这个基准测试将帮助未来的 AI 变得更聪明，真正从数据中发现科学的真理，而不仅仅是模仿。

技术摘要

论文标题：SurfaceBench：面向符号曲面发现几何感知基准

1. 研究背景与问题定义 (Problem)

• 核心挑战：从数据中恢复简洁的符号表达式（符号回归/方程发现）是科学机器学习的核心挑战。现有的基准测试（如 AI Feynman, SRBench）主要关注低维标量函数（$y=f(x)$），且评估指标多基于字符串匹配或回归误差（如 NMSE）。
• 现有局限：
  1. 缺乏几何感知：标量任务无法反映真实科学方程中的多变量耦合、坐标变换和几何结构。
  2. 评估指标失效：对于三维曲面，存在符号非唯一性（Symbolic Non-uniqueness）。例如，球体可以用隐式方程 $x^2+y^2+z^2=R^2$、显式方程 $z=\pm\sqrt{R^2-x^2-y^2}$ 或参数方程表示。仅比较字符串或点态误差无法判断这些不同形式是否描述了相同的几何形状。
  3. 大模型（LLM）的缺陷：LLM 倾向于记忆标准公式而非从数据推理，且自回归生成难以将离散的结构探索与连续的参数校准紧密结合。
• 目标：构建一个能够评估三维曲面符号发现能力的基准，要求模型从采样数据中推断多变量耦合、坐标变换及几何结构，并引入几何感知评估。

2. 方法论：SurfaceBench 构建 (Methodology)

SurfaceBench 是首个面向三维曲面符号发现的系统性基准，包含 183 个 解析构建的、受科学启发的曲面方程。

• 数据集构成：

  • 覆盖范围：涵盖 15 个结构定义的类别（如振荡复合、非线性耦合、径向衰减等）。
  • 三种表示范式：
    1. 显式 (Explicit)：$z = f(x, y)$
    2. 隐式 (Implicit)：$f(x, y, z) = 0$
    3. 参数式 (Parametric)：$(x(u,v), y(u,v), z(u,v))$
  • 数据生成：每个任务提供变量语义和合成采样的 3D 数据点云。
  • 防记忆化设计：通过算子分布分析、功能嵌套、算子替换和坐标重参数化（如仿射、极坐标替换）生成非标准但解析可解的变体，防止模型直接记忆教科书公式。

• 评估框架 (Geometry-Aware Evaluation)：
  为了解决符号非唯一性问题，SurfaceBench 引入了**对象空间（Object-Space）**评估，而非仅依赖符号空间：

  1. 几何距离指标：
     • Chamfer Distance (CD)：衡量两个曲面点云之间的平均几何保真度（捕捉全局偏差）。
     • Hausdorff Distance (HD)：衡量最坏情况下的偏差（捕捉局部断裂、孔洞或结构缺失）。
     • 流程：将预测方程和真实方程采样为密集点云，经相似变换对齐后计算距离。
  2. 符号等价性检查：利用 LLM 进行代数简化和参数重缩放，判断符号等价性。
  3. 回归误差：保留 NMSE 作为点态拟合的参考。

• 实验设置：
  评估了多种符号回归框架，包括：

  • LLM 驱动：LLM-SR, LaSR, SGA, OpenEvolve。
  • 非 LLM 传统方法：TPSR, NeSymReS, E2E, DSR, uDSR, PySR, gplearn。

3. 关键贡献 (Key Contributions)

1. 首个几何感知基准：提出了 SurfaceBench，将方程发现从标量回归扩展为结构化、多输出、几何感知的表达式发现，涵盖 183 个曲面和 3 种表示形式。
2. 新的评估范式：建立了结合符号等价性检查与对象空间几何指标（Chamfer/Hausdorff）的评估协议，解决了表示非唯一性带来的评估难题。
3. 深度错误分析：提供了详细的错误分类（搜索失败 vs. 拟合失败），揭示了当前方法在结构发现、参数校准和多方程推理方面的巨大差距。

4. 实验结果 (Results)

• 整体表现：没有任何一种方法能在所有表示类型上保持一致的优异性能。
  • 精确恢复率极低：LLM 框架的精确方程恢复率仅为 4%，传统方法为 6%。
  • 显式 vs. 隐式：
    • 显式曲面：模型往往能恢复正确的结构族（高符号准确率），但参数校准不足，导致几何距离（Chamfer/Hausdorff）较大。
    • 隐式曲面：基于距离的搜索方法即使代数形式不完全精确，也能获得较好的几何拟合度。
  • 参数式曲面：这是目前最未被探索的领域。大多数框架无法处理多输出耦合方程。仅 OpenEvolve 和 PySR 能可靠处理，但整体性能仍有待提升。
• 鲁棒性分析：
  • 噪声敏感性：LLM 方法在数据噪声增加时性能下降显著，而传统方法表现更稳定。
  • 域外泛化 (OOD)：在输入范围外推时，大多数方法表现急剧下降，表明它们更多是局部插值器而非真正的结构发现者。
  • 领域先验提示：在提示词中加入领域知识（如坐标系、守恒律）对 LLM 方法提升有限，甚至可能因错误约束而降低性能。
• 失败模式分析：
  • 搜索失败：模型选择了错误的函数族（如用多项式代替三角函数）。
  • 方程拟合失败：模型识别了正确的函数族，但无法正确组装结构或优化常数。
  • 结论：LLM 擅长早期结构先验，但缺乏紧密耦合的迭代优化机制，导致在参数校准和复杂组合结构上表现不佳。

5. 意义与展望 (Significance)

• 填补空白：SurfaceBench 填补了符号回归与几何重建之间的空白，为评估高维方程发现中的组合泛化和结构感知科学归纳提供了标准平台。
• 指导未来研究：
  • 揭示了当前 LLM 方法在迭代优化和参数校准方面的短板。
  • 强调了未来框架需要结合离散结构搜索、几何对齐、多方程耦合以及可微分参数估计。
  • 证明了仅靠符号空间评估是不够的，必须引入几何空间评估以衡量真正的功能等价性。
• 资源开放：代码和数据集已开源，旨在推动符号回归、几何学习和科学归纳的交叉领域发展。

总结：SurfaceBench 通过引入三维曲面任务和几何感知评估，揭示了当前符号回归方法（包括基于 LLM 的方法）在处理复杂几何结构、多变量耦合及参数优化方面的显著不足，为下一代科学发现 AI 模型指明了改进方向。