🔢 mathematics

Neural Low-Discrepancy Sequences

本文介绍了神经低差异序列（NeuroLDS），这是一种新型机器学习框架，能够生成与经典方法相比具有更优前缀均匀性的有限低差异序列，从而增强其在数值积分、机器人运动规划和科学机器学习等应用中的性能。

原作者： Michael Etienne Van Huffel, Nathan Kirk, Makram Chahine, Daniela Rus, T. Konstantin Rusch

发布于 2026-06-02

📖 1 分钟阅读🧠 深度阅读

原作者： Michael Etienne Van Huffel, Nathan Kirk, Makram Chahine, Daniela Rus, T. Konstantin Rusch

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在举办一场派对，需要将宾客安排在一个大型正方形舞池周围。你的目标是确保每个人都有足够的个人空间，且舞池内既没有过度拥挤的区域，也没有留白。

问题：随机性 vs. 有序性
如果你让宾客随机挑选位置（就像投掷飞镖一样），你很可能会出现一些人群聚集的簇群以及巨大的空隙。这就是科学中标准的“蒙特卡洛”（Monte Carlo）方法的工作方式——它们使用随机数来解决问题，但由于这些空隙的存在，效率往往不高。

为了解决这个问题，数学家们发明了“低差异序列”（Low-Discrepancy Sequences）。这些序列就像是一本非常严格的数学规则手册。著名的例子（如 Sobol' 或 Halton 序列）就像是一位知道如何精准站位，以确保完美覆盖空间的顶级编舞师。然而，这些规则手册有一个缺陷：它们是僵化的。如果你决定邀请 1,000 名宾客，这本规则手册表现得很好；但如果你突然决定增加 1 名宾客，你通常不得不废弃整个计划重新开始，或者这个新人的加入会破坏原有的完美平衡。

旧的 AI 解决方案：“一蹴而就”的艺术家
最近，研究人员尝试使用 AI（具体是一种称为 MPMC 的方法）来学习如何安置宾客。这个 AI 非常擅长完美地安置恰好 1,000 名宾客。但它面临着与那些僵化规则手册相同的问题：它无法处理仅仅增加一名宾客的情况，除非重新进行训练。这就像是一位艺术家，虽然能画出一幅包含特定人数的完美肖像，但如果想在画中增加一个人，就必须从头开始。

新的解决方案：NEUROLDS（“自适应编舞师”）
论文作者介绍了 NEUROLDS（神经低差异序列）。你可以把它想象成一位超级聪明的、具有自适应能力的编舞师，她学习的是一套适用于任何人数（从 1 到 10,000 人）的指令。

它是这样运作的，采用了简单的两步训练过程：

学徒阶段（预训练）： 首先，AI 会观察“大师”（经典的数学序列，如 Sobol'）并尝试模仿其动作。它学习如何均匀分布人群的基本节奏。这为 AI 提供了一个良好的起点，使其不会感到困惑。
大师阶段（微调）： 一旦 AI 掌握了基础知识，它就开始独立练习。它会观察每一种可能的人数规模（前 10 名宾客、前 100 名、前 500 名等），并调整其动作，以确保每一组人群看起来都保持完美的平衡。它学会了这样思考：“如果我增加第 101 个人，我需要稍微移动第 100 个人的位置，以保持平衡。”

为什么这意义重大？
论文声称，这种新方法在三个方面优于旧的数学规则和之前的 AI 方法：

它具有灵活性： 你可以在任何数字处停止序列，它依然保持完美的平衡。你不需要预先规划总人数。
它更精确： 在涉及复杂数学问题（例如计算水流通过地面孔洞的过程）的测试中，该 AI 布置的点位比旧方法给出了更准确的答案。
它适用于现实世界：
- 机器人技术： 当为机器人手臂编写程序，使其穿过狭窄且弯曲的隧道时，该 AI 生成的点位比随机点或旧的数学点更能帮助机器人找到路径。
- 金融： 在训练 AI 预测股票期权价格时，使用这些点位有助于 AI 更快地学习并减少错误。

底线
论文指出，虽然旧的数学规则在处理固定数量时表现出色，且旧的 AI 在处理特定数量时表现优秀，但 NEUROLDS 是第一个学习如何实现点位均匀分布的通用“舞蹈”的工具，无论你需要多少个点，它都能应对自如，这使其成为了科学和工程领域的一件强大新工具。

技术摘要：神经低差异序列 (NEUROLDS)

1. 问题陈述

低差异 (Low-discrepancy, LD) 点在科学计算中至关重要，能够有效地以均匀的方式填充空间，其应用涵盖了从数值积分、不确定性量化到计算机视觉和机器学习的广泛领域。虽然利用 LD 点的拟蒙特卡罗 (Quasi-Monte Carlo, QMC) 方法通常比标准蒙特卡罗方法具有更优越的收敛速率（ $O(N^{-1})$ 对比 $O(N^{-1/2})$ ），但 LD 集合 (sets) 与 LD 序列 (sequences) 之间存在关键区别。

LD 集合： 为特定的、预设的样本数 $N$ 进行优化的有限点集。最近的方法如消息传递蒙特卡罗 (MPMC) 在此处表现出色，实现了固定 $N$ 下的极低差异。然而，它们缺乏可扩展性；为增加点数而对优化后的集合进行调整通常会破坏其均匀性，导致每增加一个 $N$ 都需要重新优化。
LD 序列： 能够保持每个长度为 $N$ 的前缀均具有低差异性的无限构造。经典的例子包括 Sobol' 和 Halton 序列。虽然具有可扩展性，但这些经典的构造往往会出现性能波动（特别是在非 2 的幂次方的样本量下），并且在高维情况下可能存在结构性相关。

本研究解决的核心挑战是：缺乏一种能够生成可扩展 LD 序列的机器学习框架，该序列能在所有前缀中保持最小差异，从而克服 MPMC 的固定- $N$ 限制，并超越经典的数论序列。

2. 方法论：NEUROLDS

作者提出了 神经低差异序列 (NEUROLDS)，这是一个确定性的框架，通过神经网络将索引映射到单位超立方体 $[0, 1]^d$ 中的点。该方法受到经典构造的启发，但用可学习函数取代了固定的进制展开。

架构

生成器 $f_\theta: \{1, \dots, N\} \to [0, 1]^d$ 的运作方式如下：

索引编码： 索引 $i$ 被映射为一个正弦位置编码向量 $\psi_i \in \mathbb{R}^{1+2K}$ ，类似于傅里叶特征。这向网络暴露了索引的多尺度频率，模拟了 Halton 序列中的基数- $b$ 进制展开或 Sobol' 序列中的格雷码 (Gray-coded) 方向数的作用。
神经映射： 编码后的特征被传递到一个带有 ReLU 激活函数和最终 Sigmoid 激活函数的 $L$ 层多层感知器 (MLP) 中，以输出点 $X_i \in [0, 1]^d$ 。

两阶段优化

为了确保稳定性和性能，NEUROLDS 采用了两阶段训练过程：

预训练（监督近似）： 网络通过回归到一个经典参考序列（如 Sobol' 或 Halton）来初始化，使用均方误差 (MSE)。这一步提供了必要的归纳偏置，稳定了学习过程，并防止网络坍缩为退化解（例如点集聚集在角落）。
微调（无监督差异最小化）： 通过在所有序列前缀上最小化可微的基于 $L_2$ 的差异损失来进一步精炼网络。损失函数定义为：
$\mathcal{L}_{disc}(\theta) = \sum_{P=2}^{N} w_P \cdot D^2_\bullet(\{X_i\}_{i=1}^P)$
其中 $D^2_\bullet$ 代表各种核差异度量（如星形差异、对称差异、中心差异）， $w_P$ 是权重（在主要实验中为均匀分布）。这确保了序列不仅对于最终的 $N$ 个点集保持低差异，而且对于每一个中间前缀也保持低差异。

3. 核心贡献

首个基于机器学习的有限 LDS 生成器： NEUROLDS 是第一个利用机器学习生成有限低差异序列而非仅仅是集合的框架，解决了以往 ML 驱动 QMC 方法的可扩展性差距。
卓越的差异性能： 该框架证明了神经网络可以学习生成比经典构造（Sobol', Halton）和随机变体在各种维度和差异度量下具有显著更低差异的序列。
可扩展性： 与 MPMC 不同，NEUROLDS 必须为每个新的样本量重新训练，而 NEUROLDS 则是顺序生成点。该模型学习从索引到点的映射，允许在不重启构造的情况下实现自适应的样本量增加。
加权积分： 该方法支持加权差异损失，使其能够适应对某些维度影响较大的各向异性被积函数（例如在 Borehole 函数案例研究中）。

4. 实验结果

作者在三个不同的应用领域评估了 NEUROLDS：

A. 差异最小化

在维度 $d=1$ 到 $4$ 的情况下，NEUROLDS 在对称 ( $D^2_{sym}$ )、星形 ( $D^2_{star}$ ) 和中心 ( $D^2_{ctr}$ ) 度量下，在所有序列长度上始终实现最低的差异值。

对比： 它超越了 Sobol', Halton 和打乱后的 Sobol'（经过 32 次运行平均）。
可视化： 与可能表现出结构化对齐或聚类伪影的 Sobol' 序列不同，NEUROLDS 的点看起来更加不规则，但同时保持了均匀覆盖。

B. 拟蒙特卡罗积分

使用 8 维 Borehole 函数（用于不确定性量化的基准测试），对 NEUROLDS 进行了数值积分测试。

设置： 模型使用坐标加权差异损失进行训练，以强调通过敏感性分析识别出的重要变量。
结果： 与 Sobol', Halton 以及贪婪的 Nelder-Mead 基准相比，NEUROLDS 在几乎所有测试的样本量 $N$ 下都提供了更高的精度（更低的绝对误差）。

C. 机器人运动规划

该框架被应用于在半圆形隧道中导航运动链的概率路线图 (PRM) 和快速探索随机树 (RRT)。

背景： 顺序采样在此至关重要；早期的偏差可能会使规划器缺乏探索狭窄通道的能力。
结果： NEUROLDS 在所有通道宽度下都实现了最高的成功率。为了达到 NEUROLDS 的平均性能，Sobol' 需要 2.50 倍的样本量，Halton 需要 1.55 倍，而均匀采样则需要 2.27 倍。

D. 科学机器学习

NEUROLDS 被用于训练神经网络来逼近 2D Black-Scholes PDE（多资产篮子期权定价）的解。

结果： 与使用均匀随机点、Sobol' 序列和贪婪基准训练的网络相比，使用 NEUROLDS 样本训练的网络在预测公平价格方面实现了更低的均方误差 (MSE)，无论使用何种特定的 $L_2$ 差异度量进行训练。

消融实验

预训练的必要性： 如果不进行 Sobol' 预训练直接进行优化，会导致退化解（点集坍缩到角落）。预训练对于稳定性至关重要。
架构： 虽然测试了自回归 GNN 和 LSTM，但基于索引条件的 MLP 被证明更加稳健且计算效率更高。LSTM 虽然提供了微小的差异改进，但计算成本过高。
频率参数 ( $K$ )： 增加正弦频率参数 $K$ 提高了差异剖面的稳定性，减少了波动。

5. 重要性与主张

论文声称，NEUROLDS 通过成功地弥合机器学习的灵活性与严谨的低差异序列要求之间的鸿沟，代表了 QMC 方法领域的重大进展。

克服局限性： 它解决了 MPMC 的“固定- $N$ ”限制，能够生成可扩展的序列，并在样本量增长时保持高均匀性。
广泛适用性： 结果突显了神经架构在数值积分、机器人技术和科学机器学习等多样化领域中的应用前景。
混合方法： 作者谦虚地指出，他们对经典 Sobol' 或 Halton 序列的依赖强调了经典数论方法持续的重要性。这些经典构造为神经网络学习有效的差异最小化规则提供了必要的稳定性和归纳偏置。

这项工作表明，虽然经典构造仍然是基础，但神经网络可以学习在差异最小化和适应性方面超越它们，从而为计算科学中生成采样点提供一种新的范式。