💻 computer science

Symbolic Density Estimation for Discrete Distributions

本文介绍了符号密度估计（SDE），这是一种无监督框架，它通过将领域特定先验与进化搜索相结合，自动为离散分布发现可解释的闭式概率质量函数，并通过新的基准数据集和显示模型拟合度提升的实际应用进行了验证。

原作者： Ziwen Liu, Meng Li

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziwen Liu, Meng Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名侦探，试图破解某种特定饼干的秘密配方。你有一个装满这些饼干的大罐子，并且已经数清了罐子里有多少饼干、多少块碎了、多少块完好无损，等等。你知道存在一个数学规则（一个“公式”），能够精确解释饼干为何如此分布。

问题在于，你不知道那个公式是什么。

传统上，统计学家必须先猜测配方（例如，“这很可能是巧克力豆配方！”），然后尝试调整配料以拟合他们的数据。如果猜错了，整个分析就会失败。其他现代方法使用“黑盒”计算机（如深度神经网络），它们可以完美预测饼干的分布，但无法告诉你配方；它们只是给你一段复杂、无法阅读的计算机代码。

本文介绍了一种名为“符号密度估计”（SDE）的新侦探工具。

以下是其工作原理，使用简单的类比说明：

1. “乐高”搜索

SDE 不像猜测配方那样，而是像一位拥有乐高积木盒的大师级建造者。这些积木是基本的数学运算：加法、乘法、取对数，以及特殊的“计数”积木（如概率中使用的阶乘）。

计算机使用这些积木开始构建数百万种不同的结构（公式）。这就像把一百万种不同的乐高作品扔向墙壁，看看哪一种能契合你饼干罐数据的形状。

2. “有效性检查”（安全检查员）

这里是棘手之处：在概率世界中，公式不能是任意形状。它必须是一个有效的概率映射。

规则 1：不能出现负数（你不可能有 -5 块饼干）。
规则 2：所有概率必须精确加总为 1（100% 的饼干必须被 accounted for）。

大多数构建公式的计算机程序会忽略这些规则，只是尝试匹配形状。SDE 的特殊之处在于，它的搜索过程中内置了一位安全检查员。如果它构建的乐高结构不遵守规则（例如，它预测了负数饼干），检查员会立即将其扔进垃圾桶。这将搜索引导至仅寻找“合法”的概率公式。

3. “对数域”捷径

为了使构建过程更快、更稳定，计算机不直接查看原始饼干计数，而是查看计数的“对数”。

类比：想象饼干计数是巨大的数字（如 1,000,000）。对这些数字进行乘除运算非常繁琐。取“对数”就像在地图上缩小视野。它将巨大、混乱的乘法问题转化为简单的加法问题，使计算机更容易找到正确的模式。

4. 他们发现了什么？

作者创建了一个“健身房”（称为SDEBench），包含 14 种不同类型的饼干罐（标准统计分布，如泊松分布、二项分布等），以测试他们的工具。

结果：SDE 成功查看了这些罐子的数据，并在未被告知其原始公式的情况下，重新发现了原始的数学配方。
复杂性：它找到的不仅仅是简单的配方。它还搞定了复杂的“混合”配方（例如，一个罐子里混合了两种不同类型的饼干）和“零膨胀”罐子（空位比平常多得多的罐子）。
现实世界测试：他们在真实的生物数据（人类细胞中的基因计数）上进行了测试。该工具发现了一个简单、可读的公式，其拟合效果优于标准模型，也优于“黑盒”神经网络，并且实际上解释了数据为何呈现那种样子。

5. 这为什么重要？

可解释性：与只给你一个数字的黑盒不同，SDE 给你一个闭式方程。你可以阅读它、理解它，并向人类解释它。这就像拿到了实际的配方卡片，而不仅仅是预测你会吃多少块饼干。
无需猜测：你不需要预先知道分布族。计算机会自动找到结构。
效率：与试图蛮力穷举所有可能性或依赖标准统计猜测相比，它更快、更准确地找到了这些复杂公式。

总之：本文提出了一种智能且遵守规则的机器人，它可以查看一堆计数数据，并自动写出支配这些数据的精确数学定律，确保该定律合乎逻辑且易于人类阅读。

技术摘要：离散分布的符号密度估计

问题表述

离散概率分布是建模计数数据和分类结果的基础。然而，可解释且解析可处理的分布目录，历史上仅通过逐例的数学推导得以扩展。分析师通常面临一种权衡：假设特定的参数族可能导致模型设定错误，而灵活的非参数或神经方法（例如自回归网络、归一化流）往往产生缺乏闭式概率质量函数（PMF）的“黑盒”隐式模型。

作者解决了**符号密度估计（SDE）**的问题：自动恢复一个符号化的闭式 PMF，使其在不预先指定分布族的情况下，最佳拟合观测到的离散数据。由于表达式空间的组合爆炸性，以及任何提出的公式必须定义有效 PMF（非负且归一化）的严格要求，该任务并非易事。与标准回归不同，离散分布涉及特定的组合构造，如阶乘和二项式系数。

方法论：SDE 框架

提出的 SDE 框架在对数概率域中运行，以提高数值稳定性，并将乘法的组合因子转化为加法分量。该方法将领域特定的结构先验与进化搜索及具备有效性意识的推理阶段相结合。

1. 算子集与搜索空间

假设空间由自定义算子集 $\mathcal{O}$ 诱导，包含：

基本算术运算： $+$ , $-$, $\times$ , $\wedge$ 。
初等函数： $\log$ , $\exp$ , $|\cdot|$ , $\sin$ , $\cos$ 。
对数域组合基元： $\log\Gamma(t+1)$ （对数阶乘）、 $\log\binom{n}{k}$ 和 $\log B(a,b)$ （对数 Beta 函数）。这些基元代表了离散 PMF 中常见的阶乘、二项式系数和 Beta 函数项，同时保持了对大参数的数值稳定性。

为了管理巨大的搜索空间（对于适度的复杂度，估计可能性超过 $10^{19}$ 种），作者采用了两种约束：

算子复杂度先验： 两个互补的复杂度分布为算子分配软符号成本。一种分布偏好组合结构（例如 $\log C$ , $\log B$ ），而另一种偏好指数族模式（例如 $\log F$ , $\log$ ）。这引导进化搜索朝向结构多样的分布，而不限制其表达能力。
结构语法约束：
- 线性性： 特殊函数（例如 $\log\Gamma$ , $\log B$ ）的参数被限制为仿射形式，以防止深度嵌套的不可识别组合。
- 原子性： 幂运算被限制为原子指数（单个变量或常数），以避免复杂的复合结构。

2. 估计与加权

系统从 $M$ 个独立同分布（i.i.d.）样本中估计对数 PMF。为了处理零计数和低概率区域的高方差，使用平滑估计量 $\hat{p}(x) = \frac{c(x) + \alpha}{M + \alpha K}$ （对应于狄利克雷后验均值）。

支持截断： 拟合域被限制在具有足够有效计数的区间（ $M\hat{p}(x) \geq \tau$ ），以减轻尾部有限样本噪声的影响。
加权最小二乘： 搜索针对对数 PMF 上的加权重构误差。权重源自对数频率估计的逆方差（通过 Delta 方法），从而降低噪声观测值的权重。

3. 搜索与推理过程

核心搜索利用多起点进化策略：

执行多次进化运行，每次使用不同的复杂度分布，以将搜索偏向不同的规范模式。
候选者通过变异和交叉进行进化，随后进行成本感知的选择，以平衡重构误差和符号复杂度。
搜索后推理： 汇集的候选者经过三步验证：
1. 损失筛选： 丢弃具有高重构误差的表达式。
2. 概率有效性： 确保近似归一化（ $|\sum e^{f(x)} - 1| < \epsilon$ ）和有界的对数质量。
3. 复杂度控制： 拒绝超过算子预算的表达式。
有效候选者按符号复杂度和残差误差进行字典序排名。参数从可识别的符号项开始，通过离散局部搜索进行细化。

4. 扩展

该框架通过扩充算子集自然地扩展到复杂结构：

有限混合： 通过二元基元 $\text{logaddexp}(u, v) = \log(e^u + e^v)$ 引入，允许嵌套应用以在对数空间中表示任意混合。
零膨胀模型： 通过编码零处点质量的基元 $\log \delta_0(x)$ 引入，并结合 $\text{logaddexp}$ 来建模零质量与基础分布的混合。

主要贡献

首个离散分布符号框架： SDE 是首个将 PMF 有效性验证（非负性和归一化性）直接集成到符号发现过程中的框架，结合了加权对数 PMF 拟合与内置的有效性检查。
SDEBench： 作者贡献了一个基准数据集，涵盖 14 种基础离散分布（包括指数族、幂律和混合模型）及其零膨胀/混合变体，以支持系统性评估。
实证验证： 该方法被证明能从有限样本中恢复经典、广义和结构化模型，弥合了刚性参数选择与黑盒方法之间的差距。

实验结果

作者在 SDEBench 数据集（ $M=50,000$ ）和真实的单细胞 RNA 测序（scRNA-seq）数据集上评估了 SDE。

恢复精度： SDE 成功恢复了基准中所有 14 种基础分布的正确符号形式（直至代数等价），包括 Beta-二项式和负超几何分布等复杂的组合结构。它还正确识别了嵌套混合结构和零膨胀形式。
参数精度： 推断的参数通常与真实值相差几个百分点。例如，在噪声设置下，该方法为真实值 $r=10, p=0.70$ 的负二项分布恢复了 $r=9.999, p=0.700$ 。
鲁棒性： 该方法表现出对采样噪声的抵抗力。虽然复杂模型需要更多数据（例如，Beta-二项分布在 $M=500$ 时恢复效果下降），但简单的目标即使在较小样本量下仍可恢复。
比较性能：
- 与**Oracle 参数基线（矩估计/最大似然估计）**相比：SDE 在不预先知道分布族的情况下实现了可比的精度。
- 与**非参数/神经基线（KDE, Pyro）**相比：SDE 提供可解释的闭式表达式，而 KDE 和 Pyro 通常产生不光滑、振荡的拟合或边界伪影（例如，零膨胀泊松分布中接近零的区域）。
- 与**通用符号回归（PySR）**相比：PySR 经常产生结构上无效的表达式，无法满足 PMF 约束，而 SDE 的有效性感知搜索确保了物理合理性。
实际应用： 在 PBMC scRNA-seq 数据（基因 4046）上，SDE 发现了一个简洁、可解释的混合模型，结合了两个几何衰减分量和一个常数基线。该模型在经验对数 PMF 上的均方误差（MSE）低于标准固定族模型（通过 AIC 选择）和黑盒神经基线。

意义与主张

本文主张，SDE 为手动参数建模和不透明的黑盒密度估计器提供了一种原则性的替代方案。通过在具有定制基元算子集的对数概率域中运行，该框架可以自动发现可解释的闭式 PMF，揭示潜在分布的组成结构。

作者强调，该框架的核心优势在于其可扩展性：有限混合和零膨胀模型等复杂结构通过最小的算子扩展即可恢复，而无需修改底层的搜索过程、损失函数或约束。这种能力支持识别结构化和异质的离散模型，其中可解释性和结构洞察至关重要。

该工作将 SDE 定位为分布建模的实用方法，特别是在真实分布族未知或数据表现出标准参数族无法捕捉的复杂结构变化（例如过多的零或多峰性）的场景中。作者指出，虽然当前的公式专注于单变量离散分布，但该方法为未来扩展到多元和连续设置奠定了基础。