💻 computer science

Robust Score-Based Generative Modelling withTsallis–Gaussian Perturbations

本文提出了一种基于 Tsallis–Gaussian 扰动和双头神经网络架构的鲁棒分数生成模型框架，旨在有效减轻重尾数据和污染的影响，同时保持具有竞争力的生成性能。

原作者： Shenghan Gao, Spiridon Penev, Libo Li

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Shenghan Gao, Spiridon Penev, Libo Li

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人画画、预测股市崩盘或者发明新的化学化合物。机器人通过观察真实的案例来学习，但它有一个棘手的习惯：它很容易被“噪声”或奇怪的离群值（outliers）所干扰。如果你给它看一张中间有一个巨大的、发光的紫色方块的猫的照片，一个标准的机器人可能会被这个奇怪的方块完全分散注意力，以至于它忘了如何画一只猫。

这篇论文介绍了一种教这些机器人的新方法，称为 TSMLD（基于 Tsallis 分数的朗之万动力学生成模型）。你可以把它想象成给了机器人一副“智能降噪耳机”和一个“灵活的尺子”，让它能够在杂乱、真实的现实世界数据中学习，而不至于被那些奇怪的东西搞乱阵脚。

问题所在：“高斯”陷阱

目前大多数机器人画家使用的是基于高斯（或称“钟形曲线”）噪声的方法。想象这种噪声是细雨，既温柔又可预测。如果一滴雨落在机器人的鼻尖上，那只是一个小小的、可以处理的轻点。但在现实世界中，数据并不总是温柔细雨。有时是冰雹，有时是突然滚落的山坡上的巨石。

在金融数据（如股价）或杂乱的现实世界数据集中，这些“巨石”被称为重尾（heavy tails）。它们是罕见的、极端的事件——比如市场在一天内暴跌 20%。标准的高斯机器人将这些巨大的巨石仅仅视为“非常大的雨滴”。因为它们的数学逻辑是线性的，一个巨大的巨石会让机器人的大脑陷入混乱，导致它学到错误的教训。这就像是在有人不断向你扔铁砧的情况下学习骑自行车；你可能会学会躲避铁砧，但你永远学不会骑车。

解决方案：“Tsallis”升级版

作者提议用一种叫做 Tsallis–Gaussian 扰动的东西来取代温柔的细雨。

1. 有界的“下降式”评分（智能耳机）
在旧方法中，如果机器人看到了一个巨大的误差（巨石），它会发出“错误！错误！”的无限大音量的尖叫。新方法使用了一个有界（bounded）的 Tsallis 评分。

类比： 想象机器人的误差信号是一个音量旋钮。在旧系统中，一个巨大的错误会将音量旋钮转到“最大”并一直往上拧。在新系统中，音量旋钮有一个硬性停止点。即使巨石撞击了机器人，它听到的噪声也会被限制在一个安全的水平。
结果： 机器人会忽略极端离群值带来的震耳欲聋的尖叫。它将一次大规模的金融危机或图像中的损坏像素视为“声音很大，但并非无限大”。这防止了机器人对罕见、极端事件做出过度反应。

2. 自适应权重（智能过滤器）
第二个技巧是密度比权重。

类比： 想象机器人正在教室里。如果一个学生（数据点）坐在老师（模型）预期会有学生坐的位置，老师会仔细倾听。但如果一个学生出现在一个不该有人出现的地方（奇怪的、不太可能的离群值），老师会温和地说：“好吧，我看到你了，但我不会根据你来改变我的整个教学计划。”
结果： 机器人会自动调低那些看起来不属于整体模式的数据点的音量，同时保持符合模式的数据的高音量。这被称为样本级鲁棒性（sample-level robustness）。

实验结果显示了什么

作者在三个不同的“游乐场”测试了这个新机器人：

1. 合成数据（训练健身房）
他们使用了带有“损坏”（例如用纯噪声替换随机特征）的伪造数据。

发现： 当数据是干净的时候，新机器人的表现与旧机器人一样好。但当他们开始投掷“噪声”时（损坏 20%、30%、甚至 50% 的数据），新机器人保持了冷静。
数字： 在一个名为 HAR（人体活动识别）的数据集上，当 50% 的数据被损坏时，旧机器人的准确率下降了约 20.60%。而新机器人（使用特定的设置 $q=1.35$ ）仅下降了 16.15%。它守住了阵地，表现得更稳健。

2. 图像（美术课）
他们教机器人绘制人脸和衣服（MNIST, Fashion-MNIST, CIFAR-10）。

发现： 如果他们通过将随机像素变为黑色或白色来损坏训练图像，新机器人生成的图像会清晰得多。
数字： 在 Fashion-MNIST 上，当 40% 的训练图像被损坏时，旧机器人的质量得分（FID）跳到了 9.69（变差了）。新机器人则将其保持在 6.77。生成的图片看起来没那么“有故障感”，更像真实的衣服。

3. 金融数据（股市）
这是“重尾”发挥作用的地方。他们使用 1990–2018 年的股市数据训练机器人，并要求它预测 2020–2024 危机期间会发生什么。

发现： 标准机器人（甚至是专门的金融 AI，如 GANs）往往会低估市场崩盘的严重程度。它们认为市场会比实际情况更平静。新机器人通过正确的设置，学会了预料到“巨石”的存在。
数字： 对于 FF48 投资组合，真实市场的“峰度”（衡量尾部有多厚的指标）为 12.6109。
- 旧的高斯机器人预测为 5.0742（太过于平静了）。
- 设置为 $q=1.5$ 的新机器人预测为 11.3833（非常接近现实）。
- 它对 CVaR（衡量最坏情况下的损失）的预测也更接近真实危机值 -4.2470，其预测值为 -4.4913，而旧机器人预测为 -3.0053。

论文排除了什么（“不要做”的事）

作者非常明确地指出了哪些做法是行不通的：

仅仅改变噪声是不够的： 如果你只使用了重尾噪声，但保留了旧的“高斯”方式来计算损失（即告诉机器人如何学习的数学逻辑），那么它会失败。机器人可能会学到尾部特征，但会搞砸数据的正常部分。
仅仅改变权重也是不够的： 如果你保留了旧的高斯噪声，但尝试添加“智能权重”，它同样会失败。机器人仍然无法生成那些极端的“巨石”，因为噪声本身太温柔了。
越大并不一定越好： 他们发现，如果你把“尾部厚度”参数（ $q$ ）设得太高（比如 $q=1.6$ ），机器人就会开始产生过多的极端事件，即使在不该发生的时候也是如此。这就像是一个认为每天都是股市崩盘的机器人。理想的甜点位通常在 $q=1.2$ 到 $q=1.5$ 之间。

他们有多确定？

作者并没有声称他们已经“解决”了生成式 AI。他们认为这种方法是一种鲁棒性的提升。

他们在真实数据集（HAR, CIFAR-10, FF48）上测量了这些结果，并通过模拟损坏来测试极限。
他们发现，该方法表明了在处理极端事件与保持正常数据准确性之间，存在一种更好的平衡。
他们承认，对于极其极端的情况（即方差无穷大的情况），目前的数学逻辑可能还需要更多调整，但对于他们进行的测试，它是有效的。

总结

这篇论文表明，通过给 AI 一种“有界”的感知误差的方式和一个“智能过滤”来忽略奇怪的离群值，我们可以构建出在面对混乱世界时不会崩溃的模型。无论是损坏的图像文件还是突如其来的股市崩盘，新的 TSMLD 机器人都能保持冷静，学到正确的教训，并且不会被噪声分散注意力。它不是解决一切问题的万能药，但对于充满噪声、具有重尾特征的现实世界，它是一个比旧工具更坚固的工具。

技术摘要：基于 Tsallis–Gaussian 扰动的鲁棒得分驱动生成模型

问题陈述

得分驱动生成建模，特别是带有朗之万动力学（Langevin Dynamics）的得分匹配（SMLD），高度依赖高斯扰动来定义训练目标和采样动力学。虽然高斯扰动提供了解析上的便利性以及与 Fisher 发散的直接联系，但它存在一个关键局限性：条件得分函数相对于扰动残差（ $r = y - x$ ）是线性且无界的。因此，标准的去噪得分匹配（DSM）目标对大偏差高度敏感，这使得它在面对重尾数据分布和数据污染（例如特征级噪声或样本级损坏）时缺乏鲁棒性。

现有的尝试通过简单地将高斯噪声替换为重尾替代方案（如稳定分布或分数阶动力学）来解决这一问题，但这些方法往往无法提供统计上连贯的框架。它们通常未能将扰动分布与相应的发散度、损失函数或采样过程对齐，导致训练目标的鲁棒特性变得难以定义。此外，金融数据和合成表格数据通常表现出重尾、波动聚集和结构性断裂的特征，这需要能够捕捉极端事件而不被其破坏的生成模型。

方法论

作者提出了一个统一的框架——Tsallis 加权 SMLD (TSMLD)，该框架集成了 Tsallis–Gaussian（或 $q$ -Gaussian）扰动与 Tsallis Kullback–Leibler (KL) 发散。该框架构建在两个互补的鲁棒性机制之上：

1. Tsallis–Gaussian 扰动核（特征级鲁棒性）

模型不再注入标准高斯噪声，而是注入 Tsallis–Gaussian 噪声。对于变形参数 $q > 1$ ，该分布具有重尾特性。

有界得分： 由 Tsallis–Gaussian 核诱导的条件得分 $\nabla_y \log p_j(y|x)$ 在残差 $r$ 方面是有界且下降的。与线性的高斯得分不同，Tsallis 得分在残差较大时会趋向于零。
效果： 这限制了训练期间极端特征级偏差的影响，防止离群值主导梯度更新。

2. 通过 Tsallis KL 发散进行的 Tsallis 加权（样本级鲁棒性）

训练目标由 Tsallis KL 发散的一阶变分导出，从而得到一个加权显式得分匹配 (ESM) 损失：
$\mathcal{L} \propto \mathbb{E} \left[ \omega_{q,j}(Y) \| \nabla_Y \log p_\theta(Y) - \nabla_Y \log p_j(Y) \|_2^2 \right]$
其中权重定义为 $\omega_{q,j}(y) = (p_j(y) / p_\theta(y))^{1-q}$ 。

机制： 当 $q > 1$ 时，模型分配概率较低（相对于数据而言）的观测值会获得较低的权重。
效果： 这在样本层面降低了分布偏移或受污染样本的权重，增强了针对分布偏移和离群值的鲁棒性。

实现：双头架构

由于理论权重依赖于未知的密度比，作者提出了一种基于噪声条件得分网络 (NCSN) 的双头神经网络实际实现方案：

主头 (Primary Head)： 用于采样，估计普通的得分 $\nabla \log p_\theta$ 。
辅助头 (Auxiliary Head)： 估计标量或向量变换，以近似密度幂因子 $p_\theta^{1-q}$ ，从而实现无需显式密度估计即可计算 Tsallis 权重。

稳定性： 该实现采用了对数域小批量归一化（log-domain mini-batch normalization）、权重的预热调度（warm-up schedule）以及停止梯度操作（stop-gradient operation），以防止网络通过优化权重来最小化损失，而非优化得分误差。

采样

采样通过退火 Tsallis 噪声朗之万动力学进行。采样器遍历噪声阶梯 $\sigma_1 > \dots > \sigma_J$ ，利用学习到的普通得分作为漂移项，并使用 Tsallis–Gaussian 噪声作为随机项。与标准高斯朗之万动力学相比，这允许在较高噪声水平下进行更广泛的状态空间探索。

核心贡献

统一框架： 本文提出了首个得分采样框架，该框架将重尾扰动族（Tsallis–Gaussian）与相应的发散度（Tsallis KL）以及加权目标函数进行了统一对齐。
双重鲁棒机制： 本文在理论和实证上确立了鲁棒性是通过以下方式实现的：
- 特征级鲁棒性： 通过有界的、下降的条件得分来抑制极端的坐标级偏差。
- 样本级鲁棒性： 通过自适应密度比权重来减弱不匹配观测值的影响。
实用神经架构： 提出了一种双头实现方案，能够在无需显式密度估计的情况下在高维空间近似 Tsallis 权重，并与现有的 SMLD 流水线兼容。
实证验证： 通过在合成、金融和图像数据集上的全面实验，证明了 TSMLD 在处理污染和重尾机制时具有更强的鲁棒性，同时保持了具有竞争力的生成性能。

结果

合成与表格数据

性能： 在分类任务（HAR, ISOLET, Spambase）和回归任务（Superconductivity, Communities and Crime, Wave Energy）上，TSMLD（配合适中的 $q \approx 1.2$ ）在下游效用（TSTR）和分布保真度（MMD）方面始终优于标准 SMLD 及其他基准模型（CTGAN, TVAE, TabDDPM）。
鲁棒性： 在面临特征级和样本级损坏（高达 50% 的噪声）时，TSMLD 比标准 SMLD 和表格生成器表现出显著更高的稳定性。它能更好地保留任务相关的结构，在准确率和回归指标上的性能下降更小。

图像生成

质量： 在 MNIST, Fashion-MNIST 和 CIFAR-10 上，TSMLD 取得了与标准 SMLD 及其他重尾扩散模型（LIM, DLPM）相比具有竞争优势或更优的 Fréchet Inception Distance (FID) 分数。
鲁棒性： 在像素级和图像级损坏下，TSMLD 展示了卓越的韧性。当在受污染数据上训练时，生成的图像比基准模型包含更少的伪影，并能更好地保持语义连贯性。

金融时间序列

典型事实 (Stylised Facts)： 与基于 GAN（TimeGAN, TailGAN）和基于扩散的模型基准相比，TSMLD 能更好地恢复金融典型事实，包括尾部厚度（峰度）、下行风险（VaR, CVaR）以及市场模式依赖性（相关矩阵的特征值）。
压力情景： 在分布外压力诊断（2020–2024 危机时期）中，使用 $q=1.5$ 的 TSMLD 生成的情景具有真实的尾部行为和危机期动态，而高斯 SMLD 和 GAN 则倾向于低估尾部风险。
消融研究发现：
- Tsallis 扰动： 重尾扰动是恢复压力尾部行为的主要驱动力。
- Tsallis 权重： 自适应加权对于在非危机时期校准模型至关重要，可防止过度放大平稳时期的尾部效应。
- 协同作用： 单一组件并不足以实现目标；完整的 TSMLD 模型结合了重尾探索与自适应样本级校准。

意义与声明

本文声称所提出的框架为鲁棒生成建模提供了一种统计对齐的方法。作者认为，仅仅改变噪声分布是不够的；一个连贯的框架必须将扰动、发散度和采样动力学对齐。

作者将其工作定位为迈向能够应对重尾数据和污染（这在金融应用和合成数据生成中十分普遍）的生成模型的重大进步。他们强调，该方法在分布保真度和下游效用之间提供了“有利的权衡”，特别是在标准方法失效的高损坏机制下。

论文对其理论范围的声明较为审慎：

作者承认，目前仅在有限方差机制（ $1 < q < 5/3$ ）下证明了 Tsallis 噪声朗之万采样器的收敛性。
作者指出，“特征级鲁棒性”和“样本级鲁棒性”是用于描述观察到的效应的描述性标签，而非直接对应于经典的基于影响函数的鲁棒性，因为在得分驱动生成建模中构建影响函数的公式仍是一个开放性问题。
文中建议未来的工作需要开发用于选择 $q$ 的数据自适应规则，并通过正则化将框架扩展到无限方差机制。

总之，本文将 TSMLD 呈现为一种鲁棒且统一的替代方案，用以取代标准的高斯 SMLD，尤其适用于极端事件和数据污染至关重要的领域。