🤖 AI

Perspectives on Tsallis Statistics for Artificial Intelligence

本文对 Tsallis 统计学融入人工智能进行了全面的视角综述，回顾了其数学基础及多样化的应用——从稀疏注意力机制、强化学习到生成模型——同时论证了参数 $q$ 应被视为一种可学习的归纳偏置，用以捕捉现代深度学习动力学中固有的非广延性和重尾特性。

原作者： Kleyton da Costa, Bernardo Modenesi

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kleyton da Costa, Bernardo Modenesi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图预测天气。长期以来，科学家们一直使用一套非常严格的规则手册：他们假设如果你知道一个地方的温度，你就能猜到相邻地方的温度，并且认为极端事件（比如突然出现的巨大飓风）是如此罕见，以至于可以被安全地忽略。这套“规则手册”被称为玻尔兹曼-吉布斯统计（Boltzmann-Gibbs statistics），它是几乎所有现代人工智能的基础。当事物平稳、可预测且相互独立时，它表现得非常好。但现实世界是混乱的。自然语言遵循着奇特的模式，其中一些词被频繁使用，而数百万个词则只被使用一次。金融市场崩溃的方式也不符合标准的曲线。在人工智能领域，有时我们需要模型忽略大部分选项，而高度专注于仅仅一个选项，或者要为意想不到的情况做好准备。

迎来了一个名为 Tsallis 统计的新想法。把 Tsallis 统计想象成一个概率的“音量旋钮”。它不再假设一切都遵循相同的平滑正态分布规则，而是引入了一个被称为 $q$ 的单一数字，它就像一个拨盘。如果你把拨盘向一个方向转动，人工智能会变得“稠密”，像一条柔软的毯子一样均匀地分散注意力。如果你把拨盘向另一个方向转动，它会变得“稀疏”或具有“重尾”特性，这意味着它可以完全忽略噪声，或者为狂野、罕见的异常值做好准备。这篇论文提出了一个大问题：如果我们不再将这个拨盘视为一个固定的设置，而是让人工智能学会如何自己转动它，会发生什么？

这篇论文的核心思想：“Q-拨盘”人工智能

这篇论文是关于一种全新思考方式的人工智能指南。作者 Kleyton da Costa 和 Bernardo Modenesi 认为，一种被称为 Tsallis 统计 的特定数学工具不仅仅是一个小众的物理学趣闻；它实际上是当今我们使用的许多最聪明、最鲁棒的人工智能工具背后的秘密配方。

他们提议，我们应该将 Tsallis 统计视为一个通用的“Q-拨盘”。想象你有一个标准的人工智能模型，它运作起来像一条平稳流动的河流。Q-Dial 允许你调整这条河流。

将拨盘转到 1： 你得到的是标准的、平滑的河流（即几乎所有人工智能中使用的熟悉的“Softmax”函数）。它是安全的，并将事物均匀地分散开来。
将拨盘调高 (q > 1)： 河流突然收窄成一股集中的喷流。人工智能停止关注微弱的信号，转而高度专注于最强的信号。这创造了“稀疏”注意力，即模型忽略 90% 的数据，专注于那 10% 真正重要的部分。
将拨盘调低 (q < 1)： 河流变得狂野且不可预测，准备应对大规模、罕见的洪水。这使得人工智能具有“重尾”特性，意味着当它看到奇怪的异常值或带有噪声的错误标签时，它不会感到惊慌。

这篇论文实际发现了什么

作者并没有从头发明一种全新的算法。相反，他们在整个人工智能领域进行了一场侦探式的搜寻，并意识到许多不同、看似无关的工具实际上都在不知不觉中使用着同一个“Q-Dial”。

他们发现：

稀疏注意力： 那些让 AI 能够专注于长句子中仅有的几个词的工具（例如现代聊天机器人中的工具），实际上只是将拨盘调高的 Tsallis 统计。
强化学习： 当 AI 学习玩游戏或驾驶汽车时，使用这个拨盘可以帮助它更有效地探索新的策略，决定何时表现得“贪婪”，何时表现得“好奇”。
鲁棒性： 当数据混乱或存在错误时，将拨盘向另一个方向转动，可以使人工智能不太可能记住错误，而更有可能忽略它们。

“顿悟时刻”： 论文指出，我们在深度学习中看到的重尾、狂野行为并不是一个漏洞（bug）；而是一个特性（feature）。作者指出，人工智能学习过程中的“噪声”（梯度噪声）以及其内部权重的分布方式，已经表现出遵循这些 Tsallis 规则的特征。这意味着人工智能 已经在 以非标准系统的方式运行，只是我们还没有给它提供处理这些情况的正确工具。

重大的转变：让人工智能学习拨盘

这篇论文最令人兴奋的部分是他们的提议：停止手动设置拨盘。目前，科学家们必须猜测正确的 $q$ 值，并寄希望于它能奏效。作者认为， $q$ 应该是一个可学习的参数，就像神经网络中的权重一样。

他们进行了小型实验来证明这是可能的：

实验 1： 他们给人工智能一个具有“重尾”特征（有很多罕见、极端值）的数据集。当他们让人工智能学习拨盘时，它自动将其调整到了完美的设置（ $q \approx 1.49$ ）以匹配数据。而一个标准的人工智能（将拨盘固定在 1）无法捕捉到这些极端值。
实验 2： 他们在带有虚假、噪声标签的数据上训练了一个人工智能。通过让人工智能学习拨盘，它将拨盘调低（ $q < 1$ ）以变得“鲁棒”，从而忽略了错误的标签。而标准的人工智能则会感到困惑并记住这些错误。

论文建议，在未来，人工智能模型应该拥有一个“门控”，决定对于每一个单词或每一个决策，它需要具备多高的稀疏性或重尾性。

这篇论文排除了什么（以及它并未声称什么）

了解这篇论文不是在说什么非常重要。

它不是灵丹妙药： 作者谨慎地表示，Tsallis 统计并不取代旧的做事方式。当拨盘设置为 1 时，它就变成了标准、熟悉的人工智能。它是一种泛化，而不是一种替代。
它不是一个已解决的问题： 论文承认，虽然数学逻辑在小型模拟中表现完美，但我们目前还不知道让人工智能学习拨盘是否能在如今使用的超大规模、万亿参数的模型上完美运作。他们暗示这可能有效，但仍需在大规模环境下进行更多测试。
它不仅仅关于“稀疏性”： 虽然论文强调了拨盘如何创造稀疏（聚焦）注意力，但它也强调了“重尾”的一面（对异常值的鲁棒性）。这是一个双向的过程，而不只是一个开关。

这为什么与你有关

把当前的人工智能革命想象成一辆只有油门和刹车的汽车。它开得很快，但很难应对颠簸的路面或突如其来的绕道。Tsallis 统计给了这辆车一个悬挂调节旋钮。你可以调节悬挂，使其在平坦的高速公路上行驶时变得坚硬（标准 AI），或者在崎岖的越野路段上变得柔软且富有弹性（鲁棒、稀疏 AI）。

论文认为，最好的驾驶员（人工智能模型）不应该拥有固定的悬挂。相反，他们应该拥有一个智能系统，能够感知路况并实时调整悬挂。通过将“Q-Dial”视为人工智能可以学习的内容，我们构建的系统不仅会更聪明，而且会更具适应性，对自己的未知更加诚实，并能更好地处理混乱、不可预测的现实世界。

技术摘要：关于人工智能中 Tsallis 统计学的视角

问题陈述
支撑现代深度学习的主导统计框架是玻尔兹曼-吉布斯-香农（BGS）范式。该框架假设信息是可加的，且不确定性由香农熵（ $S = -\sum p_i \ln p_i$ ）衡量。虽然该机制在处理弱相关、轻尾和遍历性数据时非常有效，但当应用于表现出长程相关性、多分形几何和重尾波动的系统时，BGS 机制显得过于僵化。这些情况在人工智能应用中广泛存在，例如自然语言处理（齐普夫定律/Zipfian 标记统计）、金融和地球物理数据、稀疏注意力机制以及强化学习探索。BGS 框架缺乏一种权衡罕见事件与典型事件影响力的机制，无法提供一个用于调节稀疏或重尾行为权重的“旋钮”。

方法论与理论核心
本文提出将 Tsallis 统计学作为一种统一的设计原则，用以推广 BGS 框架。该方法的核心是受单一实参数 $q$ （熵指数）控制的 Tsallis 熵：
$S_q(p) = \frac{1 - \sum_i p_i^q}{q - 1}$
该熵在 $q \to 1$ 的极限下恢复为香农熵。参数 $q$ 起到了可调旋钮的作用：

$q < 1$ ： 强调罕见事件，鼓励扩散、探索和重尾特性。
$q > 1$ ： 强调频繁事件，鼓励集中、稀疏性和对异常值的鲁棒性。

本文回顾了在机器学习中实现这一目标所需的数学工具箱，包括：

q-代数（q-Algebra）： $q$ -对数（ $\ln_q$ ）和 $q$ -指数（ $\exp_q$ ）引入了对于 $q > 1$ 的“截断”（导致紧致支撑/稀疏性）以及对于 $q > 1$ 的幂律尾部。
q-中心极限定理（q-CLT）： 针对强相关变量的经典中心极限定理的推广，其中 $q$ -独立变量的和收敛于 $q$ -高斯分布而非标准高斯分布。
q-高斯分布： 一类连接了高斯分布（ $q=1$ ）、学生 $t$ 分布和柯西分布的分布族，作为非广延（nonextensive）正态分布的对应物。
超统计学（Superstatistics）： $q$ 的动力学起源，解释了 $q$ 是通过对具有波动强度参数（如温度）的局部玻尔兹曼系统进行平均而产生的，这为学习动态中的重尾统计提供了物理依据。

主要贡献与应用
本文综述了 Tsallis 统计学如何通过“q-旋钮”模式统一各种独立开发的 AI 方法，即通过 $q$ 对标准的 BGS 对象进行变形，从而在稠密/均匀与稀疏/重尾行为之间进行插值。识别出的关键应用领域包括：

Softmax 泛化（稀疏注意力）： $\alpha$ -entmax 变换（其中 $\alpha = q$ ）泛化了 softmax。对于 $q > 1$ ，它会产生稀疏输出，即对低分项产生精确为零的概率，从而提高 Transformer 和图神经网络的可解释性和效率。
强化学习（RL）： 使用 Tsallis 熵代替香农熵进行最大熵强化学习，可以得到 $q$ -指数策略。这实现了可调的探索，其中 $q > 1$ 会产生稀疏、近乎贪婪的策略，从而剪枝次优动作。
生成与概率建模： 使用 $q$ -高斯分布（学生 $t$ 分布）代替高斯先验或似然函数，可以为变分自编码器（VAE）和扩散模型提供对异常值的鲁棒性，并更好地模拟重尾数据。
损失函数与正则化： $q$ -交叉熵损失（ $L_q = -\sum y_i \ln_q \hat{p}_i$ ）通过限制对错误预测的惩罚上限（当 $q < 1$ 时），为应对噪声标签提供鲁棒性。
优化： 重尾 $q$ -高斯分布被用于广义模拟退火，通过“长跳”来逃离局部极小值；此外， $q$ -梯度为优化过程提供了非局部步长。

经验观察与“非广延特征”
除了设计新算法外，本文还指出 Tsallis 统计学描述了现有深度学习系统的内在行为。它强调了训练网络中符合非广延预测的经验规律：

重尾权重谱： 在训练良好的网络中，权重矩阵的谱密度通常遵循幂律，这是强相关性的特征，符合 $q$ -CLT。
重尾梯度噪声： 随机梯度下降（SGD）表现出具有重尾（方差发散）的梯度噪声，这表明训练的动力学过程处于 $q$ -CLT 的范围内，而非经典的 CLT。
本文认为这些并非巧合，而是大规模学习的结构性属性，这意味着 $q$ -变形模型与它们所作用系统的内在统计特性是“匹配”的。

结果与实验
作者通过一个开源 JAX 库（qjax）提供了一个最小的概念验证，以证明学习 $q$ 的可行性：

密度估计： 在合成重尾数据（由 $q=1.5$ 的分布生成）上，一个具有可学习 $q$ 的模型成功恢复了真实的指数（ $\hat{q} \approx 1.49$ ），优于无法捕捉尾部的固定高斯（ $q=1$ ）模型。
鲁棒分类： 在带有标签噪声的分类任务中，在干净的验证集上学习 $q$ （约束为 $q < 1$ ）使得模型能够抵抗对损坏标签的记忆。随着噪声水平增加，学习到的 $q$ 降低，且模型保持了比标准 $q=1$ 基准更高的干净测试准确率。

意义与主张
本文的核心主张是，Tsallis 统计学不仅是一个物理上的奇思妙想，更是一个实用的、统一的设计原则。

统一性： 它揭示了稀疏注意力、最大熵强化学习、重尾模型和鲁棒损失都是同一种底层 BGS 对象变形的实例。
可学习的归纳偏置： 作者认为 $q$ 应该被视为一种可学习的、依赖上下文的归纳偏置，而非固定的超参数。这允许模型根据数据、层或输入来调整其稀疏程度或重尾程度。
理论基础： 通过将深度学习中的重尾现象（权重谱、梯度噪声）与 $q$ -CLT 和超统计学联系起来，本文为理解并潜在改进深度网络的优化和泛化提供了理论框架。

本文结论指出，虽然“q-旋钮”具有向后兼容性（在 $q=1$ 时坍缩为标准方法），但该领域的未来在于大规模评估学习到的 $q$ ，并将这些非广延视角整合到人工智能系统的核心设计之中。