ML-PWS: Estimating the Mutual Information Between Experimental Time Series Using Neural Networks

想象一下，你正在试图弄清楚爱丽丝（Alice）和鲍勃（Bob）两人之间传递的秘密信息量有多少，他们正通过一个噪音很大的对讲机进行交谈。在科学领域，这被称为“信息传输”（information transmission）。无论是大脑中神经元发放信号，还是股票市场对新闻做出反应，亦或是细胞感知其环境，科学家们都想知道：故事传递得有多快，以及有多清晰？ 衡量这一指标的标准方法被称为“信息率”（information rate）。这就像是在统计爱丽丝每秒钟能说出多少个鲍勃能真正理解的独特词汇，同时忽略掉那些静电噪音和误解。

问题在于，现实生活中的信号并非简单的单词；它们是随时间每毫秒都在变化的复杂、扭曲的数据路径。试图计算这些高维路径的信息率，就像是在一场飓风中试图数清沙滩上的每一粒沙子一样。传统数学方法在这种情况下往往会失效，因为数据过于复杂，它们要么过度猜测，要么陷入噪声之中。科学家们一直在寻找一种能够直接从数据本身测量这种“信息率”的方法，而无需预先知道游戏的精确规则。

这就是名为 ML-PWS 的新方法发挥作用的地方，它由研究人员 Manuel Reinhardt、Gašper Tkačik 和 Pieter Rein ten Wolde 开发。你可以将他们的方法想象成一个巧妙的两步魔术。首先，他们使用一个“生成模型”（generative model）——一种类似于超级聪明学生的类型人工智能——来研究杂乱的数据并学习系统的行为方式。这就像这个学生观察了爱丽丝和鲍勃长达数小时的对话，然后构建了一个完美的对话风格模拟。但转折在于：仅仅拥有一个模拟器是不够的，无法获得精确的数值。

这就是第二步，即 路径权重采样（Path Weight Sampling, PWS） 进入舞台环节。想象一下，这位 AI 学生已经绘制了一张所有可能对话的地图。PWS 是一种严谨的数学技术，它会在这张地图中穿行，检查每条可能的对话路径，以查看这些路径出现的可能性有多大。通过将 AI 学到的“地图”与这种细致的数学行走相结合，研究人员可以计算出信息率的一个严格下界（rigged lower bound）。用通俗的话说，这意味着他们可以极其肯定地说：“信息的流动速度至少有这么多。”他们通过在已知确切答案的伪造数据上进行测试证明了这一点，他们的算法完美命中了目标，而其他流行方法要么猜得太低，要么得出了错误的答案。他们甚至将此应用于�omb Salamander（耴螈）神经元的真实数据，展示了这一新工具如何测量一组脑细胞实际共享的信息量，并揭示了当细胞协同工作时，它们有时会重复自身内容，从而降低了总体的信息传输速度。

核心思想：通过学习规则来计数秘密

这篇论文解决了一个棘手的问题：当你不知道潜在的规则时，如何测量一个系统中流动的多少信息？通常，为了计算“信息率”，你需要知道每一个可能结果的精确概率。如果你有一个关于该系统的数学模型（例如描述神经元如何放电的一组方程），你可以使用名为 路径权重采样（PWS） 的技术来获得精确答案。这就像拥有了一本棋类游戏的规则书；你可以完美地计算出获胜的概率。

但在现实世界中，我们很少拥有规则书。我们拥有的只有“时间序列数据”——即对发生过的事情的记录。我们看到了输入（刺激）和输出（响应），但并不了解连接它们的隐藏数学逻辑。以往的方法试图通过近似法（例如假设一切都是简单的正态分布/钟形曲线）来猜测规则，或者使用其他机器学习技巧，这些方法往往结果不可靠，要么低估了信息，要么在数据变得过于复杂时彻底失效。

解决方案：AI 作为侦探，数学作为法官

作者提出了 ML-PWS，这是一种结合了两者之长的混合方法。

1. 侦探（机器学习）： 首先，他们将实验性的时间序列数据输入到神经网络中。该网络被训练为一个“生成模型”。它不仅仅是记忆数据，它还学习的是“条件概率”。在我们的对讲机类比中，它学习到：“如果爱丽丝说了这个特定的短语，那么鲍勃听到那个特定短语的概率是多少？”该网络学习基于整个输入的历史和之前的输出，来预测下一个输出。这就像 AI 如此深刻地理解了对话的“风格”，以至于它可以高精度地预测下一个词。
2. 法官（路径权重采样）： 一旦 AI 学习了这种风格，研究人员并不会止步于此。他们将 AI 的预测作为 PWS 技术的“规则书”。因为 AI 已经学习了条件概率（给定一个输入时输出的可能性），Pست PWS 方法现在可以进行数学上的“边缘化”（marginalize）处理。这是一种高级说法，意指他们可以通过对 AI 预测的所有可能性进行求和，来计算输出发生的总概率，无论输入是什么。

为什么这很重要： “下界”保证

这篇论文最令人兴奋的部分在于它的保证。许多用于测量信息的机器学习方法都是“黑箱”。你运行它们，它们给你一个数字，但你不知道这个数字是太高了、太低了，还是仅仅运气好。

作者证明了他们的算法提供了一个严格的下界。这意味着他们计算出的数字始终小于或等于真实的信息率。它可能比较保守（低估了真相），但它绝不会撒谎说存在比实际更多的信息。这对科学至关重要，因为它为研究人员提供了一个可靠的底线。如果他们说“信息率至少是每秒 5 比特”，他们就能确定这个值绝不是零。

他们在三个不同的合成系统（由已知数学模型生成的伪造数据）上进行了测试，在这些系统中，他们已知“地面真值”（ground truth，即真实答案）。

• 测试： 他们将 ML-PWS 与其他流行方法进行了对比，包括高斯近似（假设一切都是简单的曲线）、DoE（差分熵）以及变分估计器（如 MINE 和 InfoNCE）。
• 结果： 在几乎所有案例中，ML-PWS 都是最准确的。它与地面真值保持了惊人的接近。
  • 高斯近似 在系统是非线性（即输入与输出之间的关系不是直线）时失败了。
  • 变分估计器（如 MINE 和 InfoNCE）遇到了“天花板”。由于其数学机制在数据过于复杂或轨迹过长时会陷入停滞，它们无法测量高信息率。它们本质上选择了放弃，并给出了一个“至多如此”的结论，即便实际情况远高于此。
  • DoE 有时会高估信息量，给出一个过高的数字，因此是不可靠的。

现实应用：倾听神经元

为了证明这不仅仅是一个玩具实验，作者将 ML-PWS 应用于真实的生物数据：来自耴螈眼部 50 个视网膜神经节细胞的记录。这些细胞正在观察一个在屏幕上上下移动的条形。

• 设置： 他们训练了一个神经网络，根据条形的运动来预测这些神经元的放电模式。
• 发现： 他们计算了单个神经元以及整个群体协同工作的个体信息率。
• 惊喜： 当他们观察群体时，发现总信息率低于个体速率之和。这是因为神经元具有“冗余性”——它们都在表达相同的内容。群体并没有增加新的信息，而是在重复信息。
• 信道容量： 他们还利用该模型提出了一个问题：“什么样的运动条形能携带最多的信息？”通过优化输入（条形的运动），他们发现了一种特定的模式，这种模式可以比实验中所用的模式携带显著更多的信息。这表明，如果世界运动的方式发生变化，耴螈的视觉系统可能会更加高效。

总结

这篇论文不仅提供了一种猜测的新方法，更提供了一种“知晓”的新方法。通过教机器学习系统的规则，并利用严谨的数学基于这些学到的规则来计数信息，作者创造了一个既强大又诚实的工具。它承认自己在某些方面并不完全了解（通过提供一个下界），但保证了它所掌握的信息是坚实的。对于任何试图理解复杂系统中信息流向的人——从大脑到股市，再到工程设备——该方法都提供了一个在数据海洋中可靠的指南针。