Energy Minima Are Not Enough: A Free-Energy Design Condition for Encoding Shortest Path in Stochastic Spiking Networks

技术摘要：能量极小值并不足够：在随机脉冲网络中编码最短路径的自由能设计条件

问题陈述
本文探讨了如何设计随机脉冲神经网络（SSNN），使其能够通过玻尔兹曼平稳分布来解决组合优化问题，特别是加权最短路径问题。虽然之前的研究已经证明，可以通过设计使正确配置成为能量函数的最小值，但本文指出，仅确保正确配置为能量极小值是不够的。要使网络正确编码最短路径，需要满足两个截然不同的条件：

1. 排序（Ordering）： 能量函数必须将最短路径在所有有效路径配置中排名为最小值。
2. 判别（Discrimination）： 路径扇区（path sector）必须携带足够的总概率质量，以克服那些虽然模仿了路径活动水平但缺乏连续性的“散射”（scatter）配置（即不连续的边集）所具有的熵优势。

本文证明，标准的设计参数往往无法满足判别条件，并且需要一种特定的结构增强（终端驱动，terminal drive）来排除那些在能量上比最短路径更廉价的竞争配置。

方法论
作者分析了一种特定的构建方式，即将加权图编译为一个由胜者为王（WTA）集群组成的网络。每个集群代表一次对顶点的遍历（traversal），而非顶点本身。该网络采用了三种耦合类别：

• $\alpha$（连续性）： 奖励集群中处于相反槽位的两个活跃神经元对（代表进入和离开顶点的路径）。其权重取决于入射边权重的总和。
• $\beta$（一致性）： 奖励两个集群之间关于某条边被遍历的共识。
• $\gamma$（抑制）： 在槽位内强制执行 WTA 约束。

分析过程如下：

1. 精确枚举： 推导路径配置的能量闭式表达式，并将其与编译后的网络进行验证。
2. 组合分析： 计算路径配置与“散射”配置（匹配，matchings）之间的能量差，这些散射配置具有相同的活动计数和 $\beta$-对数，但 $\alpha$-对数为零。
3. 自由能论证： 将能量裕度（由连续性尺度 $c$ 驱动）与竞争性散射族（scatter family）的对数多重性（熵）进行比较。
4. 增强： 引入两个辅助顶点（$S$ 和 $T$），通过零权边连接到源点和目标点，以确保每个路径中的顶点都被视为一次遍历，从而使能量与总路径权重成正比。
5. 模拟： 实现一个 $O(|E|)$ 模拟器以验证缩放特性并进行参数扫描，从而避免显式权重矩阵带来的内存瓶颈。

核心贡献

1. 两个设计条件： 本文指出单一条件（排序）是不充分的。

   • 排序条件 ($\lambda = 0$)： 长度偏差系数 $\lambda \equiv 2b_k + D + c$ 必须为零。这确保了路径的能量仅取决于其总权重，而不取决于跳数。这需要特定的偏置设置：$b_k = -(D + c)/2$。
   • 判别条件： 连续性尺度 $Proposition c$必须足够大，使得能量裕度$c(L+1)\bar{\alpha}$ 超过散射微观态数量与路径微观态数量之比的对数。

2. 终端驱动的结构作用： 本文确立了在终端神经元（$S$ 和 $T$）上的加性驱动不仅是一个实现细节，更是一种结构上的必要手段。如果没有这种驱动，全静默（all-silent）配置（能量为 0）或不连续循环（disjoint cycle）配置（它们携带额外的连续性对）可能会比最短路径具有更低的能量。终端驱动将这些配置排除在可达系综之外，使得最短路径成为可达系综中的最小值，而非全局能量最小值。

3. 判别阈值并非普适的： 通过对四个图族（稀疏、稠密、网格、地形）中 1,027 个实例的枚举，作者表明所需的连续性尺度 $c$ 并不是深度或固定常数的简单函数。

   • 所需的 $c$ 是竞争者对数多重性与能量裕度的比值。
   • 在常用的操作点（$c=4$）下，仅有 13.4% 的实例满足判别条件（按微观态计数）；在晶格（lattice）族中，0% 的实例通过了判别；而在空间嵌入的地形（terrain）族中，35.1% 的实例通过了判别。
   • 本文提供了一个可迁移的定律（公式 27），用于根据给定实例的深度、边数和平均边权来估算所需的 $c$，其中值相对误差为 8.6%。

4. 对先前推导的修正： 本文修正了原始构建中的特定计数错误（例如活跃神经元计数、$\alpha$ 和 $\beta$ 对数），并澄清了先前发表的偏置条件（$b_k = -(D/4 + 1)$）除非在 $D=2$ 时否则无法产生 $\lambda=0$。

5. $O(|E|)$ 公式化： 作者提出了一种膜电位更新的分解方法，将计算复杂度从 $O(N d^2)$ 降低到 $O(|E|)$，使得在包含高达 360 万个神经元的网络上进行模拟变得可行。

结果

• 标准参数失效： 在标准操作点（$c=4, B=2w_{max}$）下，绝大多数实例都无法满足判别条件。网络的平稳分布被散射配置或不连续循环主导，而非最短路径。
• “隐藏”的竞争者： 分析揭示了一个由不连续循环（外加路径组件）组成的配置扇区，由于拥有一个额外的连续性对（$\alpha$-pair），其能量比最短路径更低。没有任何 $c$ 的选择可以抑制这些配置；它们仅靠终端驱动被排除在外。
• 权衡： 提高权重归一化界限 $B$ 虽然能改善判别性能，但会收紧排序条件 ($\lambda$) 所需的容差，从而形成一个涉及连续性尺度、偏置精度和权重归一化的三方权衡。
• 采样障碍： 直接采样以确认判别条件在结构上是受阻的。路径扇区的活动水平（$2L$）远低于网络的静息状态（$O(N)$），这使得在没有重要性采样的情况下，通过自由运行动力学到达路径扇区的概率微乎其微。

意义与主张
本文声称，若要使随机脉冲网络通过能量最小化来解决最短路径问题，设计必须满足两个独立的条件：一个是关于路径权重的排序条件，另一个是关于路径相对于高熵散射配置的判别条件。

至关重要的是，本文强调能量极小值并不足够。即使最短路径是路径扇区内的最小值（这需要 $\lambda=0$），它也并非能量函数的全局最小值，因为全静默配置的能量恒等于零。此外，本文证明了不连续循环配置可以比最短路径具有更低的能量；这些配置仅通过终端驱动被排除在可达系综之外，而终端驱动是在能量函数之外运行的。因此，最短路径仅在驱动激活时才是可达系综中的最小值。

作者总结道，该构建的正确性依赖于三个通常被视为簿记工作的组成部分：辅助顶点、终端偏置以及加性驱动。若缺少这些要素，网络将无法编码最短路径。本文并非声称该网络在标准动力学下能成功求解，而是确立了使解成为可达系综最小值的精确理论条件，并强调了标准参数选择（$c=4$）通常无法达到判别阈值，导致解在平稳分布中是不可达的。