🤖 machine learning

NeuronSoup: Evolving Asynchronous, Shared-Neuron Temporal Graphs without Backpropagation

NeuronSoup 是一种新颖的神经架构，它利用遗传算法演化出一种异步、共享神经元的时序图，通过实现动态信号干涉和自适应计算深度，在不使用反向传播的情况下在 MNIST 上实现了 85.9% 的准确率。

原作者： Subodh Kalia

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Subodh Kalia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：解决谜题并不需要每个人都在同一时刻大声喊出答案。在人工智能领域，特别是被称为“神经演化”（neuroevolution）的一个分支中，科学家们正试图构建出更像生物大脑的计算机大脑。传统的人工智能——即驱动你最喜爱的应用程序的那种——运作起来就像一条僵化的工厂流水线：数据从一端进入，以完美的同步进行逐步处理，然后从另一端退出。它很快，但缺乏灵活性。如果谜题很简单，工厂仍会全速运转；如果谜题很难，工厂可能会停滞。然而，自然界是混乱且异步的。在真实的大脑中，信号传输速度各异，神经元在重叠对话的混沌汤中相互交流，大脑会根据问题的难易程度来决定思考的时间长短。这篇论文提出了一个大胆的问题：我们能否构建一个不需要主时钟或僵化流水线，而是通过演化出一个基于时间的、混沌的连接网络来进行学习的数字大脑？

欢迎来到 NeuronSoup（神经元汤），一种放弃了流水线模式，转而采用繁忙、异步厨房的新型计算机架构。NeuronSoup 并没有使用层层同步工作的神经元，而是使用了一个巨大的神经元池，信号像正在炖煮的锅中的食材一样在其中漂浮。这里的奥秘在于：信号不仅是传递，它们到达的时间各不相同。如果两个信号在同一时刻到达同一个神经元，它们就会混合在一起。如果它们先后到达，第二个信号就必须处理第一个信号留下的“风味”。这种混合创造了一种计算干涉，即信号的时机改变了下一个信号的含义。

研究人员并不是通过人工设计这种混合过程。相反，他们使用了一种遗传算法——一种模仿自然选择的计算机程序——来演化整个系统。他们从一个“基因组”（一长串数字）开始，该基因组定义了 3나 种可能的信号传输路径，包括移动速度（延迟）、强度（权重）以及它们应该访问哪些神经元。经过 1 万代的数字演化，系统弄清楚了哪些路径应该保留，哪些应该删除，以及如何通过控制信号的时机，让这锅“汤”产生正确的答案。

结果是一个令人惊讶地高效且聪明的网络。在针对识别手写数字（MNIST 数据集）这一经典任务进行测试时，演化出的 NeuronSoup 达到了 85.9% 的准确率。它仅使用了仅 115 KB 内存的微型模型——比一张高分辨率照片还要小。该网络发现，在给定的 384 条路径中，它只需要 204 条活跃路径，并且发现其 156 个隐藏神经元 非常有用，可以同时被多条路径共享。事实上，单个神经元曾同时为 11 条不同路径 服务，充当了一个繁忙的十字路口，不同证据在此碰撞并结合。

真正独特之处在于，系统自己弄清楚了何时该思考。对于简单的数字，信号采取短而快的路径，到达得很快，从而给出快速答案。对于较难的数字，信号则采取更长、更迂回的路径，延迟到达，以完善答案。系统根据问题的难度调整了自身的“思考时间”，而无需任何人告知。

作者谨慎地指出，这并不是一个能击败所有其他 AI 的万能药。他们的系统目前的准确率低于那些主导该领域的庞大、基于梯度的网络（如 ResNet），后者在相同任务上可以达到超过 99% 的准确率。他们明确排除了标准“反向传播”（AI 常用的学习方式）在此适用的可能性，因为该系统对时序和离散事件的依赖，使得它无法计算出该方法所需的平滑数学斜率。相反，他们认为遗传算法才是正确的工具，因为它们可以处理这种基于时间的演化中混乱且非平滑的特性。

虽然准确率较低，但论文提出了一个强大的替代方案：一种构建不需要大规模图形卡或僵化结构的 AI 的方法。由于该系统运行在简单的、事件驱动的逻辑之上，理论上未来可以在更简单、更节能的硬件上运行。作者认为，真正的胜利不仅仅是那 85.9% 的得分，而是计算机在最初只拥有一堆随机连接的情况下，竟然自主演化出了一套复杂的、具有时间敏感性的解题策略。这证明了你可以构建一个不仅是在“层”中思考，而且是在“时间”中思考的大脑。

技术摘要：NeuronSoup

问题陈述

当前的深度学习架构在本质上受限于对可微计算图和反向传播的需求。这导致了必须进行同步的、逐层处理的计算，且计算深度和拓扑结构在设计时即已固定。因此，这些模型无法根据单个输入的难度自然地调整其计算深度，缺乏路径间固有的侧向交互（除非通过注意力机制等手段进行显式工程设计），并且被限制在连续的可微操作中。相比之下，生物神经系统以异步方式运行，利用随时间累积状态的共享神经元，并根据信号复杂度调整处理深度。

本文旨在解决构建一个有效的分类器所面临的挑战，该分类器无需反向传播、无需固定计算深度且无需同步，同时解决了现有神经进化算法和脉冲神经网络（SNN）方法的局限性。

方法论：NeuronSoup 架构

作者提出了一种名为 NeuronSoup 的神经计算架构，该架构基于通过共享神经元池进行的异步、延迟介导的信号传播。

核心机制

异步离散事件模拟： 系统通过优先级队列（最小堆）处理连续值信号。事件按到达时间排序，而到达时间由演化的轴突延迟决定。不存在全局时钟；计算严格按照时间顺序进行。
共享神经元状态累积： 与传统网络中神经元相互独立或 SNN 中神经元重置不同，NeuronSoup 中的隐藏神经元维持一个累积状态 ( $a_n$ )。当多条路径路由经过同一个隐藏神经元时，第一个到达的信号会更新该状态。后续信号会遇到这个被修改后的状态。激活值的计算公式为 $\alpha = \tanh(a_n + b_n)$ ，其中 $a_n$ 是所有输入信号之和。这根据信号极性和到达时机产生了相长或相消干涉。
延迟作为计算： 延迟并非噪声或正则化手段；它们是主要的函数参数，决定了特征组合的顺序。短延迟优先处理高置信度特征，而长延迟允许上下文特征稍后到达，从而在初始处理之后修改输出。
基因组编码： 架构由一个包含 14,602 个基因的扁平实值基因组进行编码。其中包括：
- 路径块 (Path Blocks)： 384 条潜在路径，每条路径由 37 个基因定义（激活标志、输入 ID、输出 ID 以及最多 8 个跳跃步 [hop]，每个跳跃步包含目标神经元、权重和延迟基因）。
- 偏置 (Biases)： 编码隐藏神经元和输出神经元偏置的基因。
- 解码： $[0, 1]$ 范围内的基因被映射为操作值（例如，权重在 $[-2, 2]$ 之间，延迟在 $[0.1, 5.0]$ 之间）。

优化策略

作者认为梯度下降优化（反向传播）不适用于此类问题，原因如下：

离散拓扑： 路径激活是一个二进制决策（阈值为 0.5）。
不可微的排序： 延迟的微小变化可能会交换事件的处理顺序，导致输出发生不连续的变化。
可变图规模： 处理的事件数量取决于输入和配置，无法进行固定的图展开（graph unrolling）。

因此，采用了遗传算法 (GA)。作者特别拒绝了使用 CMA-ES（由于在 $D=14,602$ 时存在 $O(D^2)$ 内存和 $O(D^3)$ 计算成本）以及标准的算子如 SBX 或 DE（这些算子会破坏结构连贯性）。他们实现了一种路径感知交叉 (path-aware crossover)，即交换整个路径块（37 个基因）而非单个基因，从而保留功能性电路。变异则对连续值应用高斯噪声，并翻转二进制标志。

核心贡献

一种新的计算模型： 一个通过时间延迟决定计算顺序的系统，实现了在没有显式停止策略的情况下，通过异步时间传播实现自适应深度。
涌现的侧向交互： 证明了共享神经元的累积效应可以在没有人工设计的交叉连接的情况下，产生隐性的路径间侧向抑制与兴奋。
结构与参数的协同进化： 一种同时演化拓扑（哪些路径/神经元处于激活状态）、权重和时间结构的扁平基因组编码。
优化分析： 对为什么遗传算法是此类问题的正确工具进行了严密的论证，特别强调了 CMA-ES 在此规模下的失效以及保持路径连贯性时块状重组算子的必要性。
模块化泛化： 该架构的任务仅由输入编码器和输出神经元数量定义，通过进化过程自动发现布线方式。

实验结果

系统在以冻结的 ResNet18 特征（512 维）作为输入的 10 类 MNIST 数字分类任务上进行了评估。

性能： 经过 10,000 代进化后，表现最好的进化模型在 1,000 个样本的留出集上达到了 85.9% 的测试准确率。
效率： 训练好的模型占用空间仅为 115 KB（14,602 个 float64 值）。
结构特征：
- 激活路径： 384 条可能路径中的 204 条被激活。
- 共享神经元： 266 个使用的隐藏神经元中有 156 个被多个路径共享。一个神经元参与了 11 条不同的路径。
- 特征选择： 仅使用了 512 个输入特征中的 162 个。
- 计算量： 推理过程涉及每个样本约 500–2,000 个事件，每张图像所需的浮点运算次数少于 1,100 次（相比之下，ResNet-18 约为 18 亿 FLOPs）。
训练： 整个训练过程（10,000 代）在 12 核 CPU 上约 2 小时 51 分钟内完成，无需 GPU。

意义与主张

论文声称 NeuronSoup 展示了一种全新的计算范式的可行性：通过共享进化图进行的异步时间传播。

克服反向传播的限制： 该架构证明了无需可微性、固定深度或同步即可产生有效的分类。它通过长延迟路径自然地分配更多计算资源给困难输入，解决了深度学习中的“固定深度”限制。
涌现结构： 系统通过选择压力发现了复杂的行为——例如，共享神经元充当集成枢纽，以及时间延迟创造了类似注意力的优先级机制——而无需人工工程设计这些机制。
硬件启示： 该架构天生适合神经形态硬件和事件驱动系统，与同步矩阵乘法架构相比，具有数量级的能量效率优势。
通用性： 作者断言，只要改变输入编码器和输出数量，相同的进化框架即可应用于任意领域（音频、文本、医疗数据），无需重新设计架构。

论文保持了谦逊的态度，承认 85.9% 的准确率低于基于梯度的基准模型（在相同特征下为 92–96%），但认为这反映了无梯度优化的代价，而非架构本身的上限，并指出收敛曲线并未出现平台期，且该架构的表达能力在理论上是非常高的。其主要贡献在于展示了一个可行的、非可微的、异步计算模型，该模型可以在普通 CPU 硬件上进行扩展，并在不同领域间实现泛化。