🔬 condensed matter

Approximating velocity fields with planted attractors via Neural-ODEs for classification purposes

本文提出了一种利用神经常微分方程（Neural ODEs）的分类方法，该方法利用植入的平衡点作为类特定的吸引子，通过学习到的速度场引导输入轨迹从初始条件进入相应的吸引盆，从而实现准确分类。

原作者： Feliciano Giuseppe Pacifico, Duccio Fanelli, Lorenzo Buffoni, Lorenzo Chicchi, Diego Febbe, Raffaele Marino

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Feliciano Giuseppe Pacifico, Duccio Fanelli, Lorenzo Buffoni, Lorenzo Chicchi, Diego Febbe, Raffaele Marino

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一个由丘陵和山谷组成的巨大、隐形的景观。在这个机器学习的世界里，这个景观就是数据居住的地方。通常情况下，当计算机试图对事物进行分类（比如分辨猫和狗）时，它会画一条静态的线或一个复杂的迷宫来分隔它们。

这篇论文提出了一种不同的分类方式。作者并没有绘制一张静态地图，而是构建了一个动态河流系统。

以下是基于论文逻辑的简单拆解：

1. 目标：通过“沉降”进行分类

想象你把一颗小石子（你的数据，比如一张鞋子的照片）丢进一条河流。你希望这颗石子能自然地流动，并最终沉落在河流底部的某个特定水池中。

水池（吸引子/Attractors）： 研究人员预先决定了这些水池的具体位置。他们为每一个想要分类的类别都“种植”了一个水池。如果你有10种不同类型的衣物，他们就会种植10个特定的水池。
流动（速度场/Velocity Field）： 计算机学习如何塑造河床（速度场），使得无论你把石子丢在哪里，水流都会将它推向正确的那个水池。

2. 问题：“刚性”与“柔性”

过去，科学家们尝试通过严格定义水流规则来构建这些河流系统。

旧方法： 这就像是用混凝土墙建造运河。水流的路径非常清晰（具有可解释性），但如果水流需要绕一个奇怪的弯才能到达水池，混凝土墙就会阻碍它。这种系统不够灵活，无法学习复杂的模式。
另一个极端： 现代人工智能（Neural ODEs）就像是一条神奇的、变形的河流。它可以流向任何地方并学习几乎任何模式（通用近似能力），但它不能保证水流一定会停在正确的池子里。水流可能会一直流动下去，或者在途中迷失方向。

3. 解决方案：“种植吸引子”

作者发现了一个巧妙的技巧，可以兼顾两者的优点。他们使用了一种数学技术（基于所谓的 QR 分解）来强制河流在特定位置拥有停止运动的水池，同时保持河流其余部分的灵活性，使其能够学习任何形状。

可以这样理解：

你告诉河流：“无论如何，水流必须在这些10个特定点停止。”
然后，计算机通过计算来调整河床，以实现这一目标，且不违反规则。
因为“停止点”被硬编码进了数学模型中，所以即使在学习过程中，计算机也不会意外地“忘记”这些点。这就像是设置了一个安全护栏，让河流始终保持在轨道上。

4. 实际应用

研究人员在两类事物上测试了该系统：

螺旋形状： 他们将两种混合在一起的螺旋点阵进行测试。系统学会了创造一种流向，将一个螺旋的点扫入一个水池，并将另一个螺旋的点扫入另一个水池。你可以在图表上清晰地看到这些点所经过的路径。
真实图像（Fashion MNIST & CIFAR-10）： 他们尝试对衣物和物品的图片进行分类。
- 结果： 该系统的表现与标准的顶尖 AI 分类器一样出色。它并没有在速度或准确率上胜出，但它证明了“河流系统”可以完成与“静态地图”同样的工作。
- 加分项： 因为系统是一条河流，你可以观察整个过程。你可以看到数据点随时间移动直到沉降的过程。如果它沉降在“鞋子”水池附近，计算机就知道它是一只鞋子。

5. “双群体”秘密（深度解析）

论文还提到了一个更复杂的版本，涉及两个相互作用的变量组（就像两群一起游泳的鱼）。

一组移动较慢（主河流）。
另一组移动非常快（快速调整机制）。
当快速组移动得无限快时，整个系统表现得就像那个简单的“种植水池”模型一样。
为什么这很重要： 这为科学家提供了一种看待数学的新方式，即将数据点之间的连接解释为两种不同“物种”变量之间的相互作用。它让 AI 的“黑箱”变得更加透明。

核心总结

论文声称，通过将特定的停止点（吸引子）植入一个灵活的学习河流（Neural ODE）中，他们创建了一个具备以下特性的分类器：

通用性： 它可以学习分类几乎任何事物。
可解释性： 你可以观察数据的流动，并清楚地看到它为何做出决策（因为它流向了那个水池）。
稳定性： 游戏的规则（即水池）在计算机学习的过程中永远不会改变。

他们并未声称这比现有方法更快（由于模拟流动的数学计算，它实际上稍慢一些），但他们证明了“动态”方法可以像我们今天使用的“静态”方法一样强大，并为我们理解 AI 如何做出决策提供了一种更清晰的新途径。

技术摘要：通过植入吸引子的 Neural-ODEs 近似速度场进行分类

问题陈述

本文探讨了动力学分类器领域的一个理论与实践差距。现有的方法大致分为两类：

具有植入吸引子的动力学分类器： 这些模型将决策规则直接编码进动力系统的相图（phase portrait）中，其中类别对应于稳定的平衡点（吸引子）。虽然这些框架（如 Hopfield 网络、Wilson-Cowan 模型）具有高度的可解释性，但它们通常依赖于特定的闭合形式相互作用项，且缺乏**通用近似（universal approximation）**的保证。其对于任意分类任务的表达能力尚不明确。
神经常微分方程（Neural-ODEs）： 这些模型利用神经网络的通用近似能力来参数化速度场。它们具有高度的灵活性，但通常需要一个外部读取头（例如线性分类器或 MLP）来进行分类，因为吸引子并非预先强制设定的。因此，它们缺乏动力学分类器那种“标签即目标平衡点”的内在可解释性。

核心问题在于如何统一这些方法：构建一个既具备 通用近似属性，又能严格强制执行一组 预设有限固定点（吸引子） 的 Neural-ODE，这些固定点作为类原型（class prototypes），从而消除对外部读取头的需求。

方法论

作者提出了一种称为 ConsNODEs（受约束的 Neural-ODEs）的框架，该框架将一组精选的平衡点直接整合到 Neural-ODE 的速度场中。

1. 模型架构：
系统由残差 Neural-ODE 定义：
$\dot{x}(t) = F_\theta(x(t)) = -x(t) + A_1 f(A_2 x(t) + b_2) + b_1$
其中 $x(t) \in \mathbb{R}^n$ 是状态向量， $f$ 是分量形式的非线性函数（例如 sigmoid），参数包括权重矩阵 $A_1, A_2$ 以及偏置 $b_1, b_2$ 。线性项 $-x(t)$ 提供了稳定性，确保向平衡点渐近吸引。

2. 植入吸引子约束：
对于 $C$ 个目标类别，作者规定了 $C$ 个不同的平衡点 $\{\bar{x}^{(\ell)}\}_{\ell=1}^C$ 。模型必须满足硬约束 $F_\theta(\bar{x}^{(\ell)}) = 0$ ，对于所有 $\ell$ 均成立。
为了在不限制模型表达能力的情况下实现这一约束，作者使用了一种 基于 QR 分解的投影方法（改编自 [12]）：

约束 $F_\theta(\bar{x}^{(\ell)}) = 0$ 被简化为一个线性系统 $A_1 S = Y$ ，其中 $S$ 和 $Y$ 是由目标点和网络参数导出的矩阵。
权重矩阵 $A_1$ 被参数化为：
$A_1 = A_{part} + W(I - P)$
其中 $A_{part}$ 是确保满足约束的特解， $P$ 是投影到植入特征所张成子空间的正交投影算子， $W$ 是一个由 自由、可训练参数 组成的矩阵。
这种参数化保证了对于任何 $W$ 的取值，固定点约束都严格成立。因此，基于梯度的训练在结构上被限制在具有所述平衡点的速度场假设类中。

3. 分类协议：

训练： 输入被映射为初始条件 $x(0)$ 。系统演化至终止时间 $T$ 。损失函数是一个回归损失，旨在最小化终止状态 $x(T)$ 与其对应的类别平衡点 $\bar{x}^{(\ell)}$ 之间的距离。
推理： 通过识别终止状态 $x(T)$ 最近的植入平衡点来进行分类。无需外部分类器头。

4. 理论基础：
论文依赖于 定理 1，该定理确立了受约束的网络类在消失于预设点处的连续速度场空间中是稠密的。这证明了修改后的 Neural-ODE 尽管存在硬约束，仍保留了 通用近似 能力。

5. 多群体解释（Multi-Population Interpretation）：
作者引入了一个涉及变量 $(x, u)$ 且由控制参数 $\epsilon$ 控制不同时间尺度的耦合双群体系统（2PoP 模型）。在奇异极限 $\epsilon \to 0$ 时，该系统精确地还原为 ConsNODEs 的公式。这提供了一种动力学系统解释，其中 $A_1$ 和 $A_2$ 代表控制可见群体与隐藏群体之间相互作用的加权邻接矩阵。

核心贡献

通用动力学分类器： 论文证明了可以构建一个具有 经证明的通用近似属性 的 Neural-ODE，同时强制执行一组有限的稳定固定点作为类原型。
保持约束的训练： 所提出的基于 QR 的参数化允许进行基于梯度的优化，其中吸引子的存在性是通过 构造性保证 的，从而无需辅助损失惩罚或事后修正。
可解释性： 决策过程是透明的：输入被驱动向特定的平衡点，形成特定的速度场。可以通过标准的动力学工具（如相图、李雅普诺夫指数）分析其吸引域（basins of attraction）。
双群体等价性： 该工作建立了残差 Neural-ODE 与多物种动力系统之间的联系，为将权重解释为群体间相互作用矩阵提供了神经科学层面的解释。

实验结果

作者在三个数据集上评估了该框架，并将 ConsNODEs 与参数匹配的静态多层感知器（MLP）进行了对比：

两个交错螺旋线（玩具数据集）： 在这个 2D 设置中，模型成功学习了一个速度场，将来自两个非线性可分螺旋线的轨迹路由到对应于植入平衡点的不同吸引域中。决策边界被可视化为流的零度面（separatrix）。
Fashion-MNIST： 使用原始像素输入（ $n=784$ $n = 784$ ）且不使用卷积编码器，ConsNODEs 达到了 88.96% 的测试准确率，与静态 MLP 基准（89.32%）相当。
- 观察： 准确率在积分过程中迅速饱和。作者指出，可以通过提前停止积分（ $t_{best} < T$ ）来减少推理时间而不显著损失准确率，从而缓解 ODE 积分带来的计算开销。
CIFAR-10： 使用共享的 CNN 特征提取器，ConsNODEs 达到了 84.39% 的准确率，而 MLP 为 84.69%。
- 计算成本： 由于 ODE 积分和 QR 操作，动力学方法带来了更高的计算成本（约高出 21% 的 FLOPs 和 1.8 倍的每轮训练时间）。然而，准确率差异在标准差范围内。

意义与主张

论文声称其主要贡献是 概念性 的，而非纯粹的计算性。其意义在于展示了可以构建一个具有硬植入平衡点的结构化动力系统作为分类器，同时保留 Neural-ODEs 的 通用近似 保证。

可解释性 vs. 性能： 作者认为，所提方法是用适度的计算开销换取了一种性质截然不同的、更具可解释性的分类机制。与静态前馈映射不同，其决策过程是一个向着类别相关平衡点演化的连续时间动力学过程。
理论桥梁： 该工作架起了“透明”动力学分类器（缺乏通用性）与“通用”Neural-ODEs（缺乏内在可解释性）之间的桥梁。
未来方向： 论文指出，双群体解释（2PoP 模型）可能为克服低维 ODE 分类器固有的拓扑约束（例如轨迹交叉）提供一种途径，但这被列为未来的研究课题。

作者对性能表现保持谦逊，承认 ConsNODEs 在标准基准测试中的原始准确率或效率并未超越静态 MLP。相反，其价值在于能够通过一个 透明的动力学过程 进行分类，并且在理论上保证足以近似任何与预设吸引子兼容的速度场。