🧬 biology

Online Generalised Predictive Coding

本文介绍了在线广义预测编码（ODEM），它是动态期望最大化的一种扩展，通过分离时间尺度，实现在动态环境中对潜在状态的在线推断、模型参数的学习以及不确定性估计的同步进行，并证明了即使在生成模型不匹配或混沌的情况下，该方法仍具有鲁棒性。

原作者： Mehran H. Z. Bazargani, Szymon Urbas, Adeel Razi, Thomas Brendan Murphy, Karl Friston

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Mehran H. Z. Bazargani, Szymon Urbas, Adeel Razi, Thomas Brendan Murphy, Karl Friston

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象你的大脑是一位试图实时破解谜案的侦探。每一秒，新的线索（感官数据）都会抵达，侦探必须立即更新其对正在发生之事的推测，学习游戏规则，并判断在多大程度上可以信任自己的感官。

本文介绍了一种名为ODEM（在线动态期望最大化）的新数学工具，它能帮助计算机完成侦探所做的这一切。这是一种让机器能够“猜测”周围世界隐藏成因、从错误中学习并调整其置信度的方法，且这一切都在世界持续运转的过程中完成。

以下是其工作原理的分解，辅以简单的类比：

1. 侦探的三项工作（三重估计）

大多数计算机程序试图一次只做一件事。而 ODEM 试图同时完成三件事，作者称之为“在线三重估计”：

追踪隐藏状态：确定事物此刻的位置（例如：“那只鸟是向左飞还是向右飞？”）。
学习规则：弄清楚世界是如何运作的（例如：“鸟通常沿曲线飞行，而非直线”）。
估计不确定性：决定在多大程度上信任数据（例如：“雾气很大，所以我的视力不可靠；我应该更信任我对鸟类飞行模式的记忆”）。

本文认为，要真正实现“在线”运作，系统不能等待看到所有数据后再做决定。它必须做出猜测，立即更新，然后进入下一秒的数据，不再回头。

2. “平滑”技巧（广义坐标）

想象你试图预测一秒钟后汽车的位置。

旧方法：你只观察汽车此刻的位置。如果汽车突然转弯，你的预测可能会滞后。
ODEM 的方法：它观察汽车的位置、速度、加速度，甚至加速度变化的快慢（加加速度）。

本文将这种使用称为“运动广义坐标”。这就像一台电影摄像机，它不仅拍摄汽车的位置照片，还记录其速度以及驾驶员踩油门的力度。通过了解运动的“平滑度”，即使汽车以混乱、不可预测的方式移动，系统也能更好地预测未来。

3. 速度陷阱（时间尺度分离）

在这项“侦探工作”中，最大的挑战之一是某些事物变化很快，而某些变化很慢。

快：移动物体的位置（每毫秒都在变化）。
慢：游戏规则或空气中的噪声水平（在几分钟或几小时内变化）。

ODEM 使用了一个巧妙的技巧，称为时间尺度分离。它将“快速”更新（追踪物体）和“慢速”更新（学习规则）视为以不同速度进行的两个不同任务。

快速任务：像反射一样不断更新。
慢速任务：像学习新习惯一样偶尔更新。

这防止了系统陷入混乱。它不会在鸟每次扇动翅膀时就试图重写物理定律；只有当某种模式在长时间内持续存在时，它才会更新这些定律。

4. 测试：“错误”的地图

为了证明其系统有效，研究人员设置了一项高难度测试。

现实：他们使用一种名为广义洛特卡 - 沃尔泰拉（Generalised Lotka-Volterra）的数学模型创建了一个复杂、混乱的世界（可以将其想象为三种动物相互作用并争夺食物的模拟）。
侦探：他们给 ODEM 系统提供了一张基于完全不同的数学模型（称为洛伦兹系统，通常用于模拟天气模式）的“地图”。

通常，如果你试图用城市地图在丛林中导航，你会迷路。然而，由于 ODEM 使用了“平滑运动”技巧（广义坐标）和“速度陷阱”技巧（时间尺度分离），即使其内部地图对其所处世界的类型存在根本性错误，它仍然出人意料地很好地追踪了动物的运动。

5. 结果：更优秀的侦探

本文表明，ODEM 能够：

即使在世界混乱时，也能准确追踪隐藏状态。
随着时间的推移学习正确的“规则”（参数），即使它最初使用的是错误的规则。
根据数据的噪声程度调整其置信度（不确定性）。

作者得出结论，这种方法为机器提供了一种受生物学启发的实时学习和适应方式，就像人脑一样，无需在每次有新数据到达时停下来重新分析整个事件历史。

简而言之：ODEM 是一个聪明、快速学习的系统，它通过观察事物如何平滑运动来猜测未来，缓慢地学习规则，并知道何时信任眼睛而非记忆——而这一切都在世界持续运转的过程中完成。

技术摘要：在线广义预测编码

问题陈述

本文探讨了动态环境中在线三重估计的挑战。在类脑计算的背景下，这涉及随着感官数据的到来，实时同步执行三项任务：

在线隐状态推断：估计世界的潜在动态状态。
在线参数学习：推断生成模型（GM）的未知参数。
在线不确定性估计：估计状态和观测噪声的精度（逆方差）。

主要困难在于问题的在线性质：与可以重访整个时间序列以收敛到解的离线方案不同，在线系统必须恰好处理一次每个数据点。它无法在下一个观测值到来之前迭代地细化内部状态或参数。这需要计算方案能够在严格的时间约束下进行快速、准确的更新，特别是当真实生成过程（GP）的函数形式与用于推断的模型不同时。

方法论

理论框架

所提出的方法在线动态期望最大化（ODEM）基于自由能原理（FEP）和变分推断（VI）。它将感知框架化为变分自由能（VFE）的最小化，VFE 作为负对数模型证据的上界。VFE 被分解为准确性项（拟合数据）和复杂性项（惩罚与先验信念的偏差），遵循奥卡姆剃刀原则。

为了使 VFE 适用于连续时间动态，作者采用了拉普拉斯近似，用高斯分布近似后验分布。这将 VFE 简化为精度加权的预测误差之和。

运动广义坐标（GCM）

ODEM 的核心组件是使用运动广义坐标（GCM）。该模型不仅推断隐状态的位置（ $x_t$ ），还推断高阶时间导数向量（速度、加速度、加加速度等）： $\tilde{x}_t = \{x_t, x'_t, x''_t, \dots\}$ 。

这使得模型能够捕捉系统的平滑动态，而无需闭合形式的转移密度或蒙特卡洛模拟（不同于卡尔曼滤波或粒子滤波）。
该模型假设生成过程中的随机波动具有一定的平滑度，从而放宽了标准维纳过程的假设。
广义观测（ $\tilde{y}_t$ ）是通过对感官输入的高阶导数进行有限差分近似而构建的。

时间尺度的分离

ODEM 受哈肯协同学（Haken's Synergetics）的启发，实施了关键的时间尺度分离，以管理三项估计任务：

快速 D 步（状态推断）：发生在每次观测时。它使用基于梯度的 VFE 最小化连续更新隐状态，并由 VFE 表面的曲率（Ozaki 方案）进行正则化。这跟踪快速移动的外部状态。
慢速 E 步（参数学习）：发生频率较低（每 interEM 次观测）。它使用数据窗口内累积的梯度更新模型参数（ $\theta$ ）。这反映了突触可塑性或环境变化的较慢时间尺度。
慢速 M 步（不确定性/精度估计）：发生在与 E 步相同的慢速时间尺度上。它更新状态和观测噪声的精度超参数（ $\lambda$ ）。这被解释为一种注意力机制，调节预测误差的权重。

算法

ODEM 算法迭代处理观测值 $y_t$ ：

将观测值广义化为 $\tilde{y}_t$ 。
执行D 步：使用基于雅可比矩阵的更新规则更新状态后验的均值（ $\tilde{\mu}_x$ ）。
累积参数和精度的梯度。
在 interEM 定义的间隔处，执行E 步和M 步：使用 Robbins-Monro 学习率更新参数（ $\theta$ ）和精度（ $\lambda$ ）后验的均值和协方差，然后重置梯度累积器。

主要贡献

ODEM 算法：引入动态期望最大化（DEM）算法的在线变体，专门设计用于非线性、潜在混沌系统中的三重估计。
广义预测编码实现：一个 Python/PyTorch 实现的 ODEM，利用 GCM 在不依赖闭合形式转移密度的情况下对动态进行建模。
对模型失配的鲁棒性：证明即使生成模型（GM）的函数形式与生成过程（GP）根本不同（例如，使用洛伦兹模型推断广义 Lotka-Volterra 过程），只要使用高阶运动，ODEM 也能成功跟踪潜在状态。

实验结果

作者使用具有平滑、相关噪声的**广义 Lotka-Volterra（GLV）**生成过程（GP）验证了 ODEM。他们测试了两种生成模型（GM）：

场景 - 相同：GLV-GM（与 GP 匹配）。
场景 - 不同：洛伦兹-GM（函数形式不匹配）。

主要发现：

GCM 阶数的影响：将运动阶数（ $k_x$ ）从 2 增加到 3 显著提高了跟踪性能，特别是在场景 - 不同的情况下。当 $k_x=2$ 时，洛伦兹-GM 难以跟踪 GLV-GP；当 $k_x=3$ 时，跟踪性能大幅改善。在场景 - 相同的情况下，GLV-GM 在两种阶数下表现良好，表明 GCM 在结构假设不匹配时最为关键。
收敛性：参数（ $\mu_\theta$ ）和精度（ $\mu_\lambda$ ）的后验估计随时间稳定。参数估计周围的不确定性（可信区间）随运动阶数的增加而更快地减小。
自由作用（FA）：场景 - 相同（GLV-GM）的 FA 值（模型证据的代理）低于场景 - 不同（洛伦兹-GM）。虽然更高阶的运动提高了准确性，但也增加了复杂性，导致跨阶数的整体 FA 值相似。
精度比率敏感性：性能对先验精度比率 $C$ （预期观测噪声精度与状态噪声精度的比率）高度敏感，突显了调整对感官数据与内部动态相对信任度的重要性。

意义与主张

本文声称 ODEM 提供了一种受生物启发的解决方案，用于在线推断、学习和不确定性估计。通过分离时间尺度，它模拟了大脑执行快速状态估计（快速神经元动态）的能力，同时适应较慢的参数（突触可塑性）和注意力（神经调节）。

作者断言，ODEM 提供了一个可扩展的框架，用于研究生物和人工智能体中的自适应推断。至关重要的是，他们证明了在运动广义坐标中的推断允许模型跟踪复杂的非线性动态，即使模型的结构性假设与真实生成过程不同，只要模型能够通过高阶导数捕捉动态的平滑性。这项工作架起了预测编码、变分推断和在线动态系统建模之间的桥梁，提供了一种不需要批量优化或回顾性平滑的方法。