The SIGReg Objective as Variational Free Energy: A Theoretical Active-Inference Account of JEPA World Models

技术摘要：作为变分自由能的 SIGReg 目标函数

问题陈述
联合嵌入预测架构（JEPA）已成为潜在世界模型的主流设计，然而其训练目标通常是基于经验性能而非规范性原则来证明的。在理解用于防止表示崩溃（如 VICReg）的非对比正则化项如何与主动推理（AIF）的变分自由能相关联方面，存在一个关键的理论空白。

核心问题在于，标准的 JEPA 目标函数通过非对比正则化项来近似 AIF 自由能中的互信息（信息量）项。在标准恒定噪声编码器模型下，最大化信息量等价于最大化嵌入的边际微分熵 $h(Z)$。然而，诸如 VICReg 之类的估计器是通过前两个矩（方差和协方差）来近似该熵的。本文指出，这种近似引入了“先验失校间隙”（prior-miscalibration gap）。至关重要的是，由于 VICReg 是熵的一个上界（通过 Hadamard 不等式和最大熵定理），最大化它并不能保证增加真实的熵。这种“不安全”的上界意味着所得目标函数可能无法保持 AIF 的惊奇度界限（$F \ge -\ln p(x)$），从而削弱了 JEPA 作为 AIF 智能体的规范有效性。

方法论
作者开发了一个理论框架，通过三个主要步骤来分析 JEPA 正则化项与 AIF 自由能之间的关系：

1. 熵估计器层级： 本文将四种非对比正则化项（VICReg、LogDet、PairDist 和 SIGReg）根据“三源间隙分解”进行分类。该分解将真实熵 $h(Z)$ 与其代理 $\hat{H}(Z)$ 之间的误差分解为：

   • 间隙 I（非高斯性）： 真实分布与高斯参考分布之间的差异。
   • 间隙 II（非对角协方差）： 由于假设对角协方差矩阵（忽略相关性）而引入的误差。
   • 间隙 III（估计误差）： 估计器本身的残余误差。
     该层级根据这些正则化项是否产生这些间隙，以及它们是作为安全的下界还是不安全的上界起作用，对它们进行了排序。

2. SIGReg–AIF 对应关系： 作者引入了 SIGReg（草图各向同性高斯正则化），它通过随机投影高斯性测试来强制执行嵌入的各向同性高斯分布。他们证明了在成功的 SIGReg 强制执行下，先验失校间隙消失（$\Delta = 0$）。

3. 理论证明与扩展：

   • 单步： 他们证明了通过 SIGReg，JEPA 目标函数成为了精确的信息瓶颈（IB）分解和有效的 AIF 自由能，从而保留了惊奇度界限。
   • 多步与规划： 该对应关系被扩展到多步期望自由能（EFE），表明在特定的部署机制（例如带有重规划的模型预测控制）下，复杂度项可以精确复合。
   • 策略机制： 本文分析了学习策略，表明在 SIGReg 下，策略目标对应于关于期望自由能的玻尔兹曼分布。

核心贡献

1. 熵估计器层级： 本文建立了一个正式的非对比正则化项层级。它证明了 VICReg 和 LogDet 是“不安全”的上界，无法保证 AIF 惊奇度界限的保留，而 PairDist 是一个“安全”的下界。SIGReg 被确定为第一个同时具备安全性（无上界风险）和精确性（通过强制执行各向同性高斯性消除了所有三个间隙来源）的估计器。

2. 对应定理（定理 1）： 作者证明，使用 SIGReg 代替 VICReg 可以将 AIF 对应关系从近似提升为精确。在恒定噪声模型和成功的 SIGReg 强制执行下：

   • 熵间隙消失。
   • 目标函数具有精确的 IB 分解。
   • AIF 惊奇度界限得到保留。
   • 潜在目标成本成为 AIF 实用价值的精确代理（不像 VICReg 会留下不可消除的 $O(\delta^2)$ 各向异性项）。

3. 识别“状态-认识论”间隙： 本文识别了 AIF 期望自由能中的一个特定项——状态-认识论价值（一种驱动探索的未来状态覆盖信号）——该项在当前所有的 JEPA 世界模型中都是缺失的。虽然集成方差代理可以参数化信息增益，但目前没有任何 JEPA 计算了以策略为条件的未来状态的边际熵。

4. 机器验证证明： 结果的代数核心，包括间隙分解和对应定理，已通过 Lean 4 进行机器验证，确保了推导过程的逻辑一致性。

结果与预测
本文推导了 SIGReg 和 VICReg 之间在性质上（而非程度上）存在本质差异的若干理论后果：

• 界限保留： 只有 SIGReg 保证了 AIF 惊理度界限的保留；VICReg 则不然。
• 各向同性： SIGReg 将嵌入条件数 $\kappa$ 驱动至 1（完美各向同性），而 VICReg 会留下不可消除的各向异性项。
• 规划保真度： 在 SIGReg 下，规划成本是期望自由能的精确代理。在 VICReg 下，实用价值和风险项带有失真。
• 可测试预测： 本文列出了五个用于经验验证的具体预测（例如，SIGReg 的嵌入应具有 $\kappa \approx 1$ 以及比 VICReg 更高的规划成本与任务成功率之间的 Spearman 相关性）。这些预测被视为可在后续工作中测试的理论后果。

意义与主张
本文声称，抗崩溃正则化项不仅仅是一个实现细节，它还是决定 JEPA 世界模型目标函数是否为有效主动推理自由能的关键组件。

• 有效性准则： 这项工作提供了一个形式化的目标函数有效性准则：当且仅当熵估计器是安全的下界或精确匹配（如 SIGReg）时，AIF 惊奇度界限才能存续，而非不安全的上界。
• 统一性： 它将部署中的非对比 JEPA 生态系统与深度主动推理统一起来，允许一个领域的工具为另一个领域提供信息。
• 有原则的探索： 它将启发式的“添加探索奖励”转化为一个具体的、带符号的指令：即缺失的状态-认识论价值项。
• 谦逊态度： 作者明确指出，该对应关系在理想化假设（恒定噪声模型、总体极限）下是精确成立的。他们承认“状态-认识论”间隙是当前 JEPA 景观的一个结构性发现，而非理论缺陷；且在过完备机制下潜在变量的线性可辨识性仍是一个开放的经验问题。本文并不声称解决了这些经验问题，而是建立了这些问题在理论上可解的条件。