Your Probabilistic JEPA Is Secretly a Hidden Markov Model: A State-Space Interpretation of Joint-Embedding Predictive Learning
本文通过论证概率联合嵌入预测模型（JEPA）与隐马尔可夫模型在推理、传播和发射方面的共享计算结构，确立了两者在本质上的等价性，并引入了马尔可夫链 JEPA 变体，以提供具有精确多步长一致性的原则性状态空间解释。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教会一个机器人如何理解这个世界。你不仅仅想让它记住图片；你还想让它学习世界是如何变化的。在人工智能领域，有一个流行的概念叫做“联合嵌入预测架构”（Joint-Embedding Predictive Architectures，简称 JEPAs）。你可以把这些想象成机器人的某种“预测未来”的方式。与其试图完美地重绘一张模糊的照片（这很难且往往浪费脑力），不如让机器人去猜测下一张照片的“意图”。它学习的是一种压缩后的“思维地图”，用以描绘未来。
但有一个大问题：当这个机器人在进行这些猜测时，它的“大脑”内部究竟发生了什么？长期以来，科学家们一直将这些“思维地图”视为神秘的黑匣子。然而，有一种非常古老且著名的数学工具叫做“隐马尔可夫模型”（Hidden Markov Model，简称 HMM）。你可以把 HMM 想象成一个经典的侦探故事：存在着一些隐藏的线索（即“隐藏状态”），你无法直接看到它们，但通过观察证据（即“观测值”）并了解这些线索通常如何随时间变化，你就可以推断出它们。长久以来的谜团在于：这些现代、高科技的 AI 机器人，是否在秘密地使用这种老派的侦探逻辑，还是说它们是某种完全崭新的东西？
这篇题为《你的概率 JEPA 实质上是一个隐马尔可夫模型》的论文深入探讨了这个谜团。作者由 Yongchao Huang 领导，他们指出，当你构建一种特定类型的 AI，即“预测信息瓶颈 VJEPA”（PIB-VJEPA）时，你实际上是在构建一个伪装的隐马尔可夫模型。他们证明了该 AI 的三个主要步骤——观察过去以推测现在、预测未来如何变化、以及想象那个未来看起来是什么样的——与经典 HMM 的三个步骤完美契合。
为了证明这不仅仅是模糊的相似性，作者创建了一个更简单的新型 AI 版本，称为“马尔可夫链 JEPA”（MCJEPA）。这个新 AI 不再使用复杂的神经网络来预测未来，而是使用一个简单的“转移矩阵”——把它想象成一个巨大的、可学习的流程图或棋盘游戏规则手册，上面写着：“如果你处于状态 A，那么你有 70% 的概率移动到状态 B。”他们在已知确切规则的人造合成世界中对其进行了测试。结果令人震惊：这个 AI 不仅预测得很好，它甚至学会了游戏的精确规则，理清了隐藏状态，并遵循了支配概率随时间演变的数学定律。
该论文还探讨了这种 AI 到底有多“聪明”。事实证明，如果你强迫 AI 过度压缩其记忆，它可能会遗忘重要的细节并开始出错。但如果让它进行适度的压缩，它就会学会丢弃无用的噪声，只保留预测未来所需的“本质”信息。这个过程被称为“马尔可夫化”（Markovization），就像 AI 正在学习成为一名完美的侦探，忽略红鲱鱼（干扰信息），只专注于真正重要的线索。
或许最令人惊讶的发现是关于这些 AI 模型是如何训练的。作者展示了你可以用两种截然不同的方式来训练完全相同的机器人架构。你可以像训练标准的 JEPA 那样进行训练（仅仅是猜测下一个思维地图），或者像训练经典的 HMM 那样进行训练（尝试预测实际的事件序列）。当他们将这两种训练风格结合起来时，机器人变得更加擅长理解世界的隐藏规则。这表明，“现代 AI”与“经典概率模型”之间的界限并不是一堵墙，而是一个滑动的标尺。取决于你如何教导机器人，它可以是一个简单的猜测者，一个精明的侦探，或者两者的完美结合。
简而言之，这篇论文表明，这些先进的 AI 系统并非魔法。从本质上讲，它们是高度结构化、逻辑严密的机器，遵循着我们几十年来所熟知的经典隐马尔可夫模型所遵循的相同规则。不同之处在于，现代 AI 具有极高的灵活性，它可以从自身学习这些规则，甚至能从杂乱的现实世界数据中学习；而且，它可以被训练成一名侦探、一名预测者，或者两者兼而有之。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。