UniJEPA: A Unified Joint-Embedding Predictive Architecture for Task-Agnostic Visual World Modeling

想象一下，你正在试图教一个机器人如何理解世界。过去，科学家们尝试通过向机器人展示数百万张图片并让它猜测接下来会发生什么，或者让它观看视频并逐帧预测未来。这就像是通过背诵每一本书里的每一个字母来学习语言，或者在理解故事之前，试图先完美地临摹出一幅场景。这需要耗费巨大的时间和计算能力。

最近，一种更聪明的想法——“联合嵌入预测架构”（简称 JEPA）出现了。这种方法不再试图重画整个画面，而是教会机器人理解事物的“本质”。这就像是在不需要记住每个演员衣服颜色就能理解电影情节一样。机器人学会将它所看到的内容压缩成一个微小、高效的“心理笔记”（潜空间），然后预测这个“笔记”在未来应该是什么样子。然而，直到现在，科学家们必须为不同的工作构建不同的机器人：一个机器人负责理解照片在调整亮度时如何变化，而另一个完全不同的机器人则负责理解视频随时间如何向前推进。它们就像是两个无法交流的独立图书馆。

UniJEPA 的出现改变了局面，它扮演着一种“联合翻译官”的角色，用于处理这些心理笔记。研究人员想要知道：我们能否构建仅仅一个机器人大脑，让它既能学习图像在光照效果（如亮度或色彩偏移）下如何变化，又能同时学习场景随时间如何向前移动？他们发现，不仅可以做到这一点，而且将两者结合起来实际上会让机器人变得更聪明、更快速。通过使用一套统一的规则，UniJEPA 学习了如何预测场景的“外观”和“运动”，而无需重建原始像素中那些杂乱的细节。事实证明，一个大脑可以处理这两项任务，学习一种灵活的观察世界的方式，并随时准备好规划行动。

核心理念：一个大脑，两种超能力

把以前训练 AI 的方式想象成有两个学生在教室里学习。一个学生，我们称她为“照片预测者”，她只能学习静态图片。如果你给她一张猫的照片，然后问她在不同光照下的样子，她必须从头开始学习。另一个学生，“视频预测者”，坐在另一个房间里，只研究动态视频。他学习球如何滚动或人如何行走，但他完全不知道如果改变颜色，一张照片会变成什么样。

问题在于，这两个学生在学习同一个世界，却说着不同的语言。他们无法共享笔记。如果你想要一个既能理解照片又能预测未来动作的机器人，你就必须训练两个独立的、昂贵的模型，并祈祷它们能协同工作。

UniJEPA 通过把这两个学生放在同一个房间里，并给他们一本相同的教科书，改变了游戏规则。论文表明，你可以训练一个单一的模型来同时完成两件事：

1. 光度预测（Photometric Prediction）： 想象一下拍摄一张照片并调高亮度或改变色调。UniJEPA 学习预测该照片在变化后的“心理笔记”会是什么样子，而无需实际改变屏幕上的像素。
2. 时间预测（Temporal Prediction）： 想象你在看一段球滚动的视频。UniJEPA 学习预测下一帧的“心理笔记”，从而弄清楚球下一步会在哪里。

神奇之处在于，UniJEPA 在同一个心理空间中学习这两项技能。这就像机器人意识到“改变光照”和“随时间移动”只是与同一底层现实进行交互的两种不同方式。

工作原理：防崩溃技巧

你可能会问：“如果我要求一个机器人同时学习两件不同的事情，它会不会感到困惑，最后干脆放弃，只输出一些无聊的重复答案？”在 AI 术语中，这被称为“崩溃”（collapse），即模型停止学习，只输出一条平坦的直线。

论文引入了一个聪明的安全网，叫做高斯正则化器（Gaussian regularizer）。你可以把它想象成一位严厉的老师，确保学生们不会都挤在同一把椅子上。老师强制要求学生们分散开他们的“心理笔记”，使每一个笔记都是独特且截然不同的。作者在数学上证明了，这个简单的规则足以防止机器人发生崩溃，而不需要使用复杂的技巧（如其他方法中常见的“停止梯度”这一混乱的权宜之计）或使用预训练的大脑。这是一个简洁、单一的规则，能保持学习过程的健康。

研究结果：全能、更聪明、更简单

研究人员在图像（如著名的 ImageNet 数据集）、视频（如人们烹饪或做手势）以及控制任务（如机器人穿越迷宫）上测试了 UniJEPA。以下是他们的发现：

• 它是全能选手： UniJEPA 的表现与那些仅针对图像或仅针对视频训练的专业机器人一样出色，甚至更好。在图像测试中，它的准确率达到了 74.9%，超过了专门的“照片预测者”（其得分为 73.5%）。在视频测试中，它达到了 78.1%，超过了专门的“视频预测者”（其得分为 77.3%）。
• 它是规划机器： 真正的考验是规划。机器人能否弄清楚如何到达目标？在利用过往数据进行少量额外训练后，UniJEPA 可以规划如何到达一个视觉目标（例如“到达红色方块”），而不需要人类引导。它的成功率达到了 75.8%。
• 它速度极快： 这是最大的胜利。因为 UniJEPA 是在紧凑的“心理笔记”中进行预测，而不是每次都试图重画整个画面，所以它的速度非常惊人。论文报告称，UniJEPA 的规划速度比生成式世界模型（即那些试图绘制每个像素的模型）快达 44 倍。其他模型可能需要数秒才能规划出一个动作，而 UniJEPA 在不到一秒的时间内就能完成。

这为什么重要

论文认为，我们不需要为每一个不同的工作都准备一个不同的脑子。通过统一我们教机器如何观察和预测的方式，我们得到了一个更高效、更容易训练（只需要调节一个主要参数）且更灵活的系统。

作者还展示了你可以控制机器人学习的侧重点。如果你告诉机器人更多关注“照片”部分，它就会变得非常擅长忽略光照变化（不变性）。如果你告诉它更多关注“视频”部分，它就会变得非常擅长追踪运动（等变性）。你可以通过调节旋钮来找到最适合你需求的完美平衡。

简而言之，UniJEPA 证明了，一个统一的大脑可以同时学习理解照片的静态美感和视频的动态流转，同时还能以惊人的速度规划它的下一步行动。这是迈向构建能够真正理解并穿梭于我们世界的 AI 智能体的重要一步，而无需陷入琐碎细节的泥潭。