FactorJEPA: Factorizing Monolithic Futures into Layout-Agent-Interaction Channels for Crowded and Chaotic Global South Urban Worlds
本文介绍了 FactorJEPA，这是一种将未来预测分解为独特的布局、智能体和交互通道的新型架构，旨在更好地模拟全球南方城市环境中混乱且拥挤的动态特性，并辅以大规模 DENSEWORLD 数据集的发布，同时证明了其相对于现有单体世界模型具有更优越的鲁棒性和准确性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正在试图教一个机器人理解世界。你不仅希望它能识别出一只猫或一辆车；你还希望它能预测接下来会发生什么。如果一个球向墙壁滚去，机器人应该知道它会弹回来。如果一群人在行走，机器人应该能猜出他们将如何彼此穿梭而不发生碰撞。这个科学领域被称为“世界模型”（world modeling）。这就像是给人工智能一个水晶球，但它使用的不是魔法，而是通过数学和视频来猜测未来。
长期以来，科学家们都在非常整洁、有序的世界中测试这些机器人。想象一条有着清晰白线的公路，车辆始终保持在车道内，每个人都完美地遵守规则。这就像是在玩“简单模式”的视频游戏。但现实世界并非如此。在世界许多繁忙的城市中，交通是一场混乱的舞蹈。那里没有严格的车道，人们随心所欲地行走，人力车从巴士旁挤过，动物也在街道上游荡。这是“困难模式”。科学家们一直在问一个大问题：我们现有的 AI 模型能够应对这种混乱、拥挤的现实，还是它们只能在一切井然有序时才有效？
这篇题为 FactorJEPA 的论文解决了正是这样一个问题。研究人员意识到，标准的 AI 模型在面对拥挤城市的混乱时会感到困惑，因此他们构建了一个全新的数据集，名为 DENSEWORLD。他们收集了来自 22 个不同城市的 1,000 小时视频，捕捉了从繁忙的市场、狭窄的小巷到立交桥和海滩的一切场景。他们发现，现有的 AI 模型（通常在整洁的公路上表现出色）在预测这些拥挤场景中接下来会发生什么时显得力不从心。这些模型能掌握大致的想法，但会忽略人们和车辆如何相互作用的具体细节。
为了解决这个问题，团队发明了一种名为 FactorJEPA 的新方法。他们不再试图将整个未来作为一个巨大的、混乱的数据块进行预测，而是教会 AI 将预测分解为三个独立的“通道”，就像厨师在烹饪一道复杂的菜肴前先将食材分类一样：
- 布局（Layout）： 那些不太移动的静态事物，如建筑物、道路和墙壁。
- 智能体（Agents）： 移动的事物，如人、汽车和人力车。
- 交互（Interactions）： 这些移动的事物如何相互关联，例如行人为巴士让路，或者两辆自行车彼此穿梭。
通过将这三者分离，AI 可以学得更好。这就像试图理解一场拥挤的派对。如果你试图同时记住整个房间，你会感到不知所措。但如果你先关注房间的形状，然后是人群，最后是他们是如何交谈的，那么预测谁会移动下一步就会变得容易得多。
结果令人印象深刻。当在他们新的混乱城市视频上进行测试时，这种新的“分离式”AI 在预测未来方面比旧的“全合一”模型表现得好得多。它在位置预测上的错误更少，在测试（称为“干预”测试）中能更好地理解如果汽车突然转向会发生什么，并且即使在视频部分被遮挡或模糊时也能保持准确。这篇论文表明，通过组织 AI 理解世界的方式——将其分解为布局、智能体和交互——我们终于可以构建出能够理解人类城市那混乱、拥挤且精彩的现实世界的机器人。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。