🤖 machine learning

World Machine: Towards Generative World Modeling for Time-Series

本文介绍了World Machine，这是一种基于Transformer的时间序列生成式世界模型，它利用潜在状态实现跨不同数据背景的线性可扩展性与适应性，从而克服了传统Transformer的二次计算限制。

原作者： Elton Cardoso do Nascimento, Alexandre da Silva Simões, Esther Luna Colombini, Ricardo Ribeiro Gudwin, Paula Dornhofer Paro Costa

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Elton Cardoso do Nascimento, Alexandre da Silva Simões, Esther Luna Colombini, Ricardo Ribeiro Gudwin, Paula Dornhofer Paro Costa

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观看一名排球运动员。他们并非只在球击中自己时才做出反应；他们会在球到达之前预测其落点。他们的大脑构建了一部关于比赛的无形内部电影，模拟球的轨迹、其他球员的动作以及球网的物理特性。这部内部电影就是科学家所称的“世界模型”。

你提供的论文介绍了一种名为“世界机器”的新型人工智能系统，旨在构建这些内部电影，但专门针对时间序列数据（随时间变化的数据，如股票价格、天气模式或传感器读数）。

以下是其工作原理的分解，辅以简单的类比：

1. 问题：“记忆墙”

传统人工智能模型（如许多聊天机器人背后的模型）就像试图背诵整本书以回答关于第 50 页问题的学生。随着书籍变长，记住所有内容所需的努力呈爆炸式增长（二次方级）。如果你希望人工智能基于漫长的历史来预测未来，它会变得过于笨重和缓慢，难以处理。

2. 解决方案：“世界机器”

世界机器是一种新型人工智能，它不试图记忆过去的每一个细节。相反，它在任何给定时刻创建一个世界的压缩摘要。

“潜在状态”（内部快照）： 想象人工智能拍摄当前情况的照片，并将其缩小为一个单一的、微小的抽象“快照”（称为潜在状态）。这个快照包含了人工智能预测下一步所需的一切信息。
“核心”（模拟器）： 人工智能拥有一个名为“核心”的大脑。核心不查看整本历史书，而是查看上一个快照和当前的感官输入（它此刻看到/听到的内容），以生成下一个快照。
结果： 它只需将这些快照串联起来即可预测未来，无需每次都重新阅读整个历史。

3. 如何学习：“状态发现”游戏

这里是棘手之处：人工智能一开始并不知道这些“快照”应该是什么样子的。它必须发明它们。

作者创建了一个名为状态发现的特殊训练游戏：

设置： 人工智能获得一系列数据（例如弹跳球的视频）。
猜测： 人工智能尝试猜测每个时刻的“快照”应该是什么样子。
移位： 在猜测之后，人工智能将其自己的猜测向前推移时间，并将它们作为下一轮训练的“真理”。
循环： 随着时间的推移，人工智能学会创建极其出色的快照，以至于它们能够独自准确地重现未来的数据。

4. 训练健身房：“打破序列”

为了让人工智能变得真正强大，作者并没有让它正常练习。他们使用了一个带有特殊训练（协议）的“训练健身房”，以迫使人工智能更好地学习：

感官屏蔽： 他们遮盖部分数据（就像给人工智能戴上眼罩），迫使其仅利用内部快照来猜测缺失的内容。
序列打破： 他们将数据切成随机片段。人工智能必须学会在未见开头的情况下从中间接手故事。这教会它依赖其内部快照，而不仅仅是上一句话。
噪声注入： 他们在数据中添加静态干扰或“雾气”，让人工智能学会透过噪声看清事物。

5. 测试：“浅层预测”挑战

作者在名为Toy1D的合成数据集（一个由弹跳球和波浪组成的虚构简单世界）上测试了世界机器。

最重要的测试被称为“预测浅层”。

挑战： 人工智能被展示序列的前半部分，然后被要求仅使用它拥有的最后一个快照来预测整个后半部分。它不被允许查看之前的 49 个步骤。
重要性： 这证明了人工智能实际上学会了“世界规则”（物理规律），而不仅仅是记忆一长串数字。如果它能仅凭一个微小的快照预测未来，那就意味着它真正理解了该系统。

6. 结果

有效： 世界机器成功学会了创建这些内部快照并预测未来。
高效： 通过仅使用最后一个快照来预测未来，它避免了传统人工智能沉重的“记忆墙”问题。
局限： 当数据非常复杂或高频时（例如移动极快的球），它仍然有些吃力，并且需要一种特定且 somewhat 复杂的训练过程来正确生成“快照”。

总结类比

将传统人工智能想象成一位摄影师，为了记住舞蹈套路，它拍摄了每一个舞步的照片。如果舞蹈很长，他们就会拥有一本巨大的相册。

世界机器则是一位编舞家。它不需要看到每一个舞步。它理解舞蹈的风格和物理原理。如果你给它看最后一个动作，它能完美地想象出接下来的三个动作，因为它已经构建了一部关于舞蹈如何运作的内部“电影”，而不仅仅是一本相册。

论文证明，这种“编舞家”的方法是可行的，并且可以训练以处理缺失信息，尽管与当今我们使用的“摄影师”相比，它仍处于完善阶段。

技术摘要：World Machine：迈向时间序列的生成式世界建模

1. 问题陈述

当前的生成式 AI 模型，特别是基于 Transformer 的模型，在构建真正的“世界模型”（即能够对环境进行预测性理解和可控模拟的系统）方面面临重大挑战。传统的 Transformer 受限于与上下文长度呈二次方关系的计算和内存成本，限制了其在长时序序列上的可扩展性。此外，现有方法往往依赖人工设计的规则，或仅关注感官流之间的相关性，而未显式建模产生这些观测值的内部潜在状态。因此，亟需一种能够：

适应不同数量的观测数据和上下文。
显式建模内部世界状态（潜在表示），而不仅仅是感官相关性。
通过支持从截断上下文（例如，仅单个先前状态）进行预测，而无需依赖完整历史，从而降低推理成本。
处理异构数据和多个感官通道（潜在的多模态）。

2. 方法论

2.1. World Machine 架构

World Machine 是一种基于仅在潜在世界状态（$ws$）上运行的解码器专用 Transformer 的生成式、多模态、时间序列建模架构。

潜在世界状态（$ws$）： 这些是实值向量，编码了模拟世界的当前配置，类似于标准 Transformer 中的嵌入，但以固定的模拟频率随时间演化。
感官通道： 模型通过特定通道处理输入和输出感官数据。输入通道经过预编码器，而模型解码 $ws$ 以生成输出感官数据。
核心： 模拟引擎由 Transformer 块组成。它利用感官块（具体为 adaLn-Zero 类型），通过缩放和移位将潜在状态以感官数据为条件。如果某一步骤缺少感官数据，该块将跳过这些操作。
位置编码： 模型采用ALiBi（带线性偏置的注意力）而非正弦编码。这允许无界序列大小，并将位置信息直接注入注意力矩阵，避免干扰潜在状态嵌入。
状态激活： 对状态输出应用 tanh 激活函数，以确保模型稳定性。

2.2. 训练协议：状态发现

一个主要挑战是核心在潜在状态（$ws$）上运行，而这些状态并未作为真实标签提供。为解决这一问题，作者提出了状态发现过程：

初始化： 潜在状态使用均匀分布进行初始化。
迭代更新： 在训练期间，核心预测的状态（ $\hat{ws}$ ）在时间上被移位（使用“向左移位”算子），并作为下一个周期的输入反馈。每个序列的第一个状态被重置为零向量。
优化： 模型被训练以预测下一个时间步的感官数据（类似于下一个 token 预测），使用跨输出维度的加权损失和。这迫使 $ws$ 编码必要的信息以重建感官数据。

2.3. 增强训练协议

为了提高表示质量和鲁棒性，训练协议包含几个具体步骤：

感官掩码： 在训练期间随机隐藏感官数据，迫使模型在数据缺失时依赖潜在状态。
序列打断： 将序列分割为随机片段。模型必须处理无前序数据的中间状态。一种“快速前推”机制将一个片段的最后一个状态移位到下一个片段的第一个状态，以传播信息梯度。
噪声添加： 向 $ws$ 和/或感官维度添加高斯噪声。
短时回忆： 创建相对于当前步骤代表过去或未来数据的合成通道，以改善时间上下文。
局部模式： 随机禁用某些片段的注意力机制，迫使模型仅依赖当前的 $ws$ 和即时感官数据（类似于 RNN 隐藏状态处理）。

2.4. 评估框架

作者引入了Toy1D数据集，这是一个合成的一维时间序列，代表具有随机初始状态及脉冲/方波输入的阻尼物理系统。评估任务包括：

浅层预测： 仅使用最后一个编码状态（无感官数据）推断序列的未来 50%。这测试了上下文截断能力。
使用状态： 从先前编码的状态生成输出，无需感官输入。
掩码感官： 生成带有随机百分比感官数据掩码的序列。
影响测试： 一种统计方法（使用 Wilcoxon 符号秩检验），用于量化特定超参数和协议步骤对性能和训练时间的影响。

3. 主要贡献

新颖架构： 提出了 World Machine，这是一种统一的端到端架构，显式建模内部潜在状态（$ws$）而非仅仅是感官相关性，将经验视为高阶马尔可夫过程。
状态发现协议： 一种训练机制，使模型能够在没有真实状态标签的情况下学习如何编码和演化潜在状态，从而实现从零向量开始的自回归推理。
上下文截断能力： 展示了使用截断上下文（特别是“浅层预测”任务）进行推理的能力，为降低标准 Transformer 相关的二次方成本提供了一条潜在途径。
全面的影响分析： 使用影响测试框架对训练协议组件（如掩码、序列打断、局部模式）进行系统评估，以确定它们对性能和成本的具体贡献。
开源基线： 发布架构、训练协议和合成数据集，以解决近期大规模世界模型的不透明性问题。

4. 结果

实验在 Toy1D 数据集上使用各种模型配置和训练协议进行。

可训练性： 状态发现技术成功使模型得以训练，这由不断下降的损失曲线所证实。
任务性能：
- 模型在“正常”自回归推理上表现最佳。
- 基础模型（仅使用状态发现）无法执行需要感官数据缺失的任务。
- 完整协议（结合掩码、序列打断、噪声等）显示出显著改进，特别是在浅层预测任务中，尽管这仍然是最具挑战性的任务。
- 定性结果显示预测具有连贯性，特别是在有感官数据可用时，但高频序列仍然困难。
协议影响：
- 稳定性： 使用 tanh 状态激活至关重要；移除它（替换为 MSE 正则化）会导致近 20% 的发散率，而保留它则将发散率降低至<1%。
- 性能： “浅层预测”任务显示出最大的方差。最佳经验配置（结合序列打断、特定块配置、噪声添加和局部模式）在 1,000 个周期后实现了0.3435的浅层预测 MSE。
- 成本/收益： 局部模式变量对性能和训练时间均显示出积极影响，因为它绕过了昂贵的注意力机制。
- 相关性： “使用状态”和“浅层预测”任务与其他任务的相关性较低，表明它们是评估世界建模能力的独特且必要的指标。

5. 意义与主张

该论文将 World Machine 定位为迈向生成式世界建模的基础步骤，旨在平衡预测性理解与可控模拟。

效率： 从单个潜在状态推断未来状态（浅层预测）的能力表明，有可能缓解当前 Transformer 的二次方扩展问题，为长视野规划提供一种更具成本效益的方法。
适应性： 该架构旨在处理缺失数据和变化的感官输入，使其适用于无法总是获得完整观测的复杂动态环境。
透明度： 通过发布完全可复现的开源基线，作者旨在揭示世界模型的机制，这些机制在大规模专有系统中往往是不透明的。
未来潜力： 作者建议该方法可应用于多模态问题（例如视觉 - 惯性里程计）和大语言模型（LLM），以降低推理成本并改善对质量/成本权衡的控制。他们还承认需要未来的工作来测试真实世界的多模态数据集，并解决关于数据生成和环境成本的伦理问题。

该论文得出结论，尽管目前在合成数据上的结果令人鼓舞，但该架构是可训练的，并且能够生成连贯的预测，从而验证了所提出的状态发现和训练协议的可行性。