🤖 AI

Beyond Needle(s) in the Embodied Haystack: Environment, Architecture, and Training Considerations for Long Context Reasoning

本文提出了 $\infty$ -THOR 框架，通过构建可扩展的长程轨迹生成系统、名为“Embodied Haystack"的多线索长程推理基准以及配套的超长序列数据集，并结合交错式目标 - 状态 - 动作建模等架构创新，旨在推动具身智能在极端长上下文环境下的推理与规划能力。

原作者： Bosung Kim, Prithviraj Ammanabrolu

发布于 2026-02-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bosung Kim, Prithviraj Ammanabrolu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 ∞-THOR 的新框架，它的目标是教机器人（或者说是“具身智能体”）如何像人类一样，在漫长的时间里记住细节、规划未来，并解决那些需要跨越很长时间才能完成的复杂任务。

为了让你更容易理解，我们可以把这篇论文的核心内容想象成教一个超级健忘的实习生完成一项“寻宝大挑战”。

1. 核心挑战：大海捞针（Embodied Haystack）

想象一下，你给这个实习生布置了一个任务：

上午 9 点：他在厨房看到了一个西红柿。
下午 2 点：他在客厅看到了一个料理台。
下午 5 点：老板突然说：“把那个西红柿放到料理台上。”

对于普通的人工智能来说，这就像是在大海里找一根针（Needle in a Haystack）。因为从早上到下午，中间发生了成千上万件事（走了多少步、看了多少东西、拿起了多少物品），那个“西红柿”和“料理台”的信息早就被淹没在海量数据里了。

这篇论文提出的新任务叫 “具身大海捞针” (Needle(s) in the Embodied Haystack)。它比传统的“大海捞针”更难，因为：

针不止一根：可能需要记住好几个分散在不同时间的线索。
不仅是文字：线索藏在视频画面和动作里，而不仅仅是文本。

2. 解决方案：∞-THOR 框架

为了解决这个问题，作者们造了一个名为 ∞-THOR 的“训练场”。

无限生成的剧本：这个训练场可以自动生成无数条超长的“剧情线”。就像拍电影一样，它可以生成一个长达几百个步骤的故事，确保故事里既有早期的伏笔（西红柿），也有后期的目标（料理台）。
真实的模拟：在这个虚拟世界里，机器人必须真的去“走”、去“看”、去“拿”，而不是只看一张静态图片。

3. 机器人的“大脑”升级（架构与训练）

为了让机器人能记住这么久的事情，作者们尝试了两种给机器人装“大脑”的方法：

方法 A：全记忆回放 (Interleaved Goal-State-Action)
- 比喻：就像让机器人把从早上 9 点到下午 5 点的所有经历，像放电影一样，一帧一帧地全部读一遍，然后才做决定。
- 优点：信息最全，不会漏掉细节。
- 缺点：太累了！现在的电脑很难一次性处理这么长的“电影”（超过 100 万字的文本量）。
方法 B：记忆增强 (Memory-Augmented)
- 比喻：就像给机器人发了一本日记本。它不需要重读所有电影，而是只读日记里记录的“重点摘要”（比如：“上午 9 点拿了西红柿，下午 2 点到了客厅”）。
- 优点：轻松，省内存。
- 缺点：如果摘要写得太简略，可能会漏掉关键细节。

实验发现：在这个特定的长任务中，“全记忆回放”（虽然累但信息全）的效果反而比“看日记”要好。这说明机器人需要看到完整的上下文才能做出正确判断。

4. 训练技巧：如何塞进更多记忆？

既然机器人的“记忆窗口”（Context Window）有限，怎么让它记住更多东西呢？作者们用了两个魔法：

上下文扩展 (Context Extension)：就像给机器人的大脑“扩容”。通过特殊的数学技巧（如 YaRN），让原本只能记 3 万字的模型，强行能记 30 万字，而且不糊涂。
并行处理 (Context Parallelism)：就像把一本巨厚的书分给 16 个助手同时阅读，然后拼凑起来。这样既快又省内存。

5. 成果：从虚拟到现实 (Sim-to-Real)

最酷的部分来了！作者们发现，在这个虚拟训练场里练出来的“寻宝能力”，竟然可以直接迁移到现实世界！

实验：他们用 ∞-THOR 生成的数据训练了一个模型，然后把这个模型放到一个照片级真实的测试环境（VSI-Bench）里。
结果：模型的表现提升了 11.2%！
意义：这证明了，只要让机器人在虚拟世界里学会“长时间记忆”和“跨时间推理”，它就能更好地处理现实世界中那些需要长时间规划的任务（比如机器人做家务、整理房间）。

总结

这篇论文就像是在说：

“以前的机器人太短视，只能记住眼前的一两件事。我们造了一个超长的虚拟训练场，给机器人安排了‘跨时空寻宝’的考试。通过特殊的训练方法，我们教会了机器人如何像人类一样，记住几天前看到的线索，并在很久之后正确执行任务。这不仅让虚拟机器人变聪明了，还让它们能更好地在现实世界中干活。”

虽然现在的机器人离完美的“长期规划大师”还有距离（比如放东西的动作还不够精准），但这篇论文为下一代能记性超好、能规划长远的机器人打下了坚实的基础。

这篇论文提出了一种名为 ∞-THOR 的新框架，旨在解决具身人工智能（Embodied AI）中长程推理（Long-Horizon Reasoning）和超长上下文理解的关键挑战。现有的具身智能体通常只能处理短序列任务，而真实世界的任务往往需要跨越数百甚至数千个时间步，涉及对分散在时间轴上的关键信息的记忆、整合与推理。

以下是对该论文的详细技术总结：

1. 核心问题 (Problem)

长程依赖与记忆缺失： 具身智能体在执行复杂任务（如“在 670 步时把 16 步时看到的番茄放到 560 步时看到的台面上”）时，需要跨越巨大的时间跨度来记忆物体状态和位置。现有的视觉语言模型（VLM）通常受限于固定的上下文窗口（Context Window），难以处理超过 100 万 token 的输入。
缺乏基准与数据集： 现有的具身基准（如 ALFRED, Habitat）大多任务步数较短（<50 步），缺乏针对超长轨迹（>400 步）的标准数据集和评估体系。
多模态“大海捞针”难题： 传统的“大海捞针”（Needle in a Haystack）测试主要针对文本，而具身环境中的推理需要结合视觉、语言和行动历史，且线索往往是分散的、多模态的。

2. 方法论 (Methodology)

A. ∞-THOR 框架与数据生成

环境基础： 基于 AI2-THOR 模拟器构建。
轨迹生成： 采用基于规划器（Planner-based）的方法，将多个单任务演示（Sub-goals）串联成超长轨迹。
- 合成目标： 最终任务的目标物体和位置必须来自轨迹的前 20%和后 20%，强制模型建立长程时间依赖。
- 规模： 训练集包含 2,456 条轨迹，平均 405 步；验证/测试集平均 600+ 步。输入 token 长度平均达 60 万 -90 万，最大可达 130 万。
新任务：Needle(s) in the Embodied Haystack (NiEH)
- 定义： 一种静态评估任务，要求智能体根据长轨迹回答关于过去事件的问题。
- 类型：
  - 单线索 (Single-evidence)： 基于单一观察步骤回答问题。
  - 多线索 (Multi-evidence)： 需要整合多个时间上分散的线索（例如：“在把海绵放到台面上之前，它在哪里？”）。
- 构建流程： 轨迹回放 -> 元数据收集 -> 基于规则的 QA 生成 -> 多模态 LLM 交叉验证（确保问题可解）。

B. 架构设计 (Architectures)

论文探索了两种将 VLM 作为策略模型（Policy Model）的架构：

交错式目标 - 状态 - 动作模型 (Interleaved Goal-State-Action)：
- 将完整的感知 - 动作流（ $g_0, s_0, a_0, ..., s_t, a_t$ ）编码为单一的交错多模态序列。
- 优点：保留完整历史信息，适合端到端推理。
- 缺点：对上下文长度要求极高，容易超出模型限制。
记忆增强型目标 - 状态模型 (Memory-Augmented Goal-State)：
- 不输入完整轨迹，而是通过检索机制（基于 CLIP 嵌入相似度）提取相关的历史文本摘要或关键图像帧作为记忆 Token。
- 优点：压缩上下文，降低计算成本。
- 缺点：可能丢失非检索到的关键细节。

C. 训练策略 (Training Strategies)

为了处理超长序列，论文采用了以下技术：

上下文扩展 (Context Extension)： 应用线性插值、动态缩放、YaRN 和 LongRoPE 等技术，使预训练模型能泛化到更长的序列。
上下文并行 (Context Parallelism)： 基于 Ring Attention 技术，在多个 GPU 上循环交换 Key-Value 分片，实现超低显存开销的超长序列微调（Fine-tuning）。
训练目标： 仅优化动作 Token（Next-Action Prediction），条件为当前目标和历史状态。

3. 关键贡献 (Key Contributions)

∞-THOR 框架： 首个支持生成、训练和评估超长程具身任务（>1M tokens）的完整框架。
NiEH 基准： 提出了“具身大海捞针”任务，专门测试智能体在长轨迹中对分散多模态线索的回忆与推理能力。
大规模数据集： 发布了包含数千条超长轨迹的数据集，涵盖离线模仿学习和在线策略执行。
系统性分析： 深入对比了交错式与记忆增强式架构，以及不同上下文扩展技术（如 YaRN）在超长序列下的表现。
Sim2Real 迁移验证： 证明了在合成数据上训练的模型能有效迁移到真实感基准（VSI-Bench）和底层机器人控制中。

4. 实验结果 (Results)

A. 静态评估 (NiEH 任务)

模型表现： 现有 VLM（如 LLaVA-OV, Qwen2.5-VL, Gemini 2.0 Flash）在处理超长轨迹时面临巨大挑战。
- LLaVA-OV 无法处理超过 1M token 的完整轨迹。
- YaRN 扩展技术在处理 384K+ token 序列时表现最佳，显著优于动态缩放。
- 多线索推理比单线索更难，现有模型在需要聚合多个分散证据时性能大幅下降。
架构对比： 在完整轨迹可用时，交错式模型（Interleaved）通常优于记忆增强模型，因为检索机制容易遗漏关键信息。但在输入受限情况下，文本记忆比图像记忆更有效（信息密度更高）。

B. 在线评估 (长程任务执行)

训练上下文的重要性： 在 128K 上下文长度下微调的模型，其任务成功率（9.2%）显著高于 32K 模型。这证明了在训练阶段接触长上下文比仅在推理时扩展上下文更重要。
最佳策略： 结合 YaRN (x4) 扩展和长上下文微调的交错式模型取得了最高成功率（11.5%）。
失败模式： 大多数失败发生在早期步骤（如“去某处”或“拿起物体”），导致后续步骤无法执行。

C. Sim2Real 与底层控制

Sim2Real 迁移： 仅在 NiEH 合成 QA 数据上微调 Qwen2.5-VL，使其在真实感基准 VSI-Bench 上的物体出现顺序判断任务提升了 +11.2%，证明了长程时序推理能力的泛化性。
底层控制： 将框架集成到 ManipulaTHOR 中控制机械臂。虽然 OpenVLA 和 SpatialVLA 在底层控制上表现较低（受限于视角差异和模拟误差），但验证了框架的通用性。

5. 意义与展望 (Significance)

填补空白： 解决了具身 AI 领域缺乏超长程任务基准和训练数据的痛点，推动了从“短视”智能体向具备长期规划能力的智能体转变。
技术验证： 证明了通过上下文并行和RoPE 扩展技术，开源 VLM 可以处理百万级 token 的具身交互序列。
未来方向： 论文指出，尽管取得了进展，当前 SOTA 模型在极端长上下文下的推理能力仍有很大提升空间。未来的研究应聚焦于更高效的记忆机制、更鲁棒的 Sim2Real 迁移，以及能够真正理解并规划复杂长程任务的下一代具身智能体。

总结： ∞-THOR 不仅是一个数据集或基准，更是一套完整的解决方案，展示了如何通过架构创新（交错/记忆）和训练策略（并行/扩展）来突破具身智能的长程推理瓶颈，为构建具备人类级别长期记忆和规划能力的机器人奠定了坚实基础。