🤖 AI

GroundAct: Can LLM Agents Ground Actions in Environmental States?

本文介绍了 GroundAct，这是一个综合性基准测试，表明当指令省略可行性细节时，大语言模型智能体难以将行动与环境状态相联系，从而揭示这一多维挑战无法仅靠规模扩展来解决，而需要属性、工具和协调推理方面的特定能力。

原作者： Zixuan Wang, Dingming Li, Hongxing Li, Yanrui Miao, Shuo Chen, Yuchen Yan, Wenqi Zhang, Yongliang Shen, Weiming Lu, Jun Xiao, Yueting Zhuang

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zixuan Wang, Dingming Li, Hongxing Li, Yanrui Miao, Shuo Chen, Yuchen Yan, Wenqi Zhang, Yongliang Shen, Weiming Lu, Jun Xiao, Yueting Zhuang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一位非常聪明的机器人助手来帮你打扫房间。你给它一个简单的指令：“清理工作台。”

人类会立刻审视眼前的混乱，并意识到三件事：

那个咖啡杯很轻，可以单手拿起。
那卷 50 公斤重的电缆太重了，一个人搬不动；你需要找朋友帮忙。
那个咖啡渍需要用布擦掉；你不能直接用手去抓。

论文《GroundAct》指出，虽然当前的人工智能模型（大语言模型）在答案显而易见时非常擅长遵循指令，但当它们必须自行推断物理世界的规则时，往往会失败。它们可能会试图独自搬起那卷沉重的电缆，失败后便直接说“好了，我完成了”，而没有意识到自己需要工具或帮手。

作者将这种缺失的技能称为“行动具身化”（Action Grounding）。它是指观察环境、理解隐藏约束（如重量、温度或工具需求），并判断实际可行操作的能力。

三种“具身化”类型

研究人员将这一概念分解为三项具体技能，并巧妙地借用电子游戏作为类比：

属性推理（“比较”技能）：
- 场景： “拿起最重的箱子。”
- AI 挑战： AI 不能只寻找标有“重”的箱子。它必须查看所有箱子，比较它们的重量（这些是具体数值，而不仅仅是“重”或“轻”），并通过计算找出胜者。
- 比喻： 这就像被要求在人群中找出最高的人。你不能只寻找“高”的标签，而必须将每个人相互比较测量。
工具推理（“解锁”技能）：
- 场景： “清理污渍。”
- AI 挑战： AI 并没有一个现成的“清理”按钮。它必须意识到：“我不能徒手清理。我得先找一块布。”一旦抓起布，它就“解锁”了清理的能力。如果它丢掉了布，就会失去这种能力。
- 比喻： 想象一款电子游戏，在你找到钥匙之前无法打开锁着的门。AI 必须意识到门是锁着的，找到钥匙，然后知道这把钥匙现在能让它打开门。
协调推理（“团队合作”技能）：
- 场景： “搬钢琴。”
- AI 挑战： 指令中并没有说“寻求帮助”。AI 必须观察钢琴的重量，意识到一个机器人搬不动，并主动请求第二个机器人帮忙。
- 比喻： 这就像试图搬动沙发。如果你试图独自搬起却失败了，聪明的人会意识到“我需要个帮手”，然后叫人来帮忙。而不太聪明的人则会继续独自尝试搬动，直到放弃。

新测试：GroundAct

为了测试 AI 是否具备这些技能，研究团队构建了一个名为GroundAct的大型测试套件。

设置： 为了避开真实 3D 机器人（速度慢且昂贵）的局限，他们构建了一个基于文本的模拟环境。想象一下对房间进行极其详细的文字描述，列出每个物体、其重量、颜色及位置。
规模： 他们创建了 1,500 个不同的“房间”和超过 16,000 个不同的任务，范围从简单指令（“把杯子放这里”）到复杂谜题（“清理最重的桌子，但你需要一块布和一个伙伴”）。
转折： 指令中从未告知 AI 关于重量限制或工具需求的信息。AI 必须从环境描述中推断出来。

他们的发现

研究人员测试了 15 种不同的 AI 模型（从小型到超大型超级智能模型），发现了一些令人惊讶的结果：

“聪明”并不意味着“具身化”： 一个模型可能在数学和逻辑（属性推理）方面表现出色，但在意识到需要工具或伙伴方面却表现糟糕。反之亦然，一个模型可能在团队合作方面很出色，但在比较重量方面却很差。这是不同的技能，而不仅仅是“更多的智能”。
知晓一切可能是一件坏事： 当他们给 AI 提供一张包含房间完整地图的“小抄”（不隐藏任何信息）时，它在寻找工具方面表现更好（因为它无需搜索）。但在团队合作方面却变差了！为什么？因为看到每一个细节分散了它的注意力，使其忽略了“这个物体太重了”这一简单事实。它迷失在噪音中。
训练存在局限： 他们试图通过向小型 AI 模型展示任务示例来“教导”它。该模型在遵循直接指令（如“拿起杯子”）方面有了很大进步。但在判断何时寻求帮助方面几乎没有改善。它学会了做什么，但没学会何时改变策略。

核心结论

该论文得出结论：仅仅让 AI 模型变得更大或在更多数据上进行训练，不足以使其真正具备“具身化”能力（即与物理世界互动）。

要构建一个能在凌乱的房子里真正帮上忙的机器人，我们需要教会它将行动扎根于现实。它需要学会，世界存在着规则（重力、重量、工具需求），这些规则并未写在操作手册中，而是隐藏于环境本身。在 AI 能够做到这一点之前，它将仍然是一个出色的交谈者，但在实际干活方面却一塌糊涂。

技术摘要：GroundAct

问题陈述

当前的大语言模型（LLM）智能体在指令完全明确指定所需动作的任务中表现出高成功率（85–96%）。然而，当动作的可行性取决于指令中未明确提及的环境状态时，性能急剧下降（29–53%）。现有基准测试（例如 ALFRED、BEHAVIOR-1K、PARTNR）通常通过提供离散状态变量、静态动作空间或明确的协作指令来预先解决这些约束。因此，它们评估的是在预接地约束下的动作执行能力，而非从环境本身推断约束的能力。

作者识别出一种缺失的能力， termed 动作接地（action grounding）：即从结构化环境状态中推断动作是否可行、缺乏哪些先决条件以及是否超出个体能力范围的能力。该能力被分解为三个维度：

属性推理：基于连续对象属性（如重量、温度）推断目标，这需要比较而非谓词查找。
工具推理：基于动态能力可用性推断先决条件（例如，抓取工具会扩展动作集；释放工具则会收回这些能力）。
协调推理：基于个体容量限制推断可行性（例如，识别物体重量是否超过单个智能体的负载限制，从而在没有明确指令的情况下需要协作）。

方法论

GroundAct 框架

作者引入了 GroundAct，这是一个旨在独立评估及组合评估上述三个推理维度的基准测试。该框架包含两个主要组件：

GA-Sim（环境模拟）：
- 表示：环境被建模为有向图（ $G_t = (V_t, E_t, A_t)$ ），使用基于文本的结构化表示，而非连续的 3D 模拟。节点代表房间、对象和智能体；边编码空间关系。
- 动态能力：与静态基准测试不同，GA-Sim 实现了动态工具 - 能力绑定。抓取工具会动态扩展智能体的动作集，释放工具则会收回这些能力。
- 涌现式协作：协作由物理约束（例如重量限制）触发，而非明确指令。系统验证所有智能体的先决条件，以确保多智能体交互的真实性。
GA-Bench（评估矩阵）：
- 规模：涵盖 11 个领域（例如实验室、办公室、工业）的 1,500 个验证场景，包含 64,057 个交互对象和 6,381 种不同的属性类型。
- 任务分类：任务沿两个轴组织为七个类别：认知复杂度（L0–L2）和智能体配置（单智能体 vs. 多智能体）。
  - L0（指令遵循）：直接命令（DC）和显式协作（EC）。
  - L1（维度推理）：工具使用（TU）、属性推理（AR）和隐式协作（IC）。
  - L2（复合任务）：复合推理（CR）和复合协作（CC）。
- 生成流程：一个四阶段的自动化流程结合了 LLM 驱动的生成、基于规则的验证以及人机回环验证，以确保物理一致性和可解性。

实验设置

作者评估了 15 个代表性 LLM（参数范围从 3B 到 671B），包括闭源模型（GPT-4o、Claude-Opus-4.6）、开源基础模型（Qwen2.5、Llama3.1、Deepseek-V3）以及推理专用模型（Deepseek-R1）。

协议：模型在部分可观测条件下运行，需要探索以发现对象的位置和属性。
微调分析：使用从 Qwen2.5-72B 蒸馏的轨迹，对 Qwen2.5-3B 进行了监督微调（SFT）实验，以评估推理能力的可迁移性。
消融实验：测试了“世界图”条件，其中完整的环境图被暴露，以将搜索边界瓶颈与约束过滤瓶颈分离开来。

关键结果

1. 模型性能的诊断模式

维度的弱相关性：属性推理与工具推理和协调推理的相关性较弱（ $r \in [-0.03, 0.02]$ ）。模型表现出不同的能力特征；例如，GPT-4o 在属性推理方面表现出色（77.8%），但在复合协作方面表现挣扎（32.0%），而 DeepSeek-R1 则呈现相反的模式。
总分掩盖差异：具有相似总体成功率的模型（例如 GPT-4o 为 74.7%，DeepSeek-R1 为 73.9%）拥有定性不同的失败模式。聚合指标无法捕捉这些结构性差异。
扩展与推理训练效应：
- 扩展：增加模型规模（Qwen2.5 系列从 3B 到 72B）显著提高了指令遵循能力（0.6% 到 89.7%），但对属性推理的回报递减（仅达到 57.4%）。
- 推理训练：推理专用模型（Deepseek-R1）改善了协作和复合任务的表现，但与其基础模型相比，在属性推理方面表现更差，尽管每条轨迹使用的 token 数量显著更多。

2. 瓶颈分析

可观测性影响：暴露完整的环境图（世界图）通过移除搜索步骤提高了工具使用性能（最高提升 +27.6%）。相反，它降低了隐式协作性能（最高下降 -22.9%），因为完整状态引入了与任务无关的属性，模糊了协作的物理必要性。这表明工具使用是“搜索受限”的，而隐式协作是“约束过滤受限”的。
微调局限性：对 Qwen2.5-3B 进行监督微调显著提高了直接命令性能（0.6% 到 76.3%），但对隐式协作的影响微乎其微（1.5% 到 5.5%）。这表明模仿学习转移了执行模式，但未能教会协作在物理上何时被触发的潜在机制。

3. 复合任务挑战

与 L1 任务相比，复合任务（L2）的性能显著下降。例如，GPT-4o 在 L1 类别上的平均得分为 78.4%，但在复合协作上降至 32.0%。这表明 L2 任务不仅仅是 L1 任务的更难版本，而是代表了一个多种接地维度相互作用的机制，从而产生了新的瓶颈。

意义与主张

该论文确立了动作接地为一个多维度的挑战，无法简化为简单的扩展或统一的推理训练。作者主张：

动作接地是独特的：它不是单一的技能，而是一组独特的能力（属性、工具和协调推理），需要特定的架构或训练干预。
现有基准测试不足：现有基准测试评估的是在预接地约束下的执行，未能诊断当智能体必须从环境中推断约束时发生的特定推理失败。
诊断需要粒度：智能体能力的进步需要能够独立变化接地需求的基准测试。总体成功率掩盖了跨维度的“分级可学习性特征”，其中某些能力（如指令遵循）很容易通过 SFT 习得，而其他能力（如隐式协作触发）则仍然具有抵抗力。

作者得出结论，未来具身智能体的进步将需要针对特定接地维度的定向干预，而非统一扩展，而诊断此类进步需要能够隔离这些维度的基准测试。