ADAPT: Benchmarking Commonsense Planning under Unspecified Affordance Constraints

这篇论文提出了一种名为 ADAPT 的模块和一个名为 DynAfford 的新基准，旨在解决具身智能体（Embodied Agents）在动态环境中处理未明确说明的 affordance（可供性）约束的问题。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

• 核心痛点：现有的具身指令跟随（Embodied Instruction Following）方法通常假设物体可用性是静态的，且任务目标条件是完全指定的。然而，在现实世界中，物体的可用性（Affordance）会随时间动态变化（例如：微波炉被占用、衣物是脏的、容器已被使用），且这些状态变化往往不会在指令中明确说明。
• 现有局限：
  • 现有基准（如 ALFRED, BEHAVIOR-1K）主要关注静态环境下的规划，缺乏对“隐含前提条件”（Implicit Preconditions）的推理能力。
  • 当遇到未满足的前提条件（如试图将脏衣服放入抽屉，或试图使用被占用的微波炉）时，现有智能体往往无法检测异常，导致执行失败或陷入死循环。
  • 现有的方法缺乏在动态约束下推理“何时不执行某个动作”的能力。
• 目标：评估并提升智能体在动态环境中感知物体状态、推断隐含前提条件并自适应调整动作的能力。

2. 核心方法 (Methodology)

2.1 DynAfford 基准 (The Benchmark)

• 定义：一个基于 AI2-THOR 模拟器的新基准，包含 2,628 个专家演示和 10,106 个自然语言任务标注。
• 动态性设计：
  • 状态注入：在任务初始化时，人为注入“不可用”状态（如：微波炉被占用、容器被使用、物体是脏的）。
  • 任务类型：涵盖 6 种任务类型（拾取、放置、清洁、加热、冷却、堆叠），涉及家电、餐具、织物等。
  • 数据划分：分为“静态”（Static，理想化设置）和“动态”（Dynamic，存在未满足前提条件）两种设置，以及“可见”（Seen）和“不可见”（Unseen）场景划分。
• 评估指标：除了传统的任务成功率（SR）和路径长度加权 SR 外，特别强调目标条件成功率（Goal Condition, GC），因为 DynAfford 的任务目标包含隐含的常识约束（如“放入干净的杯子”）。

2.2 ADAPT 模块 (The Method)

ADAPT 是一个即插即用的决策时推理模块，旨在增强现有规划器的 affordance 感知能力。它包含两个阶段：

• 阶段一：Affordance 状态推理 (Affordance State Inference)

  • 输入：当前观测图像、计划执行的高层动作、目标物体。
  • 机制：
    1. LoRA 微调：使用在 DynAfford 训练集上构建的数据，对 LLaVA-1.5-7B 进行 LoRA 微调，使其能够识别细粒度的 affordance 状态（如“是否干净”、“是否被占用”）。
    2. 多模态上下文学习 (Multimodal In-Context Learning)：构建包含三个图像的提示（参考图 1：可用状态；参考图 2：不可用状态；参考图 3：当前观测），让模型通过视觉对比推理当前物体的可用性。
  • 输出：判断当前动作是否可执行（Available/Unavailable）。

• 阶段二：适用性解析 (Applicability Resolution)

  • 触发：当阶段一判断当前动作不可执行时触发。
  • 机制：不重新规划整个任务，而是利用大语言模型（LLM）根据当前约束推断恢复策略。
    • 如果是临时约束（如微波炉被占用），则执行 Wait（等待） 动作。
    • 如果是持久约束（如衣物脏了），则插入修正子目标（如先执行 Clean 动作）。
  • 执行：一旦约束解除，恢复执行原本被推迟的动作，保持长程任务的一致性。

3. 主要贡献 (Key Contributions)

1. DynAfford 基准：首个专门针对动态 affordance 和常识驱动目标条件的具身 AI 基准，揭示了现有方法在处理未指定前提条件时的严重缺陷。
2. ADAPT 模块：提出了一种统一的决策时推理机制，将 affordance 推理视为潜在前提条件的推断问题，使智能体能够灵活适应动态环境。
3. 领域自适应的重要性：证明了在特定任务领域（Affordance 推理）进行微调的视觉语言模型（LoRA-LLaVA）显著优于通用的商业大模型（如 GPT-4o），强调了任务对齐的视觉 grounding 的重要性。

4. 实验结果 (Results)

• 性能提升：
  • 将 ADAPT 集成到现有的 SOTA 智能体（FILM 和 CAPEAM）中，在动态设置下取得了显著提升。
  • FILM + ADAPT：在未见场景（Test Unseen）中，任务成功率（SR）从 9.34% 提升至 16.18%（相对提升 73.2%），目标条件完成率（GC）提升 34.7%。
  • CAPEAM + ADAPT：同样表现出稳健的提升，特别是在路径长度加权指标上，表明执行效率更高。
• 模型对比：
  • 使用 LoRA 微调的 LLaVA 作为后端比使用 GPT-4o 效果更好。GPT-4o 虽然推理能力强，但在具体的 affordance 状态识别（如判断微波炉是否被占用）上表现不如经过领域微调的专用模型。
• 消融实验：
  • 移除 LoRA 微调或移除多模态上下文学习（MICL）都会导致性能大幅下降，证明两者对于鲁棒的 affordance 推理都至关重要。
• 效率分析：
  • 引入 ADAPT 增加了总任务时间（主要是等待和修正动作的时间），但推理本身的计算开销很低（每次调用约 0.2 秒），且仅在需要时触发，具有实际可行性。

5. 意义与局限性 (Significance & Limitations)

• 意义：
  • 该工作指出了具身智能的一个关键但被忽视的方面：不仅要推理“做什么”，还要推理“何时不做什么”。
  • 为未来研究在动态、非理想化环境中的鲁棒决策提供了新的评估标准和解决方案。
  • 强调了针对特定物理交互任务进行模型微调的必要性，而非单纯依赖通用大模型的零样本能力。
• 局限性：
  • 目前仅基于单视角（Egocentric）观测，在物体被严重遮挡或视角模糊时（如部分遮挡的微波炉），affordance 推理可能出错。
  • 尚未在真实物理机器人上验证，缺乏对物理不确定性和安全约束的建模。

总结：ADAPT 通过引入显式的 affordance 推理机制，成功解决了具身智能体在动态环境中因未满足隐含前提条件而导致的执行失败问题，证明了结合领域微调的视觉语言模型与常识推理在提升具身智能鲁棒性方面的巨大潜力。