Longitudinal Robot Learning from Demonstration with Care Providers in a Home Environment

技术摘要：居家环境下护理人员的纵向机器人示教学习

问题陈述
示教学习（Learning from Demonstration, LfD）允许非专家用户在无需显式编程的情况下教授机器人新技能。然而，目前针对非专家进行的 LfD 可用性评估主要是在受控的实验室环境中进行的，且通常有机器人实验员在场。这导致在理解非专家最终用户在缺乏实时专家反馈、处于非结构化且动态的家庭环境时所面临的障碍方面存在空白。此外，尽管先前的研究表明示教者会在多次会话中不断进步，但目前仍缺乏关于非专家（特别是护理人员）在现实家庭场景中如何随着时间推移适应教授辅助任务的纵向数据。

方法论
作者提出了一项在 Georgia Tech Aware Home（一个真实的家庭环境）中进行三次访问的人类受试者实验。该研究的目标人群是护理人员（包括护士、治疗师等正式护理人员，以及家属等非正式护理人员），他们此前均无机器人或计算机科学经验。

• 系统架构：

  • 感知： 系统处理来自 Intel RealSense 相机的 RGB-D 流，使用 YOLOE 进行目标检测与分割。深度测量被反投影为 3D 点云，并利用迭代最近点（ICP）算法针对预定义形状进行配准，以估计物体位姿。
  • 学习算法： 机器人利用笛卡尔概率运动基元（ProMPs）对末端执行器和追踪物体的位姿进行处理。选择 ProMPs 是因为与行为克隆（Behavior Cloning）或视觉-语言-动作（VLA）模型相比，它们能够从有限的示教中学习，训练速度快，且对物体位姿变化的鲁棒性更强。
  • 交互界面： 一个交互式界面允许参与者将任务分解为低层级技能、进行示教并创建技能“配方”（recipes）。

• 实验条件：
  研究采用被试间设计，分为两种条件：

  1. PT+AF 条件： 参与者在第 1 次访问中接受预训练（Pre-Training, PT），尝试进行任务分解并观看最优分解方案及专家示教视频。随后，他们在第 2 次和第 3 次访问中接受自适应反馈（Adaptive Feedback, AF）。
  2. AF 条件： 参与者跳过第 1 次访问，仅在第 2 次和第 3 次访问中接受 AF。

• 反馈机制 (AF)：

  • 基础模型（FM）反馈： 提供关于任务分解泛化性的指导。一个迭代澄清模块帮助新手定义具有足够细节的领域和任务。
  • 真实机器人重放（RRR）： 机器人执行学习到的策略并在物理环境中运行，供用户观察。
  • 增强现实（AR）反馈： 机器人在 AR 中执行策略，允许用户可视化性能和泛化能力，而无需承担物理风险或耗时的交互。

• 流程：

  • 第 1 次访问： PT 条件的参与者在预定义领域（如堆叠保鲜盒）中教授任务。
  • 第 2 次访问： 参与者在新的领域中教授额外任务，并可以使用所有三种 AF 类型。
  • 第 3 次访问： 参与者定义自定义领域和任务，并可以使用 AF。
  • 指标： 研究评估任务完成百分比、预测性能与实际性能的一致性，以及用户体验指标（可用性、接受度、习得信任度和工作量）。统计分析将使用带有混合效应的多重线性回归。

核心贡献

1. 实验设计： 本文提出了一种人类受试者实验，旨在表征在家庭环境下部署 LfD 系统时（特别是利用预训练和自适应反馈）面临的挑战与机遇，其目标用户为非专家最终用户。
2. 数据集发布： 作者提议开源一个包含护理人员向机器人教授辅助任务的多次访问数据集。该数据集包括自然语言描述、点云、末端执行器/关节轨迹、音频和视频片段（第一视角和第三视角）。其目的是补充现有的如 MIME 和 RoboPro 等数据集，提供更真实的、多轮次的辅助任务数据。

结果与产出
由于本文概述的是一项拟定的研究和数据收集框架，因此并未报告已完成实验的最终统计结果或具体的性能指标。相反，“产出”部分详细说明了预期的交付成果：

• 发布纵向数据集，以实现对交互式机器人学习算法的标准基准测试。
• 报告与三个研究问题（任务性能差异、预测一致性和用户体验）相关的真人因素研究结果。
• 为在家庭环境中部署用于辅助任务的 LfD 系统的研究人员和从业者提出设计指南，特别是针对护理人员和多轮次数据收集的情况。

意义
本文通过解决 LfD 研究的“生态效度”问题来体现其重要性。通过从实验室转向真实的家庭环境，并专注于针对护理人员的纵向研究，本研究旨在识别非专家在缺乏实时专家反馈的情况下教授机器人时所面临的具体障碍。由此产生的数据集和设计指南旨在促进开发更鲁棒、更个性化且更易于使用的辅助机器人，使其能够适应非结构化的人类环境。