Human-in-the-Loop Uncertainty Analysis in Self-Adaptive Robots Using LLMs

本文介绍了 RoboULM，这是一种人机协同的方法与工具，利用大语言模型帮助从业者在设计阶段系统地识别、分析和缓解自适应性机器人的不确定性，其有效性已通过来自四个用例的工业从业者的积极反馈得到验证。

要点

想象一下，你正在建造一个机器人，它需要穿梭于繁忙的城市、修理笔记本电脑，或驾驶船只。这个世界混乱、不可预测，且充满意外。如果你的机器人没有为这些意外（论文中称为“不确定性”）做好准备，它可能会撞毁、损坏物品或陷入困境。

问题在于，找出所有可能出错的状况极其困难。这就像在建造房屋之前，试图列出房屋可能着火的每一种方式。通常，工程师必须依靠经验进行猜测，而这往往会遗漏隐藏的危险。

本文介绍了一种名为RoboULM的新工具，旨在帮助解决这一问题。可以将 RoboULM 想象成一位超级聪明、不知疲倦的助手，它在机器人建造之前，协助工程师头脑风暴出所有可能的“如果……会怎样”的情景。

以下是其工作原理，使用简单的类比说明：

1. “总清单”（分类法）

首先，研究人员创建了一个庞大且有条理的“总清单”，称为UncerTax。

• 类比：想象一本机械师手册，它不仅列出汽车零件，还将所有可能出错的状况进行分类：是轮胎瘪了（硬件）？是地图令人困惑（软件）？还是突降暴雨（环境）？
• 作用：这份清单帮助机器人的工程师与计算机助手使用同一种语言。它确保他们不仅思考“损坏的零件”，还会考虑“混乱的数据”或“伦理问题”。

2. “头脑风暴伙伴”（大语言模型）

该工具使用大语言模型（LLM），这就像一个知识渊博但有时话痨的人工智能。

• 类比：想象你试图在干草堆里找一根针。你请一位朋友（AI）帮忙。如果你只说“找到那根针”，他们可能会错过。但如果你给他们一个具体的策略，他们就会做得更好。
• 作用：RoboULM 不只是让 AI“猜测”。它基于“总清单”，给 AI 提供一套具体的指令（提示）。它告诉 AI：“查看机器人的需求，并使用这 12 个具体类别，准确告诉我风险在哪里。”

3. “人在回路”（优化环节）

这是最重要的一环。AI 不会被留在那里独自工作；人类始终掌握方向盘。

• 类比：将 AI 想象成一位热情但偶尔会犯错的初级实习生。你（资深工程师）审查他们的工作。
  • 评分：你给实习生打分。“你‘安全’部分答对了（10/10），但你的‘硬件’猜测很弱（3/10）。再试一次。”
  • 示例：你说：“记得那次机器人滑倒在湿地板上吗？在猜测风险时想想那个情况。”
  • 清单：你指着“总清单”说：“你漏掉了‘环境’类别。回去把它补上。”
• 作用：该工具让人类工程师能够不断打磨 AI 的回答，直到完美。这是一个来回对话的过程，而非一次性的命令。

4. 现实世界测试

研究人员用 16 位真实专家测试了该工具，这些专家涉及四种不同类型的机器人：

1. 自主移动机器人（如仓库中的配送机器人）。
2. 工业拆解机器人（拆解笔记本电脑的机器人）。
3. 协作制造机器人（在工厂中与人类并肩工作的机器人）。
4. 自主船舶（自动驾驶船只）。

结果：

• 专家们认为该工具非常有用且易于理解。
• 他们喜爱结构化的提示（给予 AI 的清晰指令）。
• 他们发现迭代优化（能够给 AI 评分并要求其结合示例重试）是最有帮助的部分。
• 专家们认为，该工具帮助他们发现了原本可能遗漏的风险，使机器人在真正投入现实世界之前更加安全。

总结

简而言之，RoboULM是一个数字工作坊，人类工程师与智能 AI 在此协同工作。人类提供经验和最终判断，而 AI 则充当强大的引擎，扫描庞大的“总清单”以发现潜在危险。通过在一个包含提问、检查和优化的循环中协同工作，他们可以构建出更安全、更可靠的机器人，以应对不可预测的现实世界。

技术摘要

技术摘要：基于大语言模型的自适应性机器人中的人机回环不确定性分析

问题陈述
自适应性机器人（SARs）在动态且不可预测的环境中运行，未得到妥善处理的 uncertainties（不确定性）可能导致安全违规和运行故障。虽然在设计阶段早期识别不确定性比部署后补救更具成本效益，但系统地分析这些不确定性仍然是一项重大挑战。现有方法通常依赖直觉、过往经验或静态分类法，这些方法仅能揭示有限的不确定性子集，且难以跟上不断演进的机器人技术以及大语言模型（LLMs）的集成步伐。核心问题在于缺乏一种系统化、严谨且可扩展的方法，供从业者在设计阶段探索和分类复杂自适应性机器人中的不确定性。

方法论：RoboULM
为解决这一问题，作者提出了 RoboULM，这是一种人机回环方法论及工具，旨在支持从业者利用大语言模型系统地探索不确定性。该方法论整合了三个新颖组件：

1. 不确定性分类法（UncerTax）： 基于四项工业案例研究推导并经从业者验证的结构化不确定性分类。UncerTax 在 12 个维度上组织不确定性：性质（静态/动态）、类型（认知性/偶然性）、阶段（设计/开发/测试/运行）、时间持续期、发生来源（硬件/环境/软件）、适应来源、范围（局部/全局）、风险严重程度、受影响的属性、传播模式、数据特征以及伦理影响。
2. 大语言模型驱动的探索： 该工具利用大语言模型对系统需求进行推理并识别不确定性。它采用四种特定的提示策略：
   • 基于角色的提示： 建立以角色为导向的上下文。
   • 基于评分标准的提示： 纳入人工分配排名以进行定性优化。
   • 少样本提示： 提供示例以基于经验的指导。
   • 本体约束提示： 利用 UncerTax 元素引导模型。
3. 迭代优化工作流： RoboULM 通过三步流程运行：
   • 上下文理解： 用户提供系统需求和角色定义；大语言模型总结其对机器人上下文的理解。
   • 初始查询： 用户提出与不确定性相关的问题。大语言模型以结构化输出回应，该输出根据 12 个 UncerTax 维度进行分类，并为每一项提供推理依据。
   • 迭代优化： 如果初始回复不满意，用户通过以下三种方法之一优化输出：
     • 基于排名的优化： 用户对回复片段进行评分（1–10 分），以突出需要改进的领域。
     • 基于示例的优化： 用户提供具体的现实世界场景以澄清预期的解释。
     • 分类法引导的优化： 用户选择特定的分类法元素以引导大语言模型的推理。

该工具实现为 Web 应用程序（React 前端，Express 后端），使用 Gemini 2.5 Flash 模型（因其混合推理能力和大上下文窗口而被选用），但也兼容 ChatGPT 和 Llama 等其他模型。

主要贡献

• UncerTax： 专为自适应性机器人设计的全面不确定性分类法，详细阐述了 12 个维度上的识别方法、来源、影响及缓解策略。
• RoboULM 工具： 一个功能原型，将人机回环不确定性分析付诸实践，结合了结构化提示与迭代优化能力。
• 提示策略： 一套先进的提示技术（基于排名、基于示例和基于分类法引导），旨在迭代优化大语言模型生成的不确定性分析。

评估与结果
作者在四个工业用例中，对 16 名从业者（包括研究人员、软件工程师和机器人工程师）评估了 RoboULM。这些用例包括：自主移动机器人（AMR）、工业拆解机器人（IDR）、协作制造机器人（CMR）和自主船舶（AV）。

• 可用性： 该工具通常被认为有用且易于理解。AMR 案例研究获得了最高评分（效用和理解度的中位数均为 4.5/5）。
• 功能偏好： 结构化提示 是最受一致重视的功能（平均分：4.25，前两项得分：87.5%）。迭代优化（第 3 步）被参与者认定为最有帮助的方面。
• 优化方法： 基于排名的优化使用频率最高，且被认为简单直接。当参与者能够提供相关示例时，基于示例的优化获得了高度评价。基于分类法引导的优化受到部分参与者（特别是在 CMR 和 AV 案例中）的较少青睐，原因是识别相关分类法元素存在挑战，且大语言模型偶尔会专注于解释分类法而非优化回复。
• 交互日志： 大多数参与者完成了任务，探索了多个不确定性问题。分析证实，参与者涵盖了广泛的不确定性来源（环境、硬件、软件、人类）和影响。

意义与主张
本文主张 RoboULM 证明了利用大语言模型对复杂机器人进行系统性不确定性分析的实用性。研究结果表明，将结构化提示与人工引导的迭代优化相结合，使从业者能够比传统方法更全面地探索不确定性。作者将 RoboULM 定位为解决自适应性机器人中严格不确定性分析挑战的可行方案，特别是通过利用大语言模型的推理能力，同时通过分类法和优化循环保持人工监督。

作者在提出主张时保持谦逊，指出这项工作呈现的是一个“首个工作原型”和一项可用性研究。他们承认由于样本量（16 名参与者）限制，外部有效性存在局限性，但认为工业案例和参与者角色的多样性加强了研究结果。未来的工作计划纳入参与者建议的功能，并在更多的机器人案例和大语言模型上评估该工具。