AI-based worker guidance in assembly and disassembly operations using multimodal ego/exo-centric data capture and structured task knowledge
本文提出了一种以数据为中心的方法，该方法利用多模态的第一视角与第二视角视频及解说，从专家演示中提取结构化任务知识，从而实现针对组装与拆卸操作的高效程序化文档编制与上下文感知引导。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在工厂车间的静谧嗡鸣声中，一位熟练的技术人员正在操作一台复杂的机器。他们准确地知道先松开哪颗螺丝，如何绕过缠绕的电缆而不损坏它，以及当零件缺失或磨损时该如何应对。这些知识蕴藏在他们的双手和脑海中，是通过多年的实践积累而成的。几十年来，工程师们一直试图教会机器人进行这类工作，但机器在面对拆解过程中的混乱与不可预测性时却显得力不从心。与从零开始组装产品（每个部件都符合完美的计划）不同，拆解旧设备往往意味着要处理生锈、断裂的卡扣以及随时间推移而发生位移的零件。传统的自动化依赖于僵化的、预设好的动作，当现实世界不按剧本演进时，它们往往会失效。为了解决这个问题，研究人员正转向一种不同类型的智能：一种能够通过观察和聆听人类专家来学习的系统，不仅捕捉他们做了什么，还捕捉他们为什么要这样做。
来自弗劳恩霍夫协会（Fraunhofer Institute）和柏林工业大学的研究团队开发了一种全新的方法，用于捕捉这种专家知识并将其转化为工人的指南。他们的方法专注于拆解废旧电气电子设备（如旧电脑）这一艰巨任务。该系统并非试图强迫机器人自行摸索每一个步骤，而是记录一名人类专家佩戴智能眼镜并大声说出其思考过程的过程。该设置使用了两个摄像头：一个安装在专家的眼镜上，以捕捉其视角所见；另一个是位于房间内的固定摄像头，用以展示整个工作空间。当专家工作时，他们会描述自己的动作，解释其推理逻辑，并指出潜在的错误。这创造了一个丰富的记录，将视觉所见与语言解释结合在一起。
研究人员随后利用先进的计算机程序将这段录像转化为任务的结构化地图。首先，系统将语音转录为文本，并将每一句话与所说的精确时刻相链接。一个强大的语言模型会阅读这些转录文本，以理解工作的逻辑。它能判断哪些步骤必须在其他步骤之前完成，哪些步骤可以按任意顺序进行，以及哪些部分是相互独立的。其结果是一个视觉流程图，或称之为“前序图”（precedence graph），展示了动作的正确序列。这张地图不仅仅是一份指令清单；它理解步骤之间的关系。例如，它知道必须先拆除外壳才能触及特定的螺丝，但同时也知道内部的两个不同组件可以按任何顺序取出。
一旦创建了这张地图并经过人工校验以确保其正确性，系统便开始学习识别视频中的动作。它将录像切分为短小的片段，每个片段都贴上了正在执行的特定步骤标签。这使得计算机能够理解工作的视觉细节，例如手是如何握持工具的，或者组件是如何被拉出来的。随后，系统便准备好实时协助工人。当一名工人执行任务时，系统会观察其视频流，识别其正在进行的动作，并根据地图检查其进度。如果工人进展顺利，系统会保持静默。如果工人犹豫不决或犯错，系统可以建议下一个有效的步骤，或者展示一段专家正确执行该动作的短视频。
团队在拆解一台工作站电脑的任务上测试了这种方法，这项任务涉及许多相互作用的部件和工具。他们发现，仅凭一次专家演示，系统就能成功提取出工作的逻辑结构。当使用四名不同专家的录像时，系统的可靠性进一步提升，在识别动作和建议正确下一步骤方面表现得更加出色。在测试中，系统以极高的准确度识别了步骤序列及其依赖关系。它能够引导工人完成整个过程，并提供符合当前情况的建议。结果表明，即使只有一个示例，系统也能创建一个有用的指南；而增加更多示例则使其具备了处理不同人执行任务方式差异的鲁棒性。
这项工作为那些需要维修、回收或拆解复杂产品的行业指明了一条路径。通过捕捉熟练工人的隐性知识并将其转化为数字指南，工厂可以在无需为每个机器人动作编写程序的条件下，为经验较少的工人提供支持。该系统并非取代人类，而是作为一个知识渊博的伙伴，进行观察、理解并在需要时提供帮助。研究人员认为，这种方法可以扩展到帮助机器人学习这些任务，从而允许机器基于人类演示来规划长序列动作。目前，重点仍在于帮助人类工人应对现代制造业的复杂性，确保宝贵的技能不会流失，而是得以分享和传承。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。