Tacit Knowledge Extraction via Logic Augmented Generation and Active Inference
本文提出了一种结合逻辑增强生成与主动推理的神经符号框架,用于从制造等程序性领域提取隐性知识,成功将隐性专业知识转化为形式化、机器可解读的知识图谱,并提升了其完备性与语义质量。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,你正在教一台机器人如何修理一个坏掉的烤面包机。你可以列出一系列步骤:“拔掉插头”、“打开后盖”、“拧下螺丝”。但问题在于:人类专家并不只是照单执行。他们依赖的是隐性知识——那些他们知道却从未言说的内容。
例如,专家知道要以特定角度握持螺丝刀,能凭手感判断螺丝是否“拧得足够紧”而不至于过紧,或者知道用哪一把特定的镊子来夹持微小的弹簧。在视频中,他们从不提及这些,因为对他们而言,这显而易见。但对机器人(或计算机)来说,这些缺失的细节就像一堵堵看不见的墙,阻碍了维修过程的完成。
本文提出了一种新的“神经符号”框架(这是一种将类人人工智能与严格逻辑规则相结合的时髦说法),以解决这一问题。不妨将其想象为一个两步翻译器,能将杂乱无章的真实世界维修视频转化为完美、机器可读的操作手册。
两步翻译器
第一步:“严谨架构师”(逻辑增强生成)
首先,系统扮演一位严谨的架构师。它拥有一份蓝图(称为本体),明确规定了维修过程应如何描述。它不能随意编造;必须将所有内容填入蓝图的框框中。
- 工作原理:人工智能观看视频(或阅读转录文本),并尝试填充蓝图。
- 安全网:由于人工智能被强制遵循蓝图,它不会“幻觉”(即编造虚假的工具或步骤)。如果视频中说“拧下螺丝”,人工智能就知道确切要创建何种“拧螺丝”的对象。
- 局限性:这一步非常擅长捕捉明确说出或展示的内容。但如果专家使用了工具却未提及,或者某一步骤对人类而言显而易见却未被言说,“严谨架构师”就会将其遗漏。蓝图在结构上完美无缺,却缺失了“秘制酱料”。
第二步:“夏洛克·福尔摩斯”(主动推理)
此时,系统的第二部分登场。将这一模块想象成一名侦探,他审视“严谨架构师”那未完成的蓝图,问道:“等等……如果你正在做这个,那你一定在使用那个。”
- 侦探的逻辑:它利用一种称为主动推理的概念。它不只是阅读文字,而是对情境的“隐藏状态”进行推理。
- 观察:视频显示一个人正在拧紧螺丝。
- 隐藏状态推断:“你无法徒手拧紧螺丝。因此,即使镜头没有聚焦,那里一定有一把螺丝刀。”
- 隐性恢复:它推断出缺失的工具、必要的警告以及专家习以为常的细微约束。
- 结果:侦探将这些“隐形”细节重新添加回蓝图中,并明确标记为“推断所得”,让我们知道这些是基于经验的合理推测,而不仅仅是所见内容。
实验:修理电子产品
为了测试这一方法,研究人员并未使用工厂装配线(因为难以获取数据),而是采用了iFixit 维修视频(例如修理 iPhone 或 Game Boy)。这些视频非常理想,因为它们涉及:
- 微小而精密的部件。
- 特定的工具。
- 严格的安全规则。
- 专家执行某些操作却并不总是加以解释。
他们在多种不同的 AI 模型上测试了该系统(有些能“观看”视频,有些仅阅读文本转录)。
他们的发现
- 严谨架构师是安全的:当人工智能仅遵循规则时,它绝不会编造虚假工具。如果它声称使用了某种工具,那该工具肯定出现在视频中。然而,它遗漏了许多仅隐含存在的工具。
- 侦探填补了空白:当他们加入“主动推理”步骤后,系统突然记起了所有缺失的工具和步骤。
- 示例:在转录文本中,声音可能会说“把支架装回去”。严谨架构师看不到任何工具。而侦探会说:“你无法徒手将微小的支架装回去;你需要镊子。”它会将镊子添加到列表中,并附注:“推断得出,因为微小部件通常需要使用镊子。”
- 视频与文本:能够观看视频的 AI 模型比仅阅读文本的模型表现更好,但即使是视频模型也遗漏了“侦探”逻辑能够捕捉到的内容。
- 获胜者:最佳结果来自特定模型(Gemini 2.5 Flash)观看视频,并结合侦探逻辑。它在识别工具和部件方面取得了近乎完美的分数。
为何这很重要
该论文得出结论,这种方法对于知识转移而言是一个巨大的进步。它使我们能够将专家的“未言之智”转化为计算机能够理解、检查并用于教导他人的数字格式。
研究人员目前正在名为KnowledgeX的项目中使用这一方法,以帮助制造业中的知识转移。他们甚至正在构建一个**增强现实(AR)**系统(如智能眼镜),该系统能在真实机器上叠加显示“完美”的机器可读指令,确保工人不会遗漏那些通常导致错误的隐性步骤。
简而言之:他们构建了一个系统,不仅倾听专家说了什么,更理解他们的言外之意,通过逻辑侦探工作填补空白,从而创建出完整且万无一失的指南。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。