Self-Evolving Neuro-Symbolic Skills for Tool-Augmented Spatial Reasoning
本文介绍了 NeSy-Spatial，这是一个通过将工具交互抽象为可重用的、自进化的技能，并通过执行与轨迹分析的闭环过程进行自适应组合与精炼，从而增强空间推理能力的神经符号框架。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图解决一个棘手的谜题，但你不仅仅是用大脑去思考，而是拥有一个装满神奇小工具的工具箱。有些小工具能看到你看不见的东西，有些能瞬间测量距离，还有些能瞬间完成复杂的数学运算。这就是大型视觉语言模型（LVLMs）的世界：这些超级智能的计算机程序能够观察图片并阅读文本，试图理解周围的世界。它们擅长处理通用任务，比如说“那是一只猫”或“天空是蓝色的”。但当涉及到空间推理时——即精确计算某个物体离多远、朝向哪个方向，或者物体在三维空间中如何移动时——它们往往会出错。它们可能会靠运气猜对答案，但在进行真正可靠的精准数学运算和逐步逻辑推理方面仍表现挣扎。
为了解决这个问题，科学家们开始给这些人工智能模型提供“工具”，比如计算器或地图。但问题在于，目前大多数方法要么过于混乱，要么过于僵化。有些方法让 AI 随心所欲地挑选工具，就像一个孩子从玩具箱里乱抓玩具一样，这经常导致错误（比如在还没找到物体之前就尝试测量距离！）；而另一些方法则使用固定的、预先写好的脚本，就像一个无论音乐是什么都跳着完全相同舞步的机器人，在简单任务上浪费时间，在复杂任务上却力不从心。大问题在于：我们如何教会 AI 从自身的错误中学习，建立一个聪明的策略库，并将这些策略应用到新问题中，就像人类那样？
这篇论文介绍了 NeSy-Spatial，这是一个巧妙的新型框架，它充当了这些 AI 模型的“自我进化学徒”。把它想象成一个“技能健身房”，在这里，AI 不仅仅是记忆答案，而是学习如何“做事”。该系统构建在两种类型的“技能”之上：工具使用技能和几何技能。
- 工具使用技能就像是使用小工具的食谱。AI 不再是猜测下一步该选哪个工具，而是学习一种结构化的工作流：“首先，使用相机小工具来观察场景。接下来，使用检测器小工具来找到红球。最后，使用数学小工具来测量距离。”这些技能确保了 AI 不会跳过步骤或以错误的顺序使用工具。
- 几何技能则像是专门的数学公式。一旦 AI 获取了数据（例如红球的位置），它不会仅仅靠猜测距离，而是调用一段预先写好的、经过验证的代码块，这段代码能够精确计算出三维空间中两点之间的距离。
NeSy-Spatial 的神奇之处在于它会进化。它不仅仅是使用静态的技能列表；它在学习并成长。当 AI 解决一个问题时，它会保存这段历程。如果成功了，它会分析路径以查看哪些环节运作良好，并将该路径保存为一个新的“技能”。如果失败了，它并不会直接丢弃这次尝试；它会研究为什么失败。是因为忘记先找到物体了吗？还是数学计算出错了？然后，它会更新自己的库，修剪（剔除）掉糟糕或无用的技能，并精炼优秀的技能。这就像是一个电子游戏角色在升级：每当他们击败一个 Boss 或掉入一个陷阱时，他们都会学会一个新招式或改进旧招式，从而在下一关表现得更好。
研究人员在三个不同的挑战性空间推理基准测试（MMSI、MindCube 和 OmniSpatial）上测试了这个系统。他们发现 NeSy-Spatial 始终优于其他方法。它不仅能更频繁地获得正确答案，而且使用工具也更加高效，避免了不必要的步骤并减少了错误。例如，在一个数据集中，与现有的最佳方法相比，它的整体准确率有了显著提升。该系统表明，通过将知识组织成可重用的、自我修正的技能，它处理复杂空间谜题的能力远超那些仅仅尝试猜测或遵循僵化脚本的模型。
简而言之，NeSy-Spatial 教会了 AI 模型不再像一个乱抓工具的混乱小孩，而更像是一位拥有组织有序且不断完善的工具箱的资深匠人。它证明了，当 AI 智能体能够从自身经验中学习、精炼策略并适应新情况时，它们在理解物理世界方面会变得更加可靠。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。