🤖 AI

LANTERN: LLM-Augmented Neurosymbolic Transfer with Experience-Gated Reasoning Networks

本文提出了 LANTERN，这是一个统一的神经符号迁移学习框架，它利用大语言模型生成的任务自动机、语义策略聚合以及自适应门控机制，显著提升了多源强化学习场景中的样本效率和鲁棒性。

原作者： Mahyar Alinejad, Yue Wang, Amrit Singh Bedi, George Atia

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Mahyar Alinejad, Yue Wang, Amrit Singh Bedi, George Atia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人如何完成一项复杂的任务，比如穿越地牢以击败恶龙。在过去，以这种方式教导机器人，就像只让一个孩子在一辆特定类型的车、一条特定的道路上练习，从而试图教会他开车。如果机器人是在一条安静的小街上学习的，那么当被要求驶上繁忙的高速公路时，它可能会完全迷失方向。

本文介绍了LANTERN，这是一种教导机器人的新方法，它就像一个超级智能的多语言导师系统。LANTERN 不依赖单一的教师或单一类型的经验，而是从许多不同的“教师”（源任务）中汲取智慧，并智能地找出如何融合它们的建议。

以下是 LANTERN 的工作原理，分为四个简单步骤：

1. “翻译器”（LLM 生成的地图）

通常，要教会机器人完成一项复杂任务，人类专家必须绘制一张详细的地图（称为“确定性有限自动机”或 DFA），展示机器人必须采取的每一个步骤。这既缓慢，又要求人类具备专家级的知识。

LANTERN 的诀窍： 它利用大型语言模型（类似于非常先进的人工智能聊天机器人）来阅读任务的简单句子描述（例如“先找到钥匙，然后找到盾牌，最后找到剑”），并自动为机器人绘制地图。

类比： 这就像不是让人类建筑师花费数周时间绘制蓝图，而是你只需告诉一个智能 AI：“建造一座带厨房和两间卧室的房子”，它就会立刻将蓝图交给你。

2. “智慧宝库”（多源聚合）

在过去，机器人只能从一个其他任务中学习。如果你想教机器人“收集木材”，你只能使用已经学会“收集木材”的机器人。如果你尝试使用一个学会了“收集岩石”的机器人，其建议可能是无用或令人困惑的。

LANTERN 的诀窍： 它同时审视许多不同的教师。它会问：“‘收集木材’任务与‘收集岩石’任务有任何相似之处吗？”

魔法所在： 它使用“语义嵌入”（一种将词语转化为空间中数学点的方法）。它意识到，尽管“木材”和“岩石”不同，但“收集材料”这一概念是相似的。
类比： 想象你正在学习制作一道特定的炖菜。与其只询问一位只会做炖菜的厨师，不如去询问一位面包师、一位烧烤大师和一位汤品厨师。LANTERN 会审视他们的建议并说：“面包师懂得混合食材（这对炖菜底料很好），烧烤大师懂得掌握时机（这对火候很好）。我将根据它们当前的相关性，将它们的建议融合在一起。”

3. “信任计”（双波动门控）

这是最关键的部分。如果机器人盲目跟随一个错误的教师，它就会失败。LANTERN 内置了一个“信任计”，用于决定在任何给定时刻听取多少教师的建议。它会检查两件事：

经验波动性： 机器人此刻是否感到困惑？（它是否正在犯大错？）如果是，它会更信任教师。
语义波动性： 教师的建议是否真的与这一特定时刻相关？如果机器人正在“收集木材”，而教师却在谈论“烤面包”，信任计就会下降。

类比： 想象一名正在参加考试的学生。
- 如果学生知道答案（低波动性），他们会忽略老师，写下自己的答案。
- 如果学生卡住了且感到困惑（高波动性），他们会看向老师。
- 关键在于： 如果老师谈论的是完全不同的科目（语义对齐度低），即使学生感到困惑，也会忽略老师。LANTERN 只在正确的时间听取正确的教师的建议。

4. 结果：学得更快、更聪明

该论文在两个主要世界中测试了 LANTERN：

地牢任务： 一个机器人在迷宫中导航，收集物品并与恶龙战斗。
盲眼工匠： 一个机器人收集资源（如木材或矿石）以制作物品。

研究发现：

速度： LANTERN 的学习速度比以前的方法快 40% 到 60%。它需要更少的尝试就能掌握任务。
鲁棒性： 即使“教师”来自截然不同的世界（例如，用来自农业机器人的建议来教导采矿机器人），LANTERN 也不会感到困惑。它成功挑选出建议中有用的部分，并忽略了其余部分。
无需人工干预： 它不需要人类绘制地图；AI 会自动完成。

总结

LANTERN 就像一个拥有数千位不同专家图书馆的学生。当学生面临新挑战时，他们不会仅仅复制某一位专家。相反，他们会：

请求 AI 绘制目标地图。
扫描他们的图书馆，寻找做过类似事情的专家。
仅在感到困惑时，且仅当专家谈论正确主题时，才听取这些专家的建议。

这使得机器人能够比以往任何时候都更快、更可靠地学习复杂、长期的任务，而无需人类对每一步进行微观管理。

技术摘要：LANTERN——基于经验门控推理网络的大语言模型增强神经符号迁移

问题陈述

强化学习（RL）通常在样本效率方面面临困难，特别是在涉及长视野、非马尔可夫目标且需要结构化时序推理的任务中。尽管神经符号方法（将确定性有限自动机（DFA）等符号表示集成到 RL 中）提高了样本效率，但现有的迁移学习方法面临三个关键局限：

人工规范：大多数方法需要专家提供的 DFA 或时序逻辑公式，这些难以获取。虽然存在语法推断方法，但它们需要结构化的轨迹数据，不适用于稀疏或探索性的强化学习。
单一来源依赖：当前的迁移方法（例如自动机蒸馏、策略蒸馏）通常依赖单一源任务。当源任务与目标任务具有异构目标或仅部分对齐的结构时，这会限制其有效性。
固定集成机制：现有框架使用预定的加权方案（例如指数衰减）或静态超参数，无法在源相关性随状态或时间变化时进行自适应调整。

本文解决了在多个源任务拥有不同且部分相关目标的场景下，多源神经符号迁移的挑战。在此类体制中，直接重用单一源策略或自动机是不够的；相反，系统需要语义对齐以及跨异构任务的结构化知识聚合。

方法论：LANTERN 框架

LANTERN（基于经验门控推理网络的大语言模型增强神经符号迁移）是一个统一框架，旨在通过五个不同的阶段克服上述局限：

1. 大语言模型增强的自动机生成

LANTERN 利用大语言模型（LLM）直接从自然语言任务描述（ $T_{desc}$ ）生成目标 DFA（ $D_{tgt}$ ），而非依赖人工规范。

过程：结构化提示指令 LLM 提取子目标，定义代表里程碑的自动机状态，指定确定性转换，并为每个状态生成自然语言语义描述。
输出：一个目标 DFA 以及自动机状态到语义描述的映射，这构成了跨任务对齐的基础。

2. 语义嵌入与邻域构建

为了实现在具有不同目标的任务之间进行迁移，LANTERN 构建了一个共享的语义嵌入空间。

嵌入：使用固定的文本嵌入模型（例如 sentence-BERT），将自动机状态的自然语言描述（来自源任务和目标任务）映射到向量空间 $\phi(\omega) \in \mathbb{R}^d$ 。
相似性与邻域：通过余弦相似度计算目标状态 $\omega_{tgt}$ 与源状态 $\omega_{src}^k$ 之间的语义相似度。对于每个目标状态，通过从所有 $K$ 个源任务中选择最相似的 $M$ 个源状态，形成“语义邻域”（ $N_M$ ）。
加权：聚合权重基于相似度得分进行归一化，确保语义对齐的状态对指导的贡献更强。

3. 多源知识聚合

LANTERN 在两个维度上聚合来自语义邻域的指导：

战略指导（自动机层面）：聚合代表来自源任务的高级任务进展的蒸馏 Q 值（ $Q_{k,AD}$ ）。聚合值 $Q_{agg}^{AD}$ 是源战略值的加权和。
战术指导（策略层面）：聚合来自对齐源状态的教师策略（ $\pi_{teacher}^k$ ），以提供动作层面的指导。

4. 双波动性经验门控

为了自适应地平衡学生学习与教师指导，LANTERN 引入了一个组合信任门 $\tau$ ，该门结合了两种波动性度量：

经验波动性（ $V^{exp}$ ）：跟踪学生学习的时序差分（TD）误差波动性。高波动性表明不稳定性，倾向于教师指导。
语义波动性（ $V^{sem}$ ）：衡量目标状态与其最佳匹配源状态（基于相似度）之间的不对齐程度。高语义波动性表明对齐度差，降低对源的信任。
机制：最终信任系数 $\tau = \tau^{exp} \cdot \tau^{sem}$ 是乘积关系。仅当学习不稳定且源在语义上对齐时，教师的影响才强。这防止了对齐度差的区域出现负迁移。

5. 统一学习更新

学生在乘积 MDP（ $M_{tgt} \times D_{tgt}$ ）上学习，使用修改后的 Q 更新规则：
$\Delta Q = \alpha [ \tau \cdot \delta_t + (1 - \tau) \cdot G_{multi} ]$
其中 $\delta_t$ 是标准 TD 误差， $G_{multi}$ 是聚合的多源指导（结合战略奖励和战术策略差异）。当 $\tau \to 1$ 时，更新依赖于标准 TD 学习；当 $\tau \to 0$ 时，更新依赖于聚合的教师指导。

主要贡献

多源神经符号迁移的表述：本文表述了一种源任务具有异构目标的场景，这需要语义聚合而非直接重用单一源。
LANTERN 架构：开发了一个集成基于 LLM 的自动机生成、语义多源聚合和自适应双波动性门控的框架。
实证验证：证明了在多样化领域（资源管理和导航）中样本效率的显著提升，同时保持了对对齐度差的源的鲁棒性。

实验结果

该框架在两个领域进行了评估：地牢探险（序列导航）和盲工匠（具有库存约束的资源管理）。源任务包括具有不同目标的任务（例如：救援 vs. 寻宝；采矿 vs. 耕作）。

样本效率：与基线相比，LANTERN 在样本效率上实现了40–60% 的提升，这些基线包括单源迁移方法（自动机蒸馏、CADENT、LARM）和“无迁移”基线。
鲁棒性：即使源任务具有不同的结构且与目标仅部分语义重叠，系统仍保持鲁棒。
消融研究：
- 多源 vs. 单源：聚合来自多个源的部分知识，比仅使用最相似的单一源提高了26%。
- 双波动性 vs. 仅经验：结合语义门控防止了对齐度差区域的负迁移，实现了18% 的提升。
- 战略 + 战术 vs. 仅战略：结合两种指导类型提供了31% 的提升，突显了粗略任务分解与精细动作指导之间的协同作用。

意义与主张

本文主张，LANTERN 证明了多源、自适应加权的神经符号迁移可以显著提高符号强化学习设置中的可扩展性和鲁棒性。通过摆脱人工规范和单一来源依赖，该框架使智能体能够利用来自异构任务的互补知识。

作者强调，双波动性门控机制对于防止负迁移至关重要，它允许系统在源对齐度差时“优雅降级”。结果表明，在共享语义嵌入空间中对齐自动机状态，提供了一种在具有不同资源、布局和任务语义的域之间迁移结构化知识的有效机制。

作者指出的局限性：

依赖 LLM 质量进行 DFA 生成。
由于使用表格 Q 学习，存在可扩展性限制。
需要动作空间对齐。

确定的未来工作方向包括：利用反馈进行自动机细化、用于连续域的深度函数近似、学习到的动作映射，以及持续的多源迁移。