Contextual encoding of states and indices for episodic memories make goal-directed action selection flexible, transparent, and efficient

当我们面对一个新问题时，我们的大脑并不仅仅是进行数字运算来寻找最佳解决方案。相反，它们会回溯过去，调取有关类似情况的具体记忆来指导下一步行动。这种回忆相关经验并根据经验解释自身选择的能力，是人类智能的一个标志。几十年来，科学家们一直试图构建能够模仿这种灵活性的人工系统，但大多数成功的方法都依赖于将海量数据存储为复杂的数学形式，这些形式难以解释且需要巨大的计算能力。当游戏规则发生变化或出现新目标时，这些系统往往难以应对，被迫从头开始学习。研究人员面临的挑战在于，如何创造一个能够快速学习、能瞬间适应新约束条件，并能用通俗语言解释其决策，同时还能在小型、节能设备上运行的系统。

格拉茨理工大学的一组研究人员开发了一种名为“情景认知图”（Episodic Cognitive Map，简称 ECM）的新方法，它走了一条不同的道路。ECM 不尝试将所有知识压缩成抽象的数字，而是像人类大脑一样，保留一份详细的经历日记。该算法通过进行随机游走来探索环境，并将所走的每一步都记录为一段独特的记忆。这个系统的独特之处在于它存储和使用这些记忆的方式。它不仅记得自己去过哪里，还将访问过的每个位置与其参与的具体旅程联系起来。如果系统需要从 A 点移动到 B 点，它不会计算每条可能路径的距离或价值。相反，它会查看自己的往昔旅程库，并询问：“我之前的哪些行程同时包含了现在的地点和我想去的目的地？”这个问题的答案直接指向了最佳的下一步行动。

研究人员在模拟复杂决策任务的环境中测试了这一想法，包括包含数百个位置的地图以及行动结果具有不确定性的情况。在这些测试中，ECM 算法表现出了惊人的效率。它学会了从任何起点导航到任何目标，其速度和准确度足以媲美更为复杂的人工智能方法。至关重要的是，它仅通过记忆细胞与决策神经元之间的简单二进制连接就实现了这一点。这意味着该系统不需要进行繁重的数学计算，也不需要存储高精度的数字。它可以学习一个新环境，解决导航问题，并通过指向支持其选择的具体过往经验来解释其选择，且无需在目标改变时重新学习任何内容。

该系统的力量在于其瞬间适应的能力。在许多人工智能模型中，改变目标或增加新的安全规则需要对整个系统进行重新训练，这个过程可能需要数小时或数天。然而，ECM 算法可以在一瞬间调整其行为。如果一条路径被封锁或引入了新的安全约束，系统只需过滤其记忆库，忽略涉及被封锁路径或不安全区域的记忆即可。然后，它根据剩余的有效记忆选择一条新路线。这种灵活性使其能够处理复杂场景，例如在某些街道封闭的城市中导航，或避开高风险区域，而无需停下来重新学习地图。

要理解其运作方式，请想象该系统构建的不是关于距离的地图，而是关于连接的地图。当系统探索一个新区域时，它会创建每一段旅程的记录。该区域的每个位置都会被标记上它曾出现在哪些特定旅程中。当系统需要向目标移动时，它会激活与该目标相关的记忆。这些记忆随后会点亮那些在往昔旅程中频繁与目标共同出现的地点。系统只需选择那个与目标连接最强的地点所对应的行动即可。这一过程如此直接，以至于绕过了复杂的计算。系统不需要知道每个未来状态的价值；它只需要知道哪些过去的经验将现在与期望的未来联系在一起。

研究人员还探索了该系统如何随着时间的推移实现自我提升。他们发现，通过偶尔用源自成功规划尝试的新记忆来替换旧的、较不有用的记忆，系统可以在不增加内存大小的情况下优化其内部地图。这个被称为“递归自我改进”的过程，使得算法在获得更多经验的过程中，能够变得更高效地寻找短路径。即使在环境不可预测（即行动有时会导致意外结果）的情况下，系统仍能保持寻找可靠路径的能力。它通过根据记忆导致成功的频率来衡量记忆权重，从而学习一种平衡风险与回报的策略。

这项工作的最重要发现之一是，该系统可以完全透明地解释其决策。因为每一个选择都是基于特定的过往经验，系统可以展示哪些记忆导致了特定的行动。如果人类询问系统为何选择某条路径，它可以指出其历史记录中哪些具体的旅程让那条路径看起来很有前景。这与许多现代人工智能系统形成了鲜明对比，后者通常是“黑箱”，其决策背后的推理隐藏在复杂的数学层之中。ECM 算法提供了一种构建不仅有效而且可理解、可信赖的智能机器的方法。

这项研究的影响超出了导航领域。ECM 算法背后的原理暗示了一种构建轻量级、高能效且能在传感器或机器人等小型设备上运行的人工智能的新途径。由于该系统依赖于简单的二进制连接而非复杂的浮点运算，因此它可以实现在功耗极低的硬件上。这使其成为边缘计算的理想选择，在边缘计算中，设备需要在不依赖强大中央计算机的情况下做出快速、智能的决策。其适应新语境和解释其推理的能力，使其在对安全性、可靠性要求极高的应用场景中具有特别大的价值。

研究人员承认，他们目前的工作侧重于状态定义明确且有标签的环境。他们计划将这种方法扩展到更复杂的情况，即系统必须通过解释原始感官数据（如图像或声音）来理解周围环境。他们还旨在探索当当前的视野无法提供足够信息以确定精确位置时，系统该如何处理。尽管存在这些未来的挑战，但目前的结果表明，一种基于记忆的简单方法可以达到与更复杂的方法相竞争的性能水平。通过借鉴人类大脑如何利用情景记忆，研究人员表明，有时最强大的解决方案来自于那些依赖于过去与现在之间最简单、最直接连接的方法。