A bio-inspired hybrid lifelong learning based on self-selective memristors
本文提出了一种受生物启发的混合终身学习系统,该系统通过协同设计一种果蝇-人类混合算法与自选择忆阻器硬件,以克服灾难性遗忘和能量效率低下的问题,从而在速度和能效方面较传统的 CMOS 加速器实现了显著提升。
原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,你正试图教一个机器人玩遍史上所有的电子游戏,一个接一个地玩。问题在于,当机器人学会“太空侵略者”时,它往往会忘记如何玩“吃豆人”。这被称为“灾难性遗忘”,是人工智能领域的一个巨大难题。为了解决这个问题,科学家通常尝试要么冻结机器人的大脑使其无法遗忘(但这样它就无法学习新事物),要么让它自由学习(但它会忘记旧的内容)。然而,大自然却有一个更好的妙招。我们的脑子并不只是把所有东西永久储存起来;我们会主动忘记那些无聊的事物,以便为重要的事情腾出空间,并且我们拥有不同留存时间的不同类型的记忆。这篇论文探讨了一种构建人工智能的新方法,旨在模仿这种生物学的平衡行为,但它不是使用缓慢且耗能的计算机芯片,而是使用一种特殊的电子元件,其作用类似于一个活性的记忆细胞。
由张一舒(Yishu Zhang)及其来自浙江大学和清华大学等机构的团队领导的研究人员,开发了一种“混合终身学习”系统。可以把它想象成一个由两个截然不同的部分协同工作的机器人大脑。首先,他们设计了一种智能软件算法,结合了两种生物学理念:“主动遗忘”(受果蝇启发,它们通过遗忘来保持高效)和“元塑性”(受人类启发,通过强化重要的记忆来增强记忆)。其次,他们制造了一种名为“自选择忆阻器”(SSM)的物理硬件设备,这种设备能够自然地表现得像该软件一样。这些微小的器件可以通过改变其电阻来存储信息,但与普通的计算机内存不同,它们内置了一个“泄漏”机制,会缓慢地消退微弱的记忆,同时保留强大的记忆,就像人类的大脑一样。
该团队并不仅仅是在计算机上进行模拟;他们还制造了一个包含 1,024 个此类忆阻器(排列成 32x32 的网格)的小型芯片并对其进行了测试。他们发现,通过调节这些器件“遗忘”的速度,他们可以在芯片内创造出一个由五个不同“记忆核心”组成的团队。其中一些核心被设定为非常健忘且灵活(非常适合快速学习新的、棘手的任务),而另一些则被设定为非常稳定且固执(非常适合保留旧的、重要的技能)。当他们在一系列 20 个不同的图像识别任务(使用名为 CIFAR 的数据集)上测试该系统时,系统成功学习了所有任务,且没有遗忘之前的任务。
结果令人印象深刻。与标准计算机芯片(CMOS)相比,这种新系统预计速度快 3.42 倍,且能耗降低 91 倍。作者指出,这种方法解决了保持旧知识安全与学习新事物之间的长期斗争,为实现能够像我们一样在现实世界中进行持续学习的人工智能提供了一条路径。他们强调,虽然核心学习规则是在硬件上进行的测试,但针对 20 项挑战任务的完整性能数据是基于经过其实际硬件测量校准后的模拟得出的,这表明他们新器件的物理特性确实能够支持复杂的终身学习。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。