Computational representations and evolutionary functions of emotions (Part 1): Reward signals

在生命的精密机制深处，从最简单的单细胞生物到最复杂的人类大脑，都存在着一种持续且无声的计算。这是进化生物学与人工智能的领域，这两个领域虽然看似遥远，却正汇聚于一个深刻的问题：情感究竟是什么？几个世纪以来，诸如喜悦、恐惧和焦虑之类的情绪一直被视为生物体主观且色彩斑斓的体验——或是微笑带来的温暖，或是恐惧带来的冰冷绞痛。然而，科学家们长期以来一直怀疑，在这种主观表象之下，隐藏着一种功能性机制，即一种让有机体在混乱世界中进行导航并做出确保其生存决策的方式。在计算机的世界里，这种决策过程通常由一个被称为“奖励信号”（reward signal）的简单概念驱动。想象一个正在学习玩游戏的计算机程序：它因一个好的动作而获得一个微小的数字积分，并因一个坏的动作而受到惩罚。随着时间的推移，计算机学会了寻求积分并规避惩罚。本文提出了一个大胆的问题：人类复杂且汹涌的情感风暴，是否仅仅是这些经过数百万年进化、旨在引导我们走向重要目标的奖励信号？

这项由上海交通大学王一锴开展的研究，旨在通过构建数字智能体并观察它们的学习过程来测试这一想法。其目标并非创造一个有感觉的机器人，而是观察驱动计算机生存与繁衍的内部信号，是否会自然进化成某种看起来并表现得完全像人类情感的东西。研究人员聚焦于定义生物情感的五个核心特征：它们必须通过优化过程自然产生；它们必须仅在有机体处于通往生存或成功的路径上时激活，而在路径危险或无用时保持静默；它们的激活必须改变未来的行为，无论是鼓励重复某项动作还是惩厉错误；它们的强度必须随着目标价值的增加而增强；并且它们必须随着目标在时间和空间上的临近而增强，在目标达成或失去后消退。

为了验证这些规则是否适用于“喜悦”，研究人员首先创建了一个数字环境，其中的智能体只能通过繁殖来生存。在这种模拟中，智能体并没有内置的生育欲望；它们只是单纯地存在。唯一的压力在于，如果没有繁殖，种群将会灭绝。研究人员允许智能体进化出一种可以由自然选择调节的隐藏内部信号。在数百代的模拟演化中，一件非凡的事情发生了：那些在选择繁殖时会产生积极内部信号的智能体脱颖而出并繁衍壮大。那些没有这种信号或拥有负面信号的智能体则未能传递其特征。结果是，一个种群中，繁殖的行为自动伴随着一股积极的内部反馈。这种信号并非设计出来的，而是因为它是种群生存所必需的，从而自然涌现。此外，该信号仅在通向后代的路径上活跃，并随着繁殖可能性的增加而增强，仅在机会逝去时才消退。模拟表明，一个针对生存而优化的简单数学信号，完美地镜像了喜悦的五大特征。

随后，研究人员将调查扩展到了情绪的阴暗面：焦虑。他们构建了一个不同的场景，智能体面临威胁，例如后代死亡的可能性。在这个世界里，智能体必须学会规避危险。正如喜悦从繁衍的驱动力中产生一样，一种负面的内部信号也从避免死亡的驱动力中产生了。研究人员将这种信号识别为焦虑在计算上的等价物，它仅在智能体处于通往危险的路径时激活，而在路径安全时保持静默。至关重要的是，这种信号并不只是停留在那里，它会惩罚智能体采取冒险行为，从而有效地教导智能体远离伤害。该信号还会随威胁的严重程度而缩放；情况越危险，信号就越强。它也会随着危险在时间和空间上的临近而强化，并在威胁消失后消退。模拟证明，焦虑同样可以被理解为一个奖励信号，但它是一个负向信号，旨在惩罚导致灾难的行为。

研究进一步表明，这些相同的原则也适用于其他情绪。研究人员发现，驱动喜悦的相同积极信号也可以解释希望与宽慰，而负面信号则可以解释恐惧、厌恶、悲伤和遗憾。其逻辑是一致的：情绪并非随机的感觉，而是精确且经过进化的工具。它们是告诉有机体其是在趋向目标还是远离目标，以及需要多紧急行动的信号。论文指出，这些信号不仅是抽象的概念，更可能是运行在我们大脑“黑箱”和高级人工智能策略网络中的实际代码。研究人员提出，自然选择保留这些信号，是因为它们改变了我们的行为，以实现那些无法触摸或看见的目标，例如基因未来的生存。

然而，这项研究也暗示了这种数字进化的局限性。在模拟中，信号有时会变得过大或持续过久，这在现实世界中将是灾难性的。研究人员建议，在自然界中，一定存在其他力量来约束这些情绪。例如，如果寻找食物带来的喜悦如此强烈，以至于让动物忘记了观察捕食者，那么该动物就无法生存。因此，进化很可能对这些信号进行了修剪，确保它们既足够强大以驱动行动，又不至于强大到让有机体对其他危险视而不见。论文总结道，情绪不仅仅是复杂大脑的副产品，更是经过亿万年精炼的、经过优化的信号，旨在帮助生物体在“现状”与“目标所需状态”之间的差距中进行导航。通过将这些信号理解为计算奖励，我们或许终于能够开始解码那套驱动每一次心跳和每一次决策的、古老而无声的生存语言。