🧬 biology

Reward function compression facilitates goal-dependent reinforcement learning

本文提出并实验验证了人类通过最初依赖工作记忆将复杂的抽象目标压缩为简化的稳定奖励函数，并将其转移至长期记忆，从而为自动评估释放认知资源，以此来提高强化学习效率。

原作者： Gaia Molinaro, Anne G. E. Collins

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Gaia Molinaro, Anne G. E. Collins

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

以下是使用简单语言和日常类比对该论文进行的解释。

核心理念：带着“精神背包”学习

想象一下，你的大脑有一个叫做工作记忆（Working Memory）的背包。这个背包非常适合存放你“现在”需要的东西，比如刚听到的电话号码或刚读到的规则。但它有一个严格的限制：它一次只能装下大约 3 到 4 件物品。如果你试图往里塞太多东西，东西就会掉出来，或者你会因为负担过重而无法清晰思考。

论文指出，当人类尝试基于抽象目标（例如“赢得这场游戏”或“收集紫色卡片”）来学习新事物时，我们最初必须将这些目标的规则装进这个小小的背包里。这是**认知成本极高（cognitively expensive）**的。这就像是在玩杂耍三个重型保龄球的同时，还要尝试解一道数学题。你可以做到，但你会变得更慢，也更容易出错。

作者提出了一个聪明的解决方案：奖励函数压缩（Reward Function Compression）。

你可以把它想象成折叠地图。

未压缩的地图： 想象一张城市地图，上面详细绘制了每一条街道、每一栋建筑和每一棵树。它很精确，但体积巨大，很难装进你的背包。
压缩后的地图： 在你游览过几次城市后，你意识到你并不需要所有细节。你可以把地图折叠起来，只保留主要高速公路和公园的位置。它变得很小，可以轻松装进兜里，而且你可以无需思考就能瞬间取出。

论文表明，我们的大脑在处理目标时也是如此。起初，我们会记住“胜利”看起来的所有具体细节。但通过练习，我们会将这些信息压缩成一个简单的、自动化的规则（例如：“所有紫色的东西都是好的”）。一旦这个规则被“压缩”并移动到长期记忆（位于背包之外的一个巨大仓库）中，我们就无需再把它随身携带在背包里了。这释放了心理空间，让我们能更快地学习任务本身。

实验过程：他们是如何测试的

研究人员使用一款电脑游戏进行了六项实验，以证明这一观点。以下是他们的做法：

1. 游戏设置

参与者必须学习针对不同的图片应该按下哪个按键。

简单方式（分数）： 他们获得标准的反馈，如“+1”或“+0”。这就像是在看分数。
困难方式（目标）： 他们看到的不是数字，而是被标记为“目标”（好）或“非目标”（坏）的抽象分形图像。他们必须弄清楚哪张图片是“目标”，并按下正确的按键来获取它。

2. 实验 1：“目标过多”测试

设置： 在某些轮次中，只有一个“目标”图像需要寻找。在另一些轮次中，则有四个不断变化的“目标”图像。
结果： 当只有一个目标时，人们学习得很快。当有四个不同目标时，他们的学习速度显著变慢。
结论： 这证明了我们的“精神背包”会被过载。同时追踪四个不同规则会耗尽学习所需的全部空间。

3. 实验 2：“可压缩 vs 不可压缩”测试

这是最重要的实验。研究人员保持目标数量不变（因此背包的负载量相同），但改变了目标的结构。

可压缩目标： 假设“目标”图像全部都是红色的正方形，而“非目标”图像全部是蓝色的三角形。尽管图像很多，但规则很简单：“如果是红色，就是目标。”这很容易被压缩。
不可压缩目标： 假设“目标”图像是一组奇怪的混合体：一个红正方形、一个蓝圆圈、一个绿三角形等等。这里没有简单的规则。你必须死记硬背每一个具体的图像。
结果： 人们在可压缩条件下学习得快得多。尽管他们需要记住同样数量的图像，但他们可以将地图“折叠”成一个简单的规则（“红色 = 好”）。在不可压缩条件下，他们无法折叠地图，因此必须背着整个沉重的地图在背包里行走，从而减慢了速度。

4. 速度的关联

研究人员还测量了人们按下按钮以“收集”正面结果的速度。

发现： 一个人识别“目标”图像的速度越快，他学习游戏的效果就越好。
原因： 这表明，当大脑自动处理奖励（因为规则已被压缩）时，它会释放能量用于实际的学习。如果你还在纠结于“这是不是一个目标？”，你就没有足够的脑力去学习游戏的规则了。

这意味着什么（根据论文观点）

论文得出结论，人类的学习不仅仅是记忆事实，更是关于效率。

灵活性是有代价的： 我们可以设定任何目标（甚至是抽象的目标），但这在最初需要消耗大量的心理能量。
压缩是关键： 为了变得高效，我们的大脑必须将高维度的复杂目标转化为低维度的简单规则。
自动化： 一旦规则被压缩并存储在长期记忆中，我们就停止了对目标的“思考”，转而开始“自动感知”它。这释放了我们的工作记忆，让我们能更快地学习新事物。

简而言之： 当我们将复杂的“做什么”清单转化为简单的、自动化的习惯时，我们的学习效果最好。如果规则太混乱而无法简化，大脑就会感到疲劳，学习也会受到影响。

技术摘要：奖励函数压缩促进目标依赖型强化学习

问题陈述

人类的强化学习（RL）不仅限于初级和次级奖励，还包括灵活的、依赖于目标的产出，即根据当前目标赋予新颖、抽象刺激以价值。虽然这种灵活性使人类能够追求多样化的目标，但它也会带来认知成本并降低学习效率。人类如何将其价值系统与当前目标对齐，以及为何这种对齐难以维持，其背后的精确认知机制仍有待表征。具体而言，目前尚不清楚大脑如何处理在为新颖结果分配价值的灵活性与从这些结果中学习的效率之间的权衡。以往的研究表明，目标依赖型学习依赖于工作记忆（WM），但这种依赖性向更自动化、更高效的处理过程转变的具体机制尚不明确。

研究方法

作者通过一个改进的强化学习任务进行了六项实验（四项主要实验和两项补充实验），在该任务中，参与者通过试错法学习刺激-反应映射。

实验设计

任务结构： 参与者观察六个刺激，并必须学习每个刺激对应的正确按键。反馈是确定性的。
实验条件：
- 分数块（基准）： 反馈由标准的数字分数组成（正确为“+1”，错误为“+0”）。
- 目标块： 反馈由标记为“目标（Goal）”或“非目标（Nongoal）”的抽象分形图像组成。参与者必须学习哪些动作会导致“目标”图像。
奖励收集： 在所有实验块中，参与者都需要按下另一个键来“收集”理想的结果（分数或目标图像）并忽略不理想的结果。收集阶段的反应时间（RTs）被记录为奖励处理效率的行为代理指标。

特定操纵

实验 1（工作记忆负荷）： 改变每个实验块中唯一的目标/非目标图像对的数量（1、2、3 或 4 对）。总试验次数保持不变，但目标空间的大小增加了，从而增加了维持目标规则所需的工作记忆负荷。
实验 2（可压缩性）： 保持唯一目标图像的数量不变（共 8 个图像），但操纵了规则复杂度。
- 可压缩型： 单一特征（例如颜色）即可区分所有的“目标”图像与“非目标”图像。
- 不可压缩型： 需要利用所有三个特征（形状、颜色、填充）来区分“目标”与“非目标”（一种合取规则）。
补充实验（3–6）： 这些实验重新分析了先前的数据，或引入了新的控制变量，以排除其他机制的可能性，例如简单的重复效应、缺乏压缩的自上而下的价值归因，或来自不一致标签的干扰。

计算建模

作者拟合了一系列基于标准强化学习架构（用于价值更新的 $\delta$ 规则，用于动作选择的 Softmax 策略）的计算模型。

基础模型： 包括学习率 ( $\alpha$ )、负面结果乘数 ( $\zeta$ )、噪声 ( $\epsilon$ )、遗忘 ( $\phi$ ) 和粘性 ( $\eta$ ) 等参数。
高级模型： 测试了特定参数（学习率、噪声、粘性）是否随条件变化。
RT 条件化模型： 至关重要的是，作者测试了学习率直接由该特定条件下中位数的对数奖励收集反应时间（log reward collection RT）进行缩放的模型。这测试了以下假设：即更快的奖励处理（表明压缩/自动化）能否释放认知资源以提高学习率。

关键结果

行为学发现

目标依赖型学习成本： 即使在最简单的单目标条件下，目标块的学习表现也显著低于分数块，这证实了抽象目标归属带来的认知成本。
工作记忆负荷效应（实验 1）： 随着唯一目标/非目标对数量的增加（从 1 到 4），学习准确度呈参数化下降。这表明，在工作记忆中维持更大的目标空间会损害学习过程。
压缩效应（实验 2）： 当目标空间保持不变但规则复杂度发生变化时，可压缩块的学习准确度显著高于不可压缩块。这表明，性能的提升是由形成简化规则的能力驱动的，而非仅仅由重复驱动。
奖励收集反应时间（RTs）： 更快的奖励收集反应时间在不同条件下都与更好的学习表现强相关。这种相关性仅针对奖励收集反应时间而非选择反应时间，这表明评估结果的效率（奖励处理）是瓶颈，而非决策过程本身。
补充发现：
- 仅靠重复（实验 5）并不能提高学习效率，如果目标空间超过了工作记忆容量。
- 不同试验间的不一致标签（实验 6）专门削弱了学习，这支持了需要一个稳定的规则来进行压缩的观点。

计算建模发现

价值更新瓶颈： 最拟合的模型表明，目标依赖型学习的主要影响在于价值更新阶段（学习率），而非选择噪声。
RT 条件化学习率： 一个将学习率作为奖励收集反应时间的函数的模型，比具有每个条件自由参数的模型或 RT 影响选择噪声的模型，提供了更优且更简洁的模型拟合。
解释： 这支持了以下假设：高效的奖励处理（通过压缩）释放了执行资源，从而实现了更有效的刺激-动作关联更新。

核心贡献

奖励函数压缩： 本文提出并实证验证了一种机制，即复杂的、高维度的目标信息被压缩成一个简化的、稳定的规则（一种“压缩的奖励函数”），该规则可以从工作记忆转移到长时记忆。
效率机制： 研究表明，这种压缩过程是缓解目标依赖型学习认知负荷的关键，从而提升了学习效率。
行为标记： 研究确定了奖励收集反应时间是奖励函数压缩和处理效率的一个特定行为特征。
计算形式化： 提供了一个将奖励处理效率（RT）直接与学习率联系起来的计算模型，为执行功能如何与强化学习相互作用提供了正式的解释。

意义

作者声称，这些发现阐明了内在动机和目标导向型学习背后的认知机制。通过展示大脑如何通过奖励函数压缩来管理灵活性与效率之间的权衡，本研究提供了一个理解为何某些目标比其他目标更难实现的研究框架。作者建议，这些见解可以为支持人类实现目标的行为干预和教育策略提供参考，特别是通过帮助个体以有利于压缩和自动化的方式来构建目标。论文对于这种压缩的具体神经实现保持中立，但认为它依赖于工作记忆与长时记忆系统的相互作用。