📄 animal behavior and cognition

Resource depletion accelerates rate learning but not composition learning in patch foraging

本文提出了一个规范性贝叶斯模型，证明了虽然资源枯竭会加速对斑块内局部资源速率的学习，但并不会加速对全局斑块组成这一较慢且依赖样本的学习，从而导致了奖励最大化策略与信息寻求策略之间的分歧，并由此塑造了最优觅食离开规则。

原作者： Kilpatrick, Z. P., El Hady, A.

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Kilpatrick, Z. P., El Hady, A.

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下你是一只生活在全新森林里的松鼠。你不知道哪里有最好的坚果树，甚至不知道这里到底有多少种不同类型的树。你必须同时完成两件事：现在找点吃的，以及绘制出一张森林地图，以便以后吃得更好。这是一个关于动物行为的经典谜题，被称为“觅食”（foraging）。科学家们长期以来一直在研究动物如何决定何时停止在某处进食并移动到下一个地点。传统的经验法则——边际价值定理（Marginal Value Theorem）——假设动物已经完美地了解了这片森林。但在现实生活中，动物到达时通常是毫无头绪的。它们必须在玩游戏的过程中学习规则。这种学习不仅仅是记住食物在哪里，更是为了理解世界的隐藏结构：这些斑块有多丰富，它们出现的频率如何，以及食物消耗的速度有多快？

这就是 Zachary Kilpatrick 和 Ahmed El Hady 的一项新研究介入的地方。他们建立了一个数学模型，来观察一只聪明的动物在进食时是如何学习的。他们发现了一些令人惊讶的事实：进食的行为本身就是一个秘密老师。随着动物从一个斑块中进食，食物会变得越来越难找。这种“食物滴落”速度的放缓，能准确告诉动物这个斑块最初有多丰富。这就像是在听一首节奏越来越慢的歌；这种减速的模式揭示了原始的节拍。然而，这种技巧仅适用于学习“单个”斑块的信息。它无法帮助动物弄清楚整个森林中富饶斑块所占的百分比。为了学习这一点，动物必须不断移动，即使这意味着要提前离开一顿美餐。这项研究表明，试图最大化“填饱肚子”（奖励）的动物与试图“学习地图”（信息）的动物，其行为会有所不同，尤其是在它们刚进入新区域时。

伟大的森林地图与空掉的碗

让我们深入森林。想象你是一名觅食者，你的世界是由“斑块”组成的——把它们想象成散落在田野里的巨大、神奇的水果碗。有些碗很深且装得很满（高产量），而有些则很浅且几乎是空的（低产量）。当你到达时，你并不知道哪种是哪种。你只知道，一旦你开始吃，水果并不会以稳定的节奏出现。每当你抓取一个，碗就会变空一点，下一个水果需要花费更长的时间才能找到。这被称为耗尽（depletion）。

在过去，科学家认为耗尽仅仅是一种成本。这意味着你必须为更少的食物付出更多努力，因此你应该在节奏变慢时就离开那个碗。但 Kilpatrick 和 El Hady 意识到，这种减速实际上是一个线索。

把它想象成一个正在没电的闹钟。如果你听到闹钟滴答声很稳，你无法判断它是新电池还是已经运行了几个小时的旧电池。但如果你听到闹钟的滴答声越来越慢，你就能准确推断出它最初有多少电量。这种减速的模式锁定了真相。在他们的模拟中，他们发现，由于这种模式的存在，如果一个斑块正在发生耗尽，动物学习该特定斑块丰富程度的速度，要比面对一个永远不会枯竭的魔法碗时快得多。水果之间的“间距”讲述了故事。

两个不同的目标：胃与脑

这里变得棘手了。动物有两个目标，它们有时会产生冲突。

胃的目标（寻求奖励）： “我想现在尽可能多地吃。”
脑的目标（寻求信息）： “我想学习森林的地图，以便以后变得更聪明。”

在一个每个斑块都相同的森林（“同质化”森林）中，胃和脑通常达成一致：一直待在碗里直到它几乎空掉。但研究发现了一个微妙的分歧。如果动物纯粹是为了学习食物的速率，它可能会比“胃”想停留的时间稍微久一点，仅仅为了获得那最后一份完美的观测数据。

但真正的戏剧发生在包含丰富和贫瘠斑块的混合森林（“二元”环境）中。

胃希望尽可能长时间地留在富饶的碗里，以获取最多的水果。
脑意识到，留在富饶的碗里并不能教它关于贫瘠斑块的任何知识。为了学习地图，它需要访问不同类型的碗。

因此，“脑”动物会提前离开富饶的碗。它牺牲了几口水果，去寻找一个贫瘠的碗，并检查它是否真的贫瘠。这就像一名学生为了去图书馆确认自己是否需要那本书，而选择跳过一场精彩电影的最后几分钟。研究表明，这种“欠收”（留下食物不吃）是学习的一种理性策略，而不是错误。

补充型斑块的魔力

研究人员还观察了如果森林很特殊时会发生什么：碗在每次访问之间会重新填满。想象一个花园，你可以每天回到同一株玫瑰丛。

如果灌木丛补充缓慢，动物必须到处游荡寻找食物。它学习了整张地图。
如果灌木丛补充快速，动物会找到一些富饶的灌木丛，然后在它们之间循环跳跃。它成为了这些特定灌木丛的专家，但对森林的其他部分完全无知。研究表明，在快速补充的世界里，“胃”动物会锁定一些富饶的点并停止探索，而“脑”动物则会继续游荡，以确保自己没有错过更好的地方。

计数与计时：秘密的切换

最后，研究提出了一个问题：什么时候离开才是最好的规则？动物应该计算它吃了多少个水果，还是应该计时自上一个水果出现以来等待了多久？

答案取决于斑块之间的差异有多大。

如果所有的斑块大致相同，动物应该计数。“我会吃 5 个，然后离开。”
如果斑块差异很大（有些超级丰富，有些非常糟糕），动物应该计时。“如果我有一段时间没找到食物，这一定是个差的斑块，所以我要离开。”

研究人员发现了一个特定的临界点：如果最好和最差斑块之间的丰富度差异超过了大约 25%（四分之一），动物就应该从计数切换到计时。这是一个聪明的切换，有助于动物避免在糟糕的斑块中浪费时间。

核心结论

这篇论文通过数学和计算机模拟表明，学习是一个分层的过程。进食可以教会你关于当前位置的信息，但移动可以教会你关于整个世界的信息。耗尽对于当前的斑块是一个有用的老师，但它无法帮助你了解大局。

最重要的启示是，动物（也许也包括我们！）不仅仅是吃饱为止的盲目机器。它们在“现在获得食物”和“为以后学习规则”之间进行权衡。有时候，最聪明的事就是提前离开一顿美餐，仅仅是为了确保自己没有错过其他更好的东西。只要动物对食物消耗速度的猜测大致正确，这种基于模型的智能方法就会击败每次仅仅靠猜测和对奖励做出反应。

技术摘要：资源枯竭加速速率学习，但不会加速组成学习（补丁觅食研究）

问题陈述
觅食是一个层次化推理问题，动物必须在利用资源斑块的同时，学习生成这些斑块的环境结构。包括边际价值定理在内的经典觅食理论通常假设觅食者在到达时已具备完整的环境统计知识（例如，斑块类型及其遭遇率的分布）。然而，在陌生环境中，动物必须通过探索来推断这些参数。本文旨在填补理解物理层面的资源枯竭过程——即每次食物遭遇都会降低斑块内后续遭遇率的过程——如何塑造对两种不同环境特征的学习的认知空白：特定斑块类型内的遭遇率（encounter rate）以及整个环境的组成（composition，即高产与低产斑块的比例）。

方法论
作者为在斑块化环境中觅食的智能体开发了一个规范的贝叶斯框架。该模型将学习视为第二层级的推理：

斑块内推理（Within-Patch Inference）： 智能体推断当前斑块的初始遭遇率 ( $\lambda_k$ )。模型引入了枯竭机制，即遭遇率随找到的食物块数线性下降 ( $\lambda(t) = \lambda_k - \rho K(t)$ )，这与非枯竭（恒定速率）环境形成对比。
跨斑块推理（Across-Patch Inference）： 智能体推断全局斑块类型的分布，特别是高产斑块的比例 ( $p_H$ ) 以及与每种类型相关的速率。
策略： 研究比较了两种目标函数：
- 奖励寻求型（Reward-Seeking）： 最大化长期奖励速率（单位时间内的摄入量）。
- 信息寻求型（Information-Seeking）： 最大化熵减速率（关于环境参数的学习）。
离开规则（Departure Rules）： 作者分析了阈值策略，即当智能体对斑块丰富度的认知或机会成本跨越特定水平时，智能体决定离开。他们还将这些基于模型的智能体与无模型强化学习者以及最优“先知”智能体进行了比较。
环境： 分析涵盖了同质环境（一种斑块类型）、二元环境（两种斑块类型）以及在访问间会恢复的再生环境。

核心贡献与结果

1. 枯竭作为速率学习的信息源
论文证明，资源枯竭不仅是一种成本，也是加速斑块内遭遇率学习的信息来源。

机制： 在枯竭的斑块中，连续的遭遇间隔是从一个减速序列中抽取的 ( $\lambda, \lambda-\rho, \lambda-2\rho, \dots$ )。这些间隔的间距比相同持续时间的恒定速率流能更精确地识别出初始速率 $\lambda$ 。
结果： 在同质枯竭环境中，速率估计的均方误差（MSE）衰减速度显著快于非枯竭环境。达到固定准确度阈值所需的时间在枯竭斑块中可缩短至多三倍。
最优行为： 对于同质枯竭环境中的奖励最大化者，其最优策略是在离开前消耗几乎整个斑块。在熵速率度量下，无限期停留是最优的；但在 MSE 阈值度量下（最小化达到固定准确度的时间），最佳策略是消耗完整个斑块并离开。这种离开行为与奖励寻求者（同样会长时间停留）相比并不属于“过度停留”，而是信息寻求者（在 MSE 标准下）和奖励寻求者都倾向于消耗斑块，但信息寻求者的规则是由通过下降的间隔来解析速率的需求驱动的，而奖励寻求者则在边际价值与旅行成本之间进行权衡。

2. 枯竭对组成学习是中性的
与速率学习相比，对环境组成（高产斑块的比例 $p_H$ ）的学习不受枯竭影响。

机制： 组成是通过对斑块类型的类别观察来推断的。每次斑块访问最多贡献一个类别观察（即斑块的类型），无论在该斑块内消耗了多少个食物块。
结果： 组成学习的速率与访问的斑块数量 $n$ 成比例（ $1/n$ ），而不是与斑块内的遭遇次数成比例。只要智能体使用正确的似然函数，枯竭既不会加速也不会阻碍这一过程。
启示： 旨在解析全局组成的信息寻求型智能体应该及早离开斑块（即使是富饶的斑块），以采样更多不同的位置，而奖励寻求者可能会停留较长时间。

3. 奖励寻求与信息寻求策略的分歧
最优离开规则根据不确定性的来源不同而发生分歧：

同质环境（速率不确定）： 信息寻求者和奖励寻求者在枯竭斑块中都倾向于长时间停留，但它们的具体离开阈值取决于学习度量。在熵速率度量下，无限期停留对于信息增益是最优的；而在 MSE 阈值度量下，最优策略是消耗完整个斑块并离开。在这两种情况下，信息寻求者并不一定相对于奖励寻求者表现为简单的“过度停留”；相反，奖励寻求者在边际摄入率降至机会成本时离开，而信息寻求者（在 MSE 下）在后验标准差降至阈值以下时离开，这通常与消耗完整个斑块相吻合。
二元环境（组成不确定）： 信息寻求者会过早离开富饶斑块。由于组成是通过访问新斑块来解析的，信息寻求者会为了采样环境的多样性而提前离开高产斑块，而奖励寻求者则会停留直到边际摄入率降至全局平均水平。
再生环境： 当斑块在访问间恢复时，奖励最大化策略会坍缩到一组高产斑块的稳定极限环（轨道）上。再生速率决定了觅食者是绘制整个环境的图谱，还是锁定在一个富饶的子集上。高再生率会抑制奖励寻求者的组成学习，因为它们很少访问未分类的斑块。

4. 变异性决定最优离开规则
论文确定了基于环境变异性的最优离开启发式算法的关键转变：

均匀斑块： 当斑块丰富度相似时，计数规则（在固定数量的食物块后离开）是最优的。
多变斑块： 当丰富度差异显著（超过约 24%）时，计时规则（在自上次发现后的固定间隔后离开）变得最优。
基于模型 vs. 无模型： 使用环境模型（贝叶斯模型）进行表示，比单纯从奖励中学习规则（无模型）具有显著的摄入优势（约 20 个百分点），但前提是智能体的模型对枯竭速率的描述是合理的。如果枯竭速率的误设超过约 25%，基于模型的智能体的表现会崩溃，此时无模型智能体可能会胜出。

意义与主张
作者声称，其工作提供了一个分析性的解释，说明了为什么处于早期阶段的觅食学习会被枯竭所加速，以及移动策略如何取决于所减少的不确定性类型。

层次化推理： 研究阐明了枯竭作用于速率估计层面（斑块内），但对组成层面（跨斑块）是中性的。
信息 vs. 奖励： 论文强调，信息寻求并非单一的驱动力；不同的学习目标（减少速率不确定性 vs. 组成不确定性）会规定相反的移动行为（停留 vs. 离开）。
模型的鲁棒性： 维持显式环境模型的优势受限于模型的准确性。作者认为，由于最优解附近的奖励曲面较为“平坦”，因此精确的参数估计对于摄入量而言不如适应变化成本（如旅行时间）的能力以及结构模型（枯竭动力学）的正确性那么关键。
实验预测： 该框架产生了可测试的预测，例如随着环境方差增加，从计数规则向计时规则的转变，以及在同质与二元环境中，奖励寻求者与信息寻求者之间停留时间的特定分歧。

论文得出结论：只要智能体对枯达率的假设留有真实的余地，学习环境所获得的收益将显著高于仅从奖励中学习规则。