在人工智能的世界里，机器通过尝试各种方法并记住哪些方法奏效来学习如何做出决策。想象一名正在为考试复习的学生，他们会在笔记本上记录下每一个做错的问题。为了学得更快，他们可能会决定只专注于那些让他们最困惑的问题，一遍又一遍地复习这些难题。这便是训练智能体的一种常用方法的背后基本思想：它们会重放过去的经验，但会优先处理那些预测误差最大的经验，希望能快速修正这些错误。这种方法已成为教导计算机应对复杂任务的标准工具，从玩电子游戏到控制机器人。然而，这一策略依赖于一个至关重要的假设：即“困惑”意味着存在值得学习的价值。如果困惑是由随机且不可改变的噪声引起的，而非理解上的错误，那么过度关注它就会变成一个陷阱。机器会陷入对那些它永远无法预测的事物的痴迷中，浪费时间，却无法学会世界的实际规则。

一组研究人员致力于调查当这种学习策略遇到充满不可学习随机性的环境时究竟会发生什么。他们构建了一个新系统，旨在充当一个过滤器，区分错误是由智能体自身技能不足引起的，还是由纯粹的偶然性引起的。通过在三种截然不同的场景中测试该系统，他们发现了一个关于机器应该如何学习的惊人真相。在某些情况下，他们的新过滤方法运作完美，帮助智能体规避危险并加速学习。在其他情况下，旧的、简单的“关注错误”的方法实际上效果更好。但在最混乱的环境中，他们发现，最明智的做法是停止任何形式的优先级排序，而仅仅从随机样本中学习。这一发现挑战了长期以来的观点，即“专注于最难的问题总是最好的学习方式”，它揭示了有时最有效的策略是忽略噪声，并信任随机性。

研究人员首先研究了一个被称为“TD中毒”（TD-Poisoning）的问题。在标准的学习系统中，计算机每进行一次预测，都会计算一个“惊讶得分”。如果结果与预期差异很大，得分就会很高，计算机就会保存那个时刻以便日后研究。当这种惊讶来自于计算机尚未解决的难题时，这种方法运作良好。但在现实世界或模拟世界中，通常存在静态噪声——就像布满随机雪花点的电视屏幕一样——这与智能体的行为无关。因为这种噪声是真正的随机，计算机永远无法预测它。无论如何研究，这些嘈杂时刻的惊讶得分都会永久保持在高位。研究人员发现，标准的学习系统会被这种噪声劫持。它们变得痴迷于这些不可学习的时刻，不断重放它们，却忽略了环境中重要的、可控的部分。这就像一名学生把所有时间都花在盯着一个坏掉的时钟上，试图弄清楚为什么它在随机跳动，却忽略了真正需要解决的数学题。

为了解决这个问题，团队开发了一种名为“特征加权优先经验回放”（Feature-Weighted Prioritized Experience Replay）的新方法。该方法不再使用“惊讶得分”来决定学习内容，而是构建了一个特殊的过滤器，寻找另一种东西：智能体实际上可以控制的世界的独特结构。他们使用了一种技术，迫使计算机理解其行动与结果之间的因果关系。如果环境的变化无论智能体做什么都会发生，系统就会学会忽略它。通过剥离随机噪声，系统创建了一个干净的、低维度的世界地图。随后，它利用这张地图来寻找那些真正值得学习的稀有且有趣的时刻。这个新系统扮演了守门人的角色，确保计算机只优先处理那些能提供真正进步机会的经验，而不是那些仅仅在统计学上声音巨大的经验。

团队将这种新方法与旧方法以及一种完全随机选择经验的简单方法进行了对比测试。他们在三个不同的环境中运行了实验，以观察每个系统如何处理不同程度的难度。第一个测试是一个高速驾驶模拟器，汽车必须在车流中穿行。在这里，目标是观察系统能否学会安全驾驶而不发生碰撞。标准方法（即关注最大错误的方法）经常被交通的混乱性质所迷惑，最终变得过于谨慎，为了规避任何风险而减速行驶。然而，新的过滤系统学会了区分常规的换道与真正的危险。它能够实现高速驾驶同时保持极低的碰撞率，证明了它可以在安全方面充当聪明的守门人。

第二个测试是一个非常简单、完全可预测的物理问题，涉及一辆车爬坡。因为这个世界没有随机噪声，“惊讶得分”是一个完美的指南。在这个洁净的环境中，新的过滤系统表现得甚至不如标准方法。研究人员发现，添加复杂的过滤器是不必要的，并且减慢了学习过程。这一结果至关重要，因为它表明新方法并非万能药。它是一个专门为混乱、多噪世界设计的工具。当世界清晰且可预测时，传统的“关注错误”法仍然是最有效的路径。

最后的测试涉及一个被刻意加入大量随机噪声的航天器着陆模拟。研究人员在视觉数据中加入了一层纯粹的静态噪声，创造了一个计算机永远无法预测下一刻情况的场景。在这种混乱的环境中，标准方法彻底失败了。计算机由于过度痴迷于随机噪声，停止了任何有用的学习，并反复坠毁。新的过滤系统设法恢复了过来，成功忽略了噪声并学会了着陆航天器。然而，最令人惊讶的发现来自最简单的方法：即那个完全随机选择经验的方法。在这个高度受损的世界里，随机方法表现得最好。因为它不尝试进行任何优先级排序，所以它对噪声具有免疫力。它均匀地采样世界，避开了让其他系统深陷其中的“痴迷陷阱”。

这一结果促使研究人员提出了他们所谓的“均匀经验回放悖论”（Uniform ER Paradox）。他们发现，当环境被不可学习的噪声淹没时，最具数学鲁棒性的策略是放弃所有尝试优先级排序的行为。随机采样的内在免疫力优于任何复杂的算法过滤器。虽然新的过滤系统可以修复噪声造成的损害，但它无法超越随机采样那原始的效率。这表明，从一个混乱的环境中提取智能的能力存在一个硬性极限。如果噪声过大，最好的策略不是试图更努力地去过滤它，而是接受随机性，并在不带偏见的情况下从中学习。

这项研究的结论是，教导机器并没有单一的最佳方式。正确的策略完全取决于环境的性质。在像驾驶这样复杂且高风险的情况下，一个能够忽略噪声的智能过滤器对于安全和胜任力至关重要。在清晰、可预测的世界中，传统的关注错误法是最有效的路径。但在面对极端且不可学习的混沌时，最强大的举措是停止试图聪明地学习，而是从一切事物中平等地学习。这项工作为何时进行优先级排序、何时进行过滤以及何时让随机性掌控全局提供了一份清晰的地图，从而为人工智能如何适应这个混乱的现实世界提供了更深刻的理解。