🤖 machine learning

Hadamard Representation: Scaffolding Performance Across Model-free RL

本文提出了哈达玛表示法，这是一种简单的架构改进，通过将标准隐藏层替换为两个独立层的逐元素乘积，以防止神经元休眠并提高有效秩，从而无需超参数调整即可在多个领域持续提升多种无模型强化学习算法的性能。

原作者： Jacob E. Kooi, Zhao Yang, Mark Hoogendoorn, Vincent François-Lavet

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Jacob E. Kooi, Zhao Yang, Mark Hoogendoorn, Vincent François-Lavet

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个机器人玩电子游戏或像人类一样行走。你赋予它一个由深度神经网络构成的“大脑”，这本质上是一个庞大的微型工人（神经元）团队，它们相互传递信息。

这篇论文指出，随着这些机器人不断学习，它们的大脑开始“生病”。具体来说，许多工人完全停止工作，而那些继续工作的工人则陷入循环，反复重复着同样无用的想法。这使得机器人的大脑能力下降，尽管它已经训练了很长时间。

作者提出了一种简单的解决方案，称为哈达玛表示法（Hadamard Representation, HR）。可以将其视为一种巧妙的架构升级，它能防止大脑“生病”，并帮助其更具创造性地思考。

以下是利用日常类比对问题和解决方案的分解：

问题：“沉默的破坏者”

在人工智能领域，主要有两种类型的“工人”（激活函数）用于处理信息：ReLU 和 Tanh。

ReLU 工人（“已故”员工）：
想象一个工人，当他感到疲惫或困惑时， simply 停止说话并输出"0"。如果输出为零，链条中的下一个人会完全忽略他们。这就像一名被解雇的沉默员工；他们虽然消失了，但不会造成任何麻烦。团队只需绕过他们继续工作。
Tanh 工人（“卡住”员工）：
这是棘手的一个。当 Tanh 工人感到疲惫时，他们不会停止说话。相反，他们会陷入困境，无论情况如何，永远地大喊“是！”（+1）或“不！”（-1）。
- 危险： 因为他们仍在喊叫，链条中的下一个人会倾听他们。但由于喊声始终相同，它就像一个隐藏的、不可改变的偏差。这就像一台卡住的收音机在背景中播放同一首歌，扭曲了对话。机器人认为这种持续的噪音是现实世界的一部分，从而扰乱了其决策。论文称这为“静默地腐蚀”网络。

解决方案：“哈达玛表示法”（HR）

作者建议一个简单的修复方法：不是让一个工人完成工作，而是让两个独立的工人完成工作，然后让他们将答案相乘。

想象一个委员会在做决定。

旧方法： 一个人发言。如果他们卡住并一直大喊“是”，整个委员会就会偏向“是”。
新方法（HR）： 两个人独立发言。只有当两人就其想法的特定组合达成一致时，才会做出最终决定。

这产生了两个强大的好处：

1. “安全网”效应（阻止卡住的喊叫）

为了让“卡住”的 Tanh 工人变得无用，两个独立的工人必须同时完全卡住。

类比： 想象两个人试图陷入泥潭。一个人陷入泥潭已经很难了。两个人站在不同的位置，在完全相同的时间以完全相同的方式陷入泥潭，这是极不可能的。
结果： “卡住”的工人变得稀少得多。大脑保持灵活，不会被那些隐藏的、持续的偏差所腐蚀。

2. “双重视野”效应（更丰富的思考）

即使工人没有卡住，让两个人观察问题并将他们的见解相乘，也会产生更丰富的对话。

类比： 如果你问一个人描述一只猫，他可能会说“毛茸茸的”。如果你问两个人并将他们的描述相乘，你可能会得到一个复杂的理解，比如“毛茸茸的且快速的”。
结果： 机器人可以理解更复杂的模式，而无需雇佣更多工人（增加更多神经元）。它在没有变大的情况下变得更聪明。

他们的发现

研究人员在三种截然不同的挑战上测试了这一想法：

玩 Atari 游戏：（如《Pong》或《Breakout》）。在这里，“卡住工人”的问题非常严重。使用 HR 使机器人的表现显著提高，以巨大优势击败了旧方法。
行走机器人（基于状态）： 利用传感器（如机器狗）学习行走的机器人。在这里，“卡住工人”的问题很少见，但“双重视野”效应仍然帮助机器人学得更快、走得更稳。
行走机器人（基于视觉）： 仅通过观察摄像机屏幕学习行走的机器人。同样，HR 提高了性能，而无需进行任何额外的调整。

核心结论

这篇论文表明，深度学习智能体往往因为内部“工人”陷入坏习惯而丧失学习能力。通过简单地改变架构，使用两条并行路径并将结果相乘，作者创建了一个系统，该系统：

防止工人陷入循环。
允许大脑在不增大的情况下理解更复杂的概念。
适用于许多不同类型的机器人和游戏，而无需调整设置。

这是一个微小的结构变化，却像疫苗一样，能够预防在长时间训练过程中发生的“大脑腐烂”。

技术摘要：Hadamard 表示：在无模型强化学习中构建性能脚手架

问题陈述

深度强化学习（RL）智能体在训练过程中会遭受表征能力逐渐丧失的问题。这主要表现为两种形式：神经元变得休眠（丧失可塑性）以及有效秩的崩溃（幸存神经元之间的冗余）。虽然现有的补救措施（如周期性重置或专用架构）存在，但它们通常特定于算法或领域。

一种关键但分析不足的错误模式涉及平滑激活函数，特别是tanh。与“死 ReLU"现象（休眠神经元输出为零并被有效剪枝）不同，饱和的 tanh 神经元会坍缩为非零常数（ $\pm 1$ ）。作者证明，这些饱和神经元不仅停止学习；它们通过将传出权重转化为固定的、与输入无关的偏置，主动破坏下游层。这种“静默”失真即使在没有 ReLU 网络中休眠神经元数量多的情况下，也会降低性能。

方法论：Hadamard 表示（HR）

作者提出了一种简单、可即插即用的架构修改，称为Hadamard 表示（HR）。HR 将标准的隐藏层 $z(x) = f(Ax + b)$ 替换为两个独立参数化分支的逐元素乘积：

$z(x) = f(A_1x + b_1) \odot f(A_2x + b_2)$

其中 $f$ 是激活函数（例如 tanh 或 ReLU）， $(A_1, b_1)$ 和 $(A_2, b_2)$ 是独立的权重和偏置集。

HR 通过两种互补机制运作：

抗饱和性（机制 1）：
- 对于tanh，只有当两个独立分支同时饱和时，神经元才会变得休眠（饱和）。假设独立性，如果单个分支饱和的概率为 $p$ ，则坍缩概率降至 $p^2$ 。这显著减少了休眠 tanh 神经元的出现频率。
- 相反，对于ReLU，饱和（输出为零）发生在任一分支饱和时。坍缩概率增加至 $2p - p^2$ 。因此，在高休眠率 regime 下，HR 对 tanh 有益，但对 ReLU 有害。
- 该机制通过确保梯度不易消失且神经元不会锁定在固定偏置上，防止了下游层的“静默破坏”。
乘法表达性（机制 2）：
- 独立于休眠问题，乘法结构捕捉了输入两种视图之间的二阶交互。这在固定层宽下扩展了函数类，增加了隐藏表征的有效秩。
- 即使在休眠神经元已经很少的 regime 中（例如在使用 LayerNorm 的最先进连续控制方法中），该机制也能提供收益，作为表征增益的独立来源。

主要贡献

识别独特的故障模式： 本文指出，饱和的 tanh 神经元比休眠的 ReLU 神经元更具危害性，因为它们引入固定偏置而非被剪枝。
架构解决方案（HR）： 引入了一种轻量级、对称的乘法层，以二次方降低 tanh 坍缩概率，同时增加有效秩。
机制分析： 从理论和实证上将 HR 的收益分离为“抗饱和性”（在高休眠设置中占主导）和“乘法表达性”（在低休眠设置中占主导）。
无超参数改进： HR 在不进行任何超参数调整的情况下，改进了跨多种算法和领域的性能。

实验结果

作者在五种算法和三个不同领域评估了 HR：

基于像素的离散动作（Atari）：
- DQN & PPO： 在 8 款 Atari 游戏中，将 HR 应用于 tanh 激活函数，将休眠神经元比例降低了约 23%，并增加了有效秩，导致性能比强基线提升超过 10%。
- PQN： 在 51 款 Atari 游戏的大规模评估中，使用 tanh 的 HR 将中位数人类归一化分数提高了 100% 以上（与标准 tanh 相比），同时缩小了与 ReLU 的性能差距，并保持了更高的有效秩。
- 对比： HR 的表现优于其他保持可塑性的方法，如 CReLU 和 ReDo。
基于状态的连续控制（HumanoidBench）：
- 使用SimbaV2（一种休眠神经元率可忽略不计的最先进方法），HR 仍将性能提高了 18%。这证实了即使休眠不是主要瓶颈，机制 2（乘法表达性）也能推动收益。
视觉连续控制（DMC-Visual）：
- 在视觉任务中使用MR.Q，HR 将性能提高了 17%。
- 在困难 Humanoid 任务的扩展训练中，MR.Q + HR 的表现与最先进的 XQC 方法相当，优于 MR.Q 基线和 DrQ-v2。

消融研究：

参数量： 作者将 HR 与参数量匹配的“加宽”基线进行了比较。加宽网络往往导致性能下降（例如 DQN 中下降 46%）或仅提供微小收益，而 HR 则一致地改进了结果。这排除了参数量作为改进唯一解释的可能性。
堆叠： 堆叠多个 HR 块（2HR）并未比单个 HR 块提供额外收益，表明第一层足以捕捉表征增益。

意义与主张

本文声称，Hadamard 表示为无模型 RL 中的表征能力丧失提供了一种通用的、架构层面的修复方案。其意义在于：

通用性： 它改进了基于价值（DQN）、策略梯度（PPO）和向量化（PQN）算法的性能，以及基于状态和视觉的连续控制性能。
简洁性： 它不需要超参数调整，并且可以作为即插即用的层替换集成到现有代码库中。
理论洞察： 它重新框架了对“休眠”神经元的理解，强调对于平滑激活函数，休眠是误差（偏置注入）的主动来源，而非被动剪枝。
未来潜力： 作者指出，非线性分段线性激活函数在 RL 中的潜力被低估了，HR 为 RL 及更广泛的机器学习背景下的架构设计开辟了新途径。

该工作得出结论：虽然 HR 是一个微小的改变，但它解决了深度 RL 训练动力学中的一个根本限制，在其他方法失败或需要特定领域适应的地方提供了持续的收益。