技术摘要：以人为本的学习力学（HCLM）

问题陈述

当前深度学习的理论框架主要将训练建模为固定参数空间内的封闭优化系统。虽然这种“学习力学”视角已成功解释了稳定性边缘和平均场极限等现象，但它不足以应对现实世界的人工智能（AI）。现实世界系统运行于开放环境中，其特征包括不确定性、分布偏移、资源约束以及持续的人类反馈。

在熵正则化的应用方面存在一个具体缺口。虽然熵项常被纳入目标函数以鼓励泛化或压缩，但标准的熵惩罚往往是“动态无效”的。它们可能产生可忽略、不稳定或对齐不佳的梯度，导致学习动力学崩溃为普通的损失最小化。本文认为，简单地附加一个熵项是不足的；要使熵发挥作用，它必须诱导一种非退化的“信息力”，主动塑造表示空间的几何结构。

方法论：HCLM 框架

本文提出了以人为本的学习力学（HCLM），这是一个将学习视为开放、熵调节的热力学系统的动力学和信息论框架。

核心概念架构

HCLM 将连续学习过程建模为四种力的相互作用：

1. 任务驱动的信息注入：预测损失（$L_{pred}$）迫使模型吸收任务相关的结构。
2. 熵诱导的耗散：一种显式的基于熵的机制来调节表示几何结构。关键在于，这并非为了熵本身而添加，而是必须产生可测量的信息力。
3. 结构约束：关于稀疏性、不变性或可解释性的先验作为结构力发挥作用。
4. 人在回路控制：人类反馈或奖励信号（例如在 RLHF 中）被建模为外部控制输入，用于调节信息注入与熵耗散之间的平衡，而不是直接扰动高维参数。

实际公式

该框架定义了一个实用的能量函数：
$$F(\theta) = L_{pred}(\theta) + \beta \tilde{H}(\tilde{Z}_\theta) + \gamma\Omega(\theta) + \lambda R_{dec}(\theta)$$
其中 $\tilde{Z}_\theta$ 是引入的噪声表示（$h_\theta(X) + \xi$），以确保微分熵定义良好。本文评估了三种具体的熵代理：

• Softmax 归一化熵：发现其动态性较弱，通常会抹去几何尺度。
• 基于方差的熵：控制边际离散度，但忽略相关结构。
• 对数行列式协方差熵（$\tilde{H}_{logdet}$）：一种可处理的几何代理，能够捕捉多元表示体积和相关结构。

学习动力学由自适应“恒温器”系数 $\beta_t$ 控制，该系数根据外部反馈信号调整熵耗散的强度（算法 1）。

主要贡献

1. 有效熵的形式化

本文引入了有效熵的概念，其定义并非基于熵的标量大小，而是基于其在优化轨迹上诱导的信息力（$G_H = \nabla_\theta H$）。

• 退化崩溃：作者证明，如果熵代理的梯度相对于预测损失梯度渐近可忽略（$\|\nabla H\| = o(\|\nabla L_{pred}\|)$），则熵贡献将崩溃，系统退化为标准梯度下降。
• 定义：仅当熵代理在训练路径的非平凡部分产生不可忽略的信息力时，它才是“动态有效”的。

2. 理论基础

本文在明确假设下推导了若干理论结果：

• 收敛性：在标准平滑性和能量下有界的假设下，熵约束动力学收敛于一阶平稳性。
• 熵流恒等式：一个连续时间恒等式描述了熵的演化，即注入（由预测损失驱动）与耗散（由熵系数 $\beta$ 驱动）之间的平衡。
• 通过噪声压缩实现泛化：作者没有依赖参数空间 PAC-Bayes 复杂度与表示熵之间可能缺乏正当性的等价性，而是基于噪声表示压缩推导了泛化界。他们表明，如果对数行列式熵随样本量呈次线性增长，则泛化间隙会缩小。
• Wasserstein 梯度流：学习过程被表述为福克 - 普朗克方程，将学习解释为耗散随机过程，其中预测损失、熵产生和控制共同塑造参数的概率分布。

3. 缩放定律的条件性解释

本文对神经缩放定律提供了条件性机制解释，避免了普遍推导的断言。它提出，幂律改进仅在存在兼容的平衡时才会出现：

• 信息注入（$I(S) \sim S^\alpha$）
• 熵耗散（$D(S) \sim S^\gamma$）
• 风险响应

当有效信息比率 $R(S) = I(S)/D(S)$ 以受控方式增长时，会出现稳定的缩放。如果耗散太弱，系统会变得不稳定；如果太强，有用信息将被抑制。

实证结果

作者在表示学习任务（使用 Transformer 架构）上进行了受控实验，以隔离动力学机制，避免大规模工程带来的混淆因素。

• Softmax 熵：被证明是较弱的代理。增加熵系数 $\beta$ 并未在测试损失或泛化间隙上带来稳定的改进。诱导的信息力微弱且充满噪声。
• 方差熵：表现出更强的性能，稳定了测试损失并减少了泛化间隙。它成功维持了受控的信息力。
• 对数行列式熵：为 HCLM 提供了最强的实证支持。
  • 它诱导了最强且最稳定的信息力。
  • 它揭示了三种不同的表示几何机制：未正则化（高力）、固定混合（在极端情况下不稳定）和自适应恒温器（稳定、低力）。
  • 自适应恒温器：基于奖励信号动态调整 $\beta_t$ 的 RL-恒温器机制，实现了最高的人类/RL 奖励和最稳定的低损失轨迹。这支持了人类反馈作为调节熵耗散的热力学控制信号的假设。

意义与主张

本文将 HCLM 定位为现有优化器（SGD、Adam）或对齐方法（RLHF）的补充，而非替代品，而是作为理解受控学习动力学的诊断和机制框架。

• 适度范围：作者明确指出，HCLM 并不声称仅靠熵正则化就能解释泛化或对齐。相反，它隔离了一个特定的动力学机制：仅当熵诱导非退化力时，学习才会受到熵的影响。
• 视角转变：它将学习从静态优化问题重新框架化为开放的、受控的非平衡过程。
• 实用价值：该框架提供了一种测试熵代理在训练过程中是否真正“发挥作用”的方法。它表明，几何代理（如对数行列式协方差）优于边际或基于 Softmax 的代理，因为它们保留了生成有效信息力所需的几何结构。
• 未来方向：本文指出了未解决的问题，包括从第一性原理推导缩放定律、分析随机梯度下闭环动力学的稳定性，以及将这些诊断扩展到大规模现实世界系统和增强记忆架构。

总之，本文认为，要使熵正则化在深度学习中具有意义，必须将其操作化为一种主动塑造表示几何结构的动态力，而不是作为静态的复杂度惩罚。