🤖 machine learning

The Information-Theoretic Benefit of Shared Representations under Orthogonality Constraints

本文通过展示由共享的 Rademacher-Haar 特征与任务特定 Sawtooth-Walsh 读取器构成的组合架构所产生的最优速率中的锐利差距，提供了一个信息论证明，证明了在存在正交性约束的情况下，对共享潜在硬特征的多任务问题进行联合逼近所需的描述比特数，严格少于进行单独逼近所需的比特数。

原作者： Thomas Dittrich, Oliver Potocki, Philipp Grohs

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Thomas Dittrich, Oliver Potocki, Philipp Grohs

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：分担重任

想象你是一家建筑公司的负责人，任务是建造 100 栋不同的房子（这些就是你的“任务”）。

旧方法（独立近似）： 你雇佣了 100 支不同的团队。每支团队都从零开始。他们都必须各自挖掘地基、浇筑混凝土、搭建框架。即使所有的房子都需要完全相同类型的地基，A 队也不会与 B 队沟通。他们各自独立完成地基建设。这是极其浪费的。
新方法（联合近似）： 你聘请了一位总建筑师和一支地基施工队。他们建造 一个单一且完美的底座，供所有 100 栋房子共同使用。然后，100 个不同的小型团队只需在那个共享的地基之上，建造独特的上层建筑（即“头部”）。

这篇论文从数学上证明了，“新方法”不仅是一个好主意，而且在信息量方面严格更加高效，即便你加入了一个非常严格的规则：这 100 栋房子在特定且僵化的方式下必须完全不同。

严格规则：“正交性”约束

在现实世界中，如果你在一块地基上建造 100 栋房子，它们看起来可能会过于相似。在数学和物理学中，有一个规则叫做正交性（Orthogonality）。你可以把它想象成一条规则，规定：“每栋房子必须朝向完全不同的方向，就像坐标系上的 X、Y 和 Z 轴一样。它们不能重叠，也不能共享任何‘方向’。”

通常，人们会认为：“如果输出结果必须完全不同（正交），那么我们之间就不能共享任何信息。我们必须把一切都分开处理。”

这篇论文证明了这种直觉是错误的。 即便有这种严格的“无重叠”规则，你仍然可以共享那些繁重的劳动成果。

“难特征” vs. “易头部”

作者创建了一个特定的数学谜题来测试这一点。他们设想了一个场景：

难的部分（地基）： 存在一种混沌、复杂的模式（类似于锯齿状的随机波形），这种模式非常难以描述或压缩。我们称之为“Rademacher-Haar”特征。
易的部分（头部）： 存在一些简单的工具（称为“Sawtooth-Walsh”函数），它们可以将那种混沌的模式扭转成 100 种完全不同的形状。

陷阱在于：

如果你试图分别描述这 100 种形状，你就必须把那个混沌的“难部分”描述 100 次。
如果你联合描述它们，你只需要描述那份混沌的“难部分一次”，然后只需列出 100 种不同扭转方式的指令即可。

结果：巨大的节省

论文计算了描述这些形状究竟需要多少“比特”（信息单位）。

独立方法： 你要为那份沉重的混沌支付 100 次全额代价。
联合方法： 你只需为那份沉重的混沌支付一次全额代价。

结果如何？联合方法的效率大约是 M/4 倍（其中 M 是任务数量）。如果你有 100 个任务，联合方法会节省大量的“描述空间”。

与“神经网络”的联系

作者不仅是在做抽象数学，他们还展示了神经网络（现代 AI 的大脑）是如何实现这一点的。

他们构建了一个拥有共享“躯干”（地基）的网络，该躯干负责学习混沌模式。
他们在躯干上连接了 M 个不同的“头部”（读出层），用于应用特定的扭转。
他们证明了，即使网络被迫遵循严格的几何规则（正交性），“躯干”仍然承担着主要的重任，而“头部”只需进行最后的收尾工作。

“为什么这很重要”（不带夸张）

在 AI 领域，我们经常使用“基础模型”（Foundation Models，如聊天机器人背后的模型）。这些模型学习一次通用的表示，然后将其适配到许多特定任务中。

论文的观点： 这之所以奏效，不仅是因为统计学或运气，更是因为信息论。如果多个任务共享一个隐藏的、难以描述的特征，那么描述一次该特征并重复使用它，比一遍又一遍地描述它在数学上要便宜得多。
转折点： 即使任务被强制要求在数学上是“正交”的（完全不同的），这种效率增益依然存在。约束并不会抹杀共享带来的好处。

总结类比

想象你正试图给 100 位朋友发送消息。

消息内容： 一串非常长、非常复杂且随机的数字（即“难特征”）。
规则： 每位朋友收到的消息看起来必须完全不同（正交性）。
独立方法： 你写下这串长长的随机数字 100 次，然后在每封信里加一点点小备注，让它们看起来各不相同。你寄出了 100 封巨大的信件。
联合方法： 你只写下这串长长的随机数字一次。你为 100 个信封各准备了一个微小的、独特的“解码钥匙”。你寄出了 100 封小信件。

论文证明了，联合方法是实现真正高效的唯一途径，即便规则规定最终的消息看起来必须完全不同。真正的“成本”在于那串随机数字，而不是那些解码钥匙。

技术摘要：正交性约束下共享表示的信息论优势

问题陈述
现代深度学习架构，特别是基础模型，日益依赖于共享表示，即由单个主干网络（backbone）为多个任务特定头（task-specific heads）提取特征。虽然经验证据表明，联合多任务学习优于独立的单任务学习，但关于联合近似与独立近似在参数复杂度方面的严谨理论理解仍然有限。当模型必须满足结构化约束（例如确保物理守恒律或等变性，这在科学机器学习中很常见）时，这一差距尤为显著。本文探讨的核心问题是：即使在组件受正交性约束的情况下，一个向量值函数 $F = (f_1, \dots, f_M)$ 的联合近似是否能比其分量的 $M$ 个独立近似获得更优的近似速率。作者在一致范数（ $L^\infty$ ）下进行了研究，这一范式对于科学应用至关重要，因为在这些应用中，误差保证必须在任意空间或时间位置都成立，而不依赖于采样测度。

方法论
作者采用一种基于有限位离散化（编解码理论）的信息论框架，来量化近似函数类所需的描述长度。他们构建了一个特定的正交向量值函数类，旨在隔离共享特征与任务特定读出（readout）之间的复杂度。

函数类构建：
- 共享特征： 核心难度嵌入在一个标量 Rademacher-Haar 小波级数 $g$ 中。该级数的系数构成了一个由独立符号组成的二进树，这为一致近似制造了“困难”目标，因为未解析的尾部承载了绝大部分复杂度。
- 正交头： 为了在不消除共享信息的前提下强制执行正交性，作者将 $g$ 与锯齿-沃尔什（Sawtooth-Walsh）函数复合。这些读出函数 $f_i$ 是非线性映射，它们使输出去相关（确保 $\langle f_i \circ g, f_j \circ g \rangle = \delta_{ij}$ ），同时保留了共享特征 $g$ 中的近似难度。
- 复合： 目标函数类为 $\mathcal{F} = \{ (f_0 \circ g, \dots, f_{M-1} \circ g) \mid g \in \mathcal{G} \}$ 。
编码方案：
- 独立编码： $M$ 个独立的编码器/解码器对，每个分配一个比特预算 $n_i$ ，分别近似每个坐标 $f_i \circ g$ 。
- 联合编码： 一个单一的编码器/解码器对，总比特预算为 $N = M \cdot \min(n_i)$ ，同时近似整个向量函数。
神经网络实现：
- 为了弥合抽象编解码理论与神经网络之间的鸿沟，作者构建了显式的 Heaviside 激活网络。他们利用了截断 Haar 小波和小波函数的分段常数特性。
- 点乘运算（实现复合 $f_i \circ g$ 所需）是通过递归三角形波近似（基于 Yarotsky, 2017）实现的，这允许网络近似共享特征尾部与固定读出函数之间的乘积。

关键结果
论文通过为构建的函数类建立了一种在联合编码与独立编码之间存在锐利分离的近似速率：

理论差距（定理 8）： 对于由共享 Rademacher-Haar 特征生成的 $M$ 个正交函数类，其最优独立近似误差与最优联合近似误差的比率下界为：
$\frac{\|F - \delta^{(S)}_D \circ \delta^{(S)}_E(F)\|_\infty}{\|F - \delta^{(J)}_D \circ \delta^{(J)}_E(F)\|_\infty} \geq \frac{M}{4} \cdot \frac{1 + 1/N}{1 + 2M^2/N}$
在渐近意义上，这产生了一个 $M/4$ 阶的差距。这表明，一个独立的编解码器必须对这个共享的“困难”特征进行 $M$ 次编码（每个坐标一次），而一个联合编解码器只需对其进行一次编码，无论输出是否满足正交性约束。
截断的最优性： 作者证明了截断 Rademacher-Haar 级数是该类函数的最优有限位离散化映射，并提供了带有精确常数的显式上下界。这避免了对渐近度量熵估计的依赖。
神经网络实现（推论 19）： 这种分离通过显式的 Heaviside 神经网络得以实现。具有共享躯干（编码 Haar 特征）和固定读出头的联合架构，可以达到与最优联合编解码器相同的比特经济性。相反， $M$ 个具有匹配总描述长度的独立网络则会遭受 $O(M)$ 阶的近似速率退化。

意义与主张
作者声称，他们提供了第一个从近似理论角度对共享表示优势进行的严谨数学处理，特别是在存在正交性等几何约束的情况下。

反驳冗余论点： 研究结果澄清了联合学习的优势并非仅仅是统计平均、线性冗余或分布假设的产物。相反，增益严格源于通过仅编码一次而非 $M$ 次共享潜在特征所实现的信息复杂度的降低。
正交性兼容性： 该研究表明，正交性约束（通常被视为限制性因素）并不排除共享表示的效率。通过将约束转移到非线性读出头中，共享特征仍然是近似难度的唯一来源。
基础模型洞察： 这项工作为基础模型的“共享躯干、多头”架构提供了理论依据。它表明，即使输出必须满足严格的物理或几何约束（如正交性），特征提取的高昂成本也可以通过任务进行摊销，前提是这些任务共享某种潜在结构。

论文最后进行了谦逊的总结，指出虽然该机制已在特定的构造类（Rademacher-Haar 结合 Sawtooth-Walsh）中得到证明，但确定这种因子- $M$ 的分离是否会对更广泛的神经网络类、更平滑的特征或其他约束（如等变性）持续存在，仍是一个开放性问题。