🤖 machine learning

Geometric and Information Compression of Representations in Deep Learning

本文挑战了“输入与表示之间的低互信息意味着几何压缩”这一假设，揭示了两者之间存在一种复杂的非线性关系，其中泛化能力是一个混淆因素，而非直接结果。

原作者： Linara Adilova, Henning Petzka, Asja Fischer, Bernhard C. Geiger

发布于 2026-06-23✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Linara Adilova, Henning Petzka, Asja Fischer, Bernhard C. Geiger

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人识别不同类型的水果。你给它看了成千上万张苹果、香蕉和橙子的照片。机器人的任务是观察图片（即输入），并创建一个秘密的内部摘要（潜表征），以帮助它判断这是哪种水果。

这篇论文提出了一个非常具体的问题，关于那个机器人的“思考方式”：让机器人的内部摘要变得更“小”或更“简单”，是否总是意味着它能将相似的水果更紧密地分组在一起？

长期以来，研究人员一直认为答案是“是的”。他们认为，如果机器人丢弃了大量关于图片的无关细节（低信息量），那是因为它已经把所有的苹果都整齐地堆在了一个紧凑的堆里，把所有的香蕉也放在了另一个堆里，以此类推（高几何压缩）。

这篇论文的作者说：“别急，先别下结论。”

以下是利用简单类比对他们发现的详细解读：

1. 衡量“简洁度”的两种方式

研究人员观察了衡量机器人思维如何被“压缩”的两种不同方式：

信息压缩（“噪声”测试）： 这衡量了机器人记住了多少原始图片的信息。如果机器人几乎忘记了关于特定照片的所有细节（比如光照或背景），而只记住了水果类型，那么它的信息量就很低。
- 类比： 想象你在向一名素描画师描述你的朋友。如果你说：“那是一个人”，你就极大地压缩了信息。你忘记了发色、身高和衣服。
几何压缩（“打包”测试）： 这衡量了机器人将相似物品组合在一起的紧密程度。如果机器人在脑海中把所有的“苹果”图片都聚集成一个微小、紧密的圆圈，并将所有的“香蕉”图片聚集成另一个紧密的圆圈，这就是高几何压缩。
- 类比： 想象一个衣柜。如果你把所有的衬衫都扔成一大堆乱七八糟的堆，那就是低几何压缩。如果你把它们折叠得整整齐齐，并堆成一座精巧、紧凑的塔，那就是高几何压缩。

2. 大惊喜：它们并不总是匹配

论文的主要发现是，低信息量并不自动意味着紧密打包。

作者使用了一个“玩具模型”（一个简单的模拟系统）来展示原因。他们发现有两种方式可以实现“低信息量”（即忘记细节）：

“紧凑堆叠”法： 机器人学得非常完美。它将所有苹果归为一个微小、整齐的堆。它忘记了背景噪声。
- 结果： 低信息量 + 高几何压缩。（这是人们过去所预期的）。
“静态噪声”法： 机器人非常混乱或充满了噪声，以至于它无法分辨苹果和香蕉的区别。它只是输出随机的静态噪声。因为输出的是随机噪声，它没有记住关于输入的任何细节。
- 结果： 低信息量 + 零几何压缩（一切都是一片模糊的混乱）。

类比：
想象你正在尝试整理一副扑克牌。

场景 A： 你按花色和数字完美地进行了分类。你移除了所有的“杂质”（低信息量），且牌被分成了紧凑、整齐的堆（高几何压缩）。
场景 B： 你把扑克牌扔进了搅拌机。搅拌机破坏了扑克牌。现在，你对扑克牌没有任何信息留存了（低信息量），但你也绝对没有得到按花色分类的整齐堆叠（无几何压缩）。

论文表明，在深度学习中，机器人可能会陷入场景 B（仅仅是产生噪声），并且看起来仍然像是压缩了信息，尽管它根本没有组织数据。

3. “困惑”因素：泛化

研究人员发现，“忘记细节”与“将事物打包紧密”之间的关系实际上是负相关且非线性的。

有时，当机器人变得更擅长泛化（预测它从未见过的新的水果）时，这两个度量值会朝着相反的方向移动。
他们怀疑，泛化（机器人处理新数据的能力）实际上扮演了一个“混杂因素”的角色。它是一个第三个因素，干扰了“遗忘”与“打包”之间简单的联系。

可以把这想象成一个学生参加考试：

如果学生完美地背下了答案，他可能会得到高分，但他并没有真正“理解”概念（泛化能力差）。
如果学生理解了概念，他可能会忘记具体的数字，但能掌握逻辑（泛化能力好）。
论文指出，仅仅通过观察“遗忘了多少数据”来衡量“学习”是有误导性的，因为学生的实际理解力（泛化能力）改变了整个局面。

4. 他们是如何证明的

为了证明这一点，他们不仅仅是猜测。他们构建了许多不同的机器人大脑（神经网络），并强迫它们以不同的方式学习：

有些被强迫产生极大的噪声（在它们的思维中加入随机静态）。
有些被强迫进行紧密分组（使用一种特殊的规则来进行聚类）。
他们在图像（如猫和狗）和文本（如新闻文章）上测试了这些机器人。

结果： 在几乎所有的这些实验中，他们发现低信息量并不可靠地意味着紧密打包。 事实上，有时打包越紧密，机器人表现出的信息量似乎就越多，反之亦然。

核心结论

长期以来，科学家们一直认为：“如果机器人忘记了细节，它一定是在完美地组织数据。”

这篇论文说：“不一定。”

机器人忘记细节，可能是因为它在完美地组织，也可能是因为它只是处于混乱和噪声状态。你不能将“它遗忘了多少”作为一个简单的捷径来衡量“它组织得有多好”。

论文总结道，当我们试图解释深度学习为什么有效时，我们需要更加谨慎。我们不能简单地说“它压缩了数据”，因为压缩可以通过两种截然不同的方式发生：一种是聪明的（良好的聚类），另一种仅仅是混乱的（噪声）。

技术摘要：深度学习中表示的几何压缩与信息压缩

问题陈述
深度神经网络（DNNs）将输入数据转化为用于下游任务的潜在表示（latent representations）。这些表示通常通过两个不同的视角进行分析：一是通过输入与表示之间的互信息（MI）来衡量的信息论压缩；二是由于表示聚类（如神经崩溃，neural collapse）所表征的几何压缩。此前的研究曾暗示这两类压缩之间存在紧密的正相关关系——即低 MI 意味着紧密的几何聚类——但两者的精确关系仍不明确。一个核心的开放性问题是：输入与表示之间的低 MI 是否必然导致几何压缩的潜在空间，反之亦然？此外，泛化能力在调节这一关系中的作用尚不清楚。

研究方法
作者使用两个不同的实验框架来研究这种相互作用，旨在诱导信息论属性和几何属性的变化：

条件熵瓶颈（CEB）网络： 这些模型利用数据依赖的加性高斯噪声。训练目标是在保持分类性能的同时，最小化条件熵瓶颈 $I(X; Z|Y)$ 。通过对权衡参数 $\beta$ 进行扫描，作者生成了具有不同程度的 MI 压缩度和泛化能力的模型。MI 通过嵌入在训练损失中的变分界限被直接估计。
高斯 Dropout 网络： 这些模型采用乘性固定方差噪声（连续 Dropout）。为了在不改变噪声方差的情况下诱导几何压缩的变化，作者引入了一个基于神经崩溃（NC）统计量的几何正则项。这使得在保持噪声注入机制不变的情况下，能够训练出具有不同簇紧密度的模型。对于这些确定性特征明显的模型（仅通过 Dropout 引入随机性），MI 使用差异熵（DoE）估计器进行外部估计，该估计器通过参数化逻辑分布近似无条件熵和条件熵。

理论基础
对于 Dropout 正则化网络的研究，一个关键的前提是必须保证输入与表示之间的 MI 是有限的。论文证明了定理 1，将先前针对 ReLU 网络的结果扩展到了具有任意实解析激活函数（如 GELU、sigmoid）的网络。该证明依赖于 Lojasiewicz 结构定理，以证明实解析函数的零点集测度为零，且函数在零点附近表现为多项式行为，从而确保了实现有限 MI 所需的期望对数行列式的有限性。这为对现代架构应用信息论分析奠定了坚实的理论基础。

主要结果
本研究评估了 8 种架构（包括全连接网络、CNN 和 Transformer），涵盖 5 个数据集（视觉和 NLP 任务），并训练了约 500 个模型。分析侧重于训练结束时的表示，而非训练动态。

负向非线性相关性： 与“低 MI 与紧密几何聚类（低 NC）总是同时发生”的直觉相反，实验揭示了 MI 与几何压缩之间存在一致的负向且非线性相关关系。在许多设置中，MI 较低的模型反而表现出更松散的几何聚类，反之亦然。
泛化作为混杂因素的角色： MI 与几何压缩之间的关系并非是不变量。相关性的符号和强度取决于训练机制和模型的泛化能力。例如，在高斯 Dropout 实验中，改变正则化强度 $\lambda$ 会产生相关性为负、接近零甚至为正的各种机制。作者观察到，在泛化能力稳定的机制下，相关性趋于消失或反转，这表明泛化能力是一个混杂因素，而非 MI 或几何压缩指标的直接结果。
压缩类型的解耦： 一个玩具模型分析（图 1）表明，低 MI 可源于两个截然不同的来源：(1) 强几何聚类（较小的编码器扩散）；或 (2) 高噪声方差（无信息的编码器）。几何压缩（神经崩溃）仅在前者情况下发生。这解释了为什么低 MI 并不能可靠地预测几何压缩。

意义与主张
本文通过挑战“信息论压缩与几何压缩是表示质量或泛化能力的可互换代理指标”这一假设，为表示学习的争论做出了贡献。

理论贡献： 针对具有解析激活函数的连续 Dropout 网络证明其 MI 有限性，使得对更广泛的现代架构进行严谨的信息论分析成为可能。
经验洞察： 研究结果表明，信息压缩与几何压缩之间的联系比此前认为的更为微妙。作者认为，泛化能力可能是观察到的 MI 与几何聚类之间关系的潜在混杂因素。
局限性： 作者强调，其结论取决于所使用的特定 MI 估计器（用于 CEB 的变分界限和用于 Dropout 的 DoE），并且需要跨估计器的系统比较来验证所观察到的 MI-NC 关系的稳健性。他们明确指出，关于 MI、几何压缩与泛化能力之间的因果结构，仍需要超越目前呈现的相关性证据进行进一步研究。

论文得出结论：仅基于 MI 或几何压缩中的任一方面来做出关于泛化的断言应当持谨慎态度，因为这两个指标并不一定对齐，并且会根据训练设置表现出复杂的、非线性的相互作用。

1. 衡量“简洁度”的两种方式

2. 大惊喜：它们并不总是匹配

3. “困惑”因素：泛化

4. 他们是如何证明的

核心结论

类似论文