💻 computer science

A Fiber Criterion for Representation Identifiability in Supervised Learning

本文确立了在监督学习中，表示层属性仅从输入-输出行为中是可辨识的，当且仅当这些属性在预测因子的所有可能分解中保持不变，从而证明了关于表示的断言本质上需要超越监督性能的假设或目标。

原作者： Vasileios Sevetlidis

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Vasileios Sevetlidis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“黑盒” vs. “内在故事”

想象一下，你雇佣了一位厨师来做一道特定的菜，比如培根蛋酱面（Spaghetti Carbonara）。你仅仅通过最后端上桌的那盘菜来评价这位厨师。如果味道完美，你会说：“做得好！”

在机器学习中，这就是监督学习（Supervised Learning）。我们观察输入（原材料）和输出（最终成品）。如果模型预测出了正确答案，我们就假设它已经学到了正确的东西。

然而，现代 AI 模型通常被描述为正在“学习表示（learning representations）”。这意味着我们假设模型不仅仅是在瞎猜；它构建了一个内在的“思维地图”。我们声称诸如：

“模型学会了忽略背景。”
“模型高效地压缩了数据。”
“模型理解了‘鸟’的概念，无论是在水面上还是陆地上。”

这篇论文的大问题是：我们真的能仅通过观察最终的成品（预测结果）来了解这些事情吗？

答案是：不能。（“纤维”问题）

论文指出，仅仅通过品尝食物，你无法得知厨师脑子里在想什么。

作者使用了一个数学概念，叫做**“纤维（Fiber）”**。想象一捆不同的烹饪方法，它们最终都能做出味道完全相同的培根蛋酱面。

厨师 A 使用新鲜优质的鸡蛋，并忽略了盐分的含量。
厨师 B 使用蛋粉，并加入了一种完全不会改变味道的秘密、无用的香料。
厨师 C 使用新鲜鸡蛋，但同时偷偷记录着室外的天气情况（这与意面无关）。

如果你只品尝面条的味道，这三位厨师看起来是完全一样的。 他们处于同一个“纤维”之中。因为最终结果相同，监督学习无法告诉你哪位厨师在使用新鲜鸡蛋，哪位在忽略盐分，或者哪位在偷偷记录天气。

“魔术戏法”（预测保持增强）

论文通过一个简单的技巧证明了这一点，这个技巧叫做**“预测保持增强（Predictor-Preserving Augmentation）”**。

假设你有一个完美的 AI 模型来识别鸟类。它看了一眼照片并说：“是老鹰。”
现在，论文提出：我可以秘密地向模型的“大脑”中添加一些无用的信息，而不改变它的答案。

戏法： 我们取出模型的内部“大脑”（表示），并在其上附加一段新的、无用的数据。比如，我们将当前温度或一个随机数附加到鸟类的图像数据上。
修正： 我们告诉模型的最后一部分（“头部/Head”）去忽略这段新数据。它只关注鸟的部分。
结果： 模型仍然以 100% 的准确率说出“老鹰”。预测结果完全没有改变。

但问题在于：

该模型不再是“极简的”（它携带了额外的权重）。
该模型不再是“不变性的”（如果温度改变，即使鸟还是那只鸟，内部数据也会改变）。
模型现在包含了“冗余信息（nuisance information）”（即温度）。

因为我们可以针对任何属性进行这种戏法（压缩、不变性、语义含义），所以这些属性都无法仅由预测结果来保证。 预测是固定的，但内在的故事可以完全不同。

这意味着什么——关于“主张”

论文引入了**“纤维准则（Fiber Criterion）”**。它指出：

关于模型“知道”了什么的说法（例如“它是压缩的”或“它是具有不变性的”），只有当每一个可能的模型版本（产生相同预测的模型）都具备该特征时，该说法才成立。

既然我们刚刚证明了你可以轻易地向模型中添加“垃圾”而不改变预测，那么如果仅看预测结果，关于模型内部大脑的这些酷炫主张都是未经证实的。

我们如何解决这个问题？

如果我们想确保模型是“不变的”或“压缩的”，我们不能仅仅依赖预测。我们必须添加额外的规则（论文称之为“归纳偏置/感应偏置”或“假设”）。

这就像是雇佣一位带有合同约束的厨师：

没有合同： 你得到了好吃的菜，但你不知道他们是用新鲜食材，还是在记录天气。
有了合同（架构限制）： 你强制要求厨师使用特定类型的锅（架构），或者限制食材的数量（瓶颈）。
有了惩罚（正则化）： 如果厨师使用了过多的食材，你会对他进行罚款。

论文的结论是：关于内部表示的主张需要这些额外的“合同”。你无法仅从最终结果中推导出它们。

一句话总结

仅仅因为机器学习模型得到了正确答案，并不意味着它学习了“正确”的方法；它可能正在使用一种完全不同、混乱或低效的内在方法，而这种方法恰好产生了相同的结果，且在不添加额外规则的情况下，我们无法分辨其中的区别。

技术摘要：监督学习中表示可识别性的纤维准则

问题陈述
在监督学习中，模型通常根据其输入-输出行为（预测准确率或风险）进行评估。然而，现代模型通常不仅被视为预测器，更被解释为表示学习器，其中内部映射 $h$ 被声称具有特定的结构属性，如压缩性、不变性、解耦性或语义可访问性。本文识别了一个根本性的差距：监督证据约束的是复合预测器 $f = c \circ h$ （其中 $h$ 将输入映射到表示， $c$ 将表示映射到输出），但它并不一定决定实现该预测器的特定分解 $(h, c)$ 。

两种不同的分解可以诱导出完全相同的预测器 $f$ ，但却拥有截然不同的内部表示。例如，一种表示可能会丢弃干扰信息，而另一种则可能保留这些信息；一种可能是压缩的，而另一种则可能不是。本文形式化了这样一个问题：哪些关于内部表示 $h$ 的属性是由诱导预测器 $c \circ h$ 唯一确定的？ 作者认为，如果没有额外的假设，许多常见的表示层面的主张无法仅从监督预测行为中识别出来。

方法论与理论框架
本文通过基于表示-头部对空间中**纤维（fibers）**概念的形式化可识别性框架来处理这一问题。

预测器等价性与纤维：
令 $\mathcal{M}$ 为一类可容许的表示-头部对 $(h, c)$ 。本文定义了一个投影映射 $\Pi: \mathcal{M} \to \Pi(\mathcal{M})$ ，其中 $\Pi(h, c) = [c \circ h]_{P_X}$ ，代表在 $P_X$ -几乎处处相等的意义下确定的诱导预测器。
- 两个对 $(h, c)$ 和 $(\tilde{h}, \tilde{c})$ 是预测器等价的，如果它们诱导出相同的预测器（即 $c \circ h = \tilde{c} \circ \tilde{h}$ 几乎处处成立）。
- 诱导出相同预测器的所有对构成了 $\Pi$ 的一个纤维。
纤维/下降准则（Fiber/Descent Criterion）：
核心理论结果（定理 3.3）建立了表示可识别性的充分必要条件：
- 一个表示属性 $P$ 是从诱导预测器中可识别的，当且仅当 $P$ 在 $\Pi$ 的每个纤维上是常数。
- 等价地， $P$ 必须“下降”（descend）为预测器本身的一个良定义属性。如果 $P$ 在单个纤维内发生变化（即两种分解产生相同的预测器，但具有不同的 $P$ 值），那么 $P$ 就不能仅从预测器中推断出来。
增广阻碍（The Augmentation Obstruction）：
为了证明不可识别性，本文引入了一种规范的构造，称为预测器保持增广（predictor-preserving augmentation）。
- 给定一个分解 $(h, c)$ 和一个辅助统计量 $q(x)$ ，可以构造一个新的表示 $h_q(x) = (h(x), q(x))$ 和一个新的头部 $c_q(u, v) = c(u)$ 。
- 新头部忽略了附加的坐标 $q$ ，从而确保 $c_q \circ h_q = c \circ h$ 在逐点意义下成立。预测器和监督风险保持不变。
- 然而，新的表示 $h_q$ 在最小性、压缩性、不变性或语义可访问性等属性上可能与 $h$ 不同。
- 定理 3.5（增广阻碍）： 如果模型类 $\mathcal{M}$ 对预测器保持增广是封闭的，那么任何在应用此类增广时发生变化的表示属性都无法从诱导预测器中识别（因此也无法从标量监督风险中识别）。
恢复可识别性：
本文指出，可以通过限制可容许类 $\mathcal{M}$ （例如通过架构约束、瓶颈或归纳偏置）来恢复可识别性，从而排除这些“坏的”增广；或者通过丰富观测对象（例如添加辅助损失、多环境或直接测量）来实现。

主要贡献

形式化表示可识别性： 本文严格地根据诱导预测器定义了表示层面的可识别性，将其与潜在生成因子的统计可识别性区分开来。
纤维/下降准则： 它提供了一个严谨的数学准则（定理 3.3），指出一个属性是可识别的，当且仅当它在从分解到预测器的投影的纤维上是常数。
通用阻碍机制： 它将预测器保持增广识别为不可识别性的通用见证，适用于常见的期望属性，包括最小性、压缩性、不变性、等变性、干扰消除和语义可访问性（表 1）。
经验诊断： 本文提供了两类经验证据：
1. 精确代数见证： 在 CelebA、CIFAR-10、STL-10、OfficeHome 和 PACS 上的实验，其中将辅助信息（语义属性、变换嵌入、领域标签）附加到表示中。结果显示，虽然预测器保持一致（零差异），但标准诊断指标（探测准确率、不变性距离、有效秩）发生了剧烈变化。
2. 性能匹配研究： 一项在 Waterbirds 数据集上比较不同约束训练模型的研究（对比 ERM、Bottleneck、VIB、AugInv、SupCon），这些模型实现了相似的监督性能。结果表明，尽管具有相当的测试准确率和损失，这些模型选择了不同的表示诊断指标（例如，有效秩、干扰可解码性）。

结果

理论层面： 本文证明了压缩性、不变性和语义可访问性等属性并不是单纯由监督预测产生的结果。除非受到限制，否则它们在诱导预测器的纤维内是变化的。
经验层面：
- 在精确见证实验中，将单个坐标（例如领域标签）附加到表示中，使得一个探测器能够以 100% 的准确率解码该信息，而原始表示则无法做到，尽管预测器的输出保持不变。
- 在 Waterbirds 研究中，具有匹配测试准确率的模型表现出显著的表示属性分歧。例如，信息瓶颈（Information Bottleneck）方法选择的表示秩极低（有效秩 $\approx 1.8$ ），而 ERM 的有效秩约为 $35.7$；同时，增广不变性（augmentation-invariance）方法降低了变换敏感性，但保持了较高的干扰可解码性。至关重要的是，最差组准确率（worst-group accuracy）与干扰探测准确率之间并不存在单调相关性，这表明表示层面的主张需要超越预测性能的特定证明。

意义与主张
本文旨在澄清监督预测行为与内部表示属性之间的逻辑关系。其主要贡献是一个关于监督学习对于表示主张之充分性的否定性结果：

监督预测行为仅在属性由诱导预测器决定时，才能证明表示层面的属性。
关于压缩性、不变性或语义结构的说法，并不是低监督损失的自动结果。
为了证明这些主张，必须依赖于超出预测器之外的额外结构，例如架构限制、正则化、瓶颈、数据增广、辅助目标、因果假设或直接的表示层面测量。

本文得出结论，表示层面的可识别性取决于可容许分解类的性质。如果没有约束来缩小预测器纤维或选择特定的代表，监督模型的内部结构在仅由输入-输出行为定义的范围内仍是欠定的。