技术摘要：监督学习中的贝叶斯充分表示

问题陈述

表示学习通常被描述为在保留与预测相关的输入信息的同时，丢弃冗余变异的任务。然而，这一定义存在一个根本性的歧义：相关性并非仅由输入分布本身决定的内在属性，而是由数据生成机制与用于评估的具体损失函数共同决定的。

例如，在二分类任务中，对于两个条件概率 $P(Y=1|X=x)$ 分别为 0.55 和 0.95 的输入，在零-一损失（zero-one loss）下需要相同的贝叶斯最优类别决策。相反，在对数损失（log loss）或其他经过校准的概率损失下，这两个输入是不同的，并且需要不同的概率估计。因此，“相关”的信息会随损失函数的不同而变化。本文旨在解决形式化这种损失依赖性的需求，区分仅对最优预测而言是“充分”的表示与那些是“极小”（即不包含比严格要求更多的信息）的表示。

方法论与理论框架

本文建立了一个关于**贝叶斯充分表示（Bayes-sufficient representations）**的决策论框架。

1. 定义

• 贝叶斯充分性（Bayes Sufficiency）： 若存在预测头 $c$，使得复合预测器 $c \circ h$ 几乎处处实现贝叶斯最优动作规则，则称表示 $H = h(X)$ 对于联合分布 $P$ 和损失 $\ell$ 是贝叶斯充分的。
• 贝叶斯商（Bayes Quotient）： 在贝叶斯动作几乎处处唯一的常见情况下，本文定义了一个规范对象，称为贝叶斯商。该商识别出所有需要相同贝叶斯最优动作的输入 $x$。形式上，它是由贝叶斯动作 $a^*_{\ell, P}(X)$ 生成的 $\sigma$-代数。
• 贝叶斯极小性（Bayes Minimality）： 如果一个表示在信息上等价于贝叶斯商（即它生成相同的 $\sigma$-代数），则称该表示是贝叶斯极小的。

2. 特征化

本文证明了一个分解特征化结论：一个表示是贝叶斯充分的，当且仅当至少存在一个贝叶斯最优预测器关于该表示是可测的。

• 充分性： 表示的 $\sigma$-代数必须包含贝叶斯商 ($\sigma(Q) \subseteq \sigma(H)$)。
• 极小性： 表示的 $\sigma$-代数必须等于贝叶斯商 ($\sigma(H) = \sigma(Q)$)。

3. 与属性阐释的联系

该框架将损失函数与它们所阐释的特定条件属性联系起来。不同的损失会诱导不同的贝叶斯商：

• 零-一损失： 阐释贝叶斯类别（最粗糙的商）。
• 平方损失： 阐释条件均值。
• 二元布里尔损失（Binary Brier loss）： 阐释条件概率。
• 对数损失 / 严格适当评分规则（Strictly proper scoring rules）： 阐释完整的条件分布（最精细的商）。

因此，对于给定的分布，损失决定了最优预测所需的最小信息量。

核心贡献

1. 决策论定义： 本文为监督表示提供了一个形式化的贝叶斯充分性定义，证明了充分性等价于贝叶斯最优预测器通过表示进行分解。
2. 贝叶斯商： 它确定了贝叶斯商作为定义相关信息的、依赖于损失的规范对象。它区分了充分性（保留商）与极小性（仅保留商），澄清了一个表示可以通过保留额外的、非必需的信息而保持充分性但非极小性。
3. 属性阐释联系： 它将表示目标与属性阐释理论联系起来，展示了标准监督损失如何诱导特定的表示目标（例如：类别 vs. 概率 vs. 完整分布）。
4. 处理非唯一动作： 该框架扩展到了贝叶斯动作不唯一的情况，通过定义基于表示纤维（representation fibers）上存在共同最优动作而非严格的集合相等来定义充分性。

实验结果

本文通过三种不同的实验设置验证了该理论：

1. 受控有限实验

使用具有已知解析商的合成潜变量律，作者比较了人工定义的表示：

• 结果： 一个粗糙表示 ($S$) 对于零-一分类是充分且极小的，但对于对数损失是不充分的；一个更精细的表示 ($S, T$) 对于对数损失是充分且极小的，但对于分类任务是非极小的；包含无关噪声的表示 ($S, T, U$) 是充分的但非极小的。
• 发现： 实验证实了充分性是依赖于损失的，且表示可以在保持最优性的同时保留非必需的信息。

2. 学习型神经瓶颈实验

神经编码器在源自上述合成潜变量律的连续观测值上进行训练，采用了不同的目标（分类 vs. 概率预测）和容量（紧凑瓶颈 vs. 宽阔瓶颈）。

• 结果： 针对分类（粗糙目标）训练的编码器完美恢复了粗糙商 ($S$)，但无法恢复更精细的变量 ($T, \eta$)；针对概率预测（精细目标）或在更宽容量下训练的编码器则恢复了包括粗糙与精细在内的变量。
• 发现： 目标函数和瓶颈容量共同决定了哪些商变量是可恢复的。概率训练鼓励保留更精细的商，而紧凑的分类训练则趋向于粗糙的商。

3. 真实数据分类学细化（iNaturalist）

利用 iNaturalist 数据集，作者将生物分类学（物种 $\to$ 属 $\to$ 科）作为商细化的结构化类比。

• 结果： 针对细粒度物种标签训练的表示，比针对粗粒度科级标签训练的表示保留了显著更多的物种级信息。相反，针对科级训练的表示（尤其是带有瓶颈约束时）在维持科级准确度的同时，丢弃了大量的物种级信息。
• 发现： 这在现实场景中展示了“充分细化”现象：一个表示可以对粗粒度任务是充分的，但根据训练目标和容量的不同，它会保留（或丢弃）更精细的、非必需的区别。

意义与主张

本文声称形式化了表示学习中经常被混淆的“任务相关”信息与“极小”信息这两个概念。其主要意义在于确立了：

• 相关性是相对于损失的： 不存在单一的、针对某个数据集的“正确”表示；最小预测信息量是由分布与损失函数共同决定的。
• 充分性 $\neq$ 极小性： 一个表示可以对某一任务是最优的（充分的），同时包含冗余信息（非极小的）。贝叶斯商提供了这两个状态之间的精确边界。
• 决策论基础： 通过将表示学习置于统计决策论和属性阐释的视角下，这项工作为理解为什么不同的损失（例如：分类 vs. 校准）需要不同水平的信息保留提供了严谨的基础。

作者指出了一些局限性，承认该理论是总体层面的，尚未完全解决实际深度学习场景中的有限样本估计、优化动力学以及非唯一贝叶斯动作的复杂性问题。然而，该框架为分析在特定损失下，实现贝叶斯最优预测究竟需要多少信息提供了一个清晰的理论目标。