📊 statistics

Geometry-Aware Bayesian Quantification via Compositional Data Analysis

本文介绍了一种几何感知贝叶斯量化方法，该方法利用对数比表示和 Aitchison 几何来解决欧几里得核在建模分类器后验分布时的局限性，从而改善了跨不同数据领域的标签偏移自适应和流行度估计。

原作者： Alejandro Moreo, Pablo González, Juan José del Coz

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Alejandro Moreo, Pablo González, Juan José del Coz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正在试图弄清楚一个你无法直接看到的群体构成的侦探。你拥有一个“水晶球”（一个机器学习模型），它观察人们并猜测他们的职业。有时，你的水晶球非常自信（“这绝对是一名医生！”），有时则显得犹豫不决（“也许是护士，也许是老师？”）。

你的问题在于，你现在观察的这个群体（测试数据）可能与水晶球训练时所见的群体有着不同的职业构成。例如，训练时的群体中可能有 50% 是医生，但新的群体中可能有 90% 是医生。这就是所谓的标签偏移（Label Shift）。

你的目标是量化（Quantification）：你不需要猜出每一个人的职业；你只需要准确地估算出新群体中医生、护士和老师的百分比。

问题：“平面地图”错误

该论文指出，目前解决这一问题的多数方法是在用一张“平面地图”去航行于一个“弯曲的世界”。

弯曲的世界（单纯形/Simplex）： 你的水晶球给出的概率（例如：80% 医生，20% 护士，0% 老师）总是相加等于 100%。在数学中，这被称为单纯形（Simplex）。把它想象成一张三角形的纸。你不能“跳出”这张纸；如果你增加了医生的比例，你必须减少护士或老师的比例。它们是相互锁定的。
平面地图（欧几里得空间/Euclidean Space）： 标准方法将这些概率视为平面网格上的点（就像标准的 X-Y 坐标图）。它们使用“高斯核”（Gaussian kernel），这本质上是一个钟形曲线（正态分布）。
错误所在： 如果你在三角形纸张的边缘附近的一个平面网格上画一个钟形曲线，那么这个曲线的一半会“溢出”到纸张之外。在数学上，这意味着它分配了不可能存在的概率（比如出现 -5% 的医生或 110% 的医生）。这种“泄漏”会导致数学计算变得混乱且不准确，尤其是在水晶球非常自信时（这会将数据推向三角形的边缘）。

解决方案：一个新的指南针和一个安全网

作者提出了一种新的数学处理方式，这种方式尊重三角形的形状。

1. 新的指南针（成分数据分析/Compositional Data Analysis）：
他们没有使用平面网格，而是使用了一种特殊的数学变换（称为对数比/log-ratio），将三角形的纸张变成一个平坦的表面，且不会撕裂或溢出边缘。这就像展开一张地球地图，使距离和角度相对于彼此而言是合理的。这使得他们可以在保持完全处于三角形内部的前提下，绘制他们的“钟形曲线”（核）。

2. 安全网（收缩法/Shrinkage）：
这里有一个问题。当水晶球过于自信时（例如说 99.9% 是医生），这个新地图上的数学运算在极度靠近边缘时可能会变得不稳定且摇摆不定。
为了解决这个问题，作者添加了一个被称为**收缩法（Shrinkage）**的“安全网”。想象一下，将三角形上的每一个点都稍微向中心拉近一点。

如果一个点位于边缘（99.9% 医生），安全网会将其向后拉回一点点，变为（95% 医生）。
这防止了数学在边缘处崩溃。
至关重要的是，他们调整了钟形曲线的“缩放级别”（带宽/bandwidth），以确保这种拉近操作不会扭曲最终答案。这就像是把镜头稍微拉远，以便被拉回的点仍然能准确代表原始的人群。

结果：一个贝叶斯水晶球

通过将这种新的“弯曲世界”地图与“安全网”结合，作者创造了一个系统，它可以实现两件事：

点估计（Point Estimation）： 给出一个关于人群构成的单一最佳猜测（例如：“它是 85% 的医生”）。
贝叶斯推断（Bayesian Inference）： 给出一个可能的答案范围及置信水平（例如：“它可能在 80% 到 90% 医生之间”）。这就像侦探在说：“我很确定，但这是我的误差范围。”

实验表明了什么

团队在 42 个不同的数据集（文本、图像和电子表格）上进行了测试。

准确性： 他们的这种方法始终优于旧有的“平面地图”方法，尤其是在数据接近边缘（高置信度预测）时。
鲁棒性： 如果没有“安全网”（收缩法），这种新方法在特定数据集上偶尔会发生彻底的失败。有了安全网，它变得可靠。
不确定性： 他们的这种方法提供了比其他贝叶斯方法更好的置信区间，这意味着他们能更好地表达自己何时处于不确定状态。

总结

该论文的核心观点是：“不要试图用一把独立的、平面的尺子去测量一个三角形的、相互关联的系统。请使用专为三角形设计的地图，但要加上一个安全网，以防止数学在边缘处崩溃。这将让你对人群的人口统计构成做出更准确的猜测，并让你对这些猜测的确定程度有更好的把握。”

技术摘要：基于成分数据分析的几何感知贝叶斯量化

1. 问题陈述

本文解决了在标签偏移（label shift）情况下的量化（或类别流行度估计）问题。在这种设定下，训练于源分布 $P_s$ 的分类器必须估计未知目标域的类别分布 $P_t(Y)$ ，并假设给定标签的特征条件分布保持不变（即 $P_s(X|Y) = P_t(X|Y)$ ）。

虽然许多方法直接对分类器后验概率进行操作，但作者指出，现有的基于连续密度的算法（特别是基于 KDE 的量化器如 KDEy）存在根本性的几何失配（geometric mismatch）问题。后验概率向量位于概率单纯形（probability simplex） $\Delta^{K-1}$ 上，属于成分数据（compositional data）。标准的核密度估计（KDE）依赖于欧几里得高斯核，忽略了成分数据的相对结构。这导致了两个关键问题：

边界违规： 欧几里得核会在单纯形边界之外分配非零概率质量。
几何扭曲： 欧几里得距离无法尊重成分的相对性质，可能导致成分向量之间的相似性关系发生扭曲。

这种失配在单纯形边界附近尤为严重，而在这些区域，分类器的高置信度预测（在现实世界中，尤其是神经网络中很常见）会高度集中。

2. 方法论

所提出的解决方案将成分数据分析（CoDA）与贝叶斯推断以及一种新型的**收缩正则化（shrinkage regularization）**相结合。

A. 几何感知表示
该方法不再在环境欧几里得空间中建模密度，而是通过**中心对数比（CLR）**变换将后验向量 $p$ 转换为对数比坐标：
$\phi(p) = \left( \log \frac{p_1}{g(p)}, \dots, \log \frac{p_K}{g(p)} \right)$
其中 $g(p)$ 是各分量的几何平均值。这一过程将单纯形映射到 $\mathbb{R}^K$ 的零和子空间，从而实现了与 Aitchison 几何一致的密度估计。

B. 收缩正则化
作者注意到，朴素的对数比变换在靠近单纯形边界（即分量趋于零时）会变得不稳定。为了缓解这一问题，他们引入了收缩变换 $T_\lambda$ ：
$T_\lambda(p) = (1-\lambda)p + \lambda u$
其中 $u = (1/K, \dots, 1/K)$ 是重心，且 $\lambda \in [0, 1)$ 。

效果： 它将有效单纯形向中心收缩，确保变换后的成分远离零点。
带宽调整： 收缩过程会将单纯形超平面内的距离统一缩放 $(1-\lambda)$ 倍。因此，有效带宽被调整为 $h_{eff} = (1-\lambda)h$ ，以保持平滑水平。
理论依据： 当 $\lambda \to 1$ 时，该变换在重心附近使 CLR 映射线性化，在不将模型坍缩为标准欧几里得 KDE 的情况下实现几何正则化。

C. 贝叶斯公式化
该方法将量化表述为一个混合密度估计问题。目标流行度向量 $\pi$ 在观测到的后验概率 $P$ 下的似然函数被推导出来。至关重要的是，由变量代换（从单纯形到对数比空间）产生的雅可比项与 $\pi$ 无关。这使得贝叶斯后验推断变得可行：
$p(\pi | P) \propto p(\pi) \prod_{i=1}^n \left( \sum_{k=1}^K \pi_k f_k^h(z^{(i)}) \right)$
其中 $z^{(i)} = \phi(T_\lambda(p^{(i)}))$ ，且 $f_k^h$ 是在变换空间中估计的类别条件密度。该公式既支持点估计（通过极大似然估计），也支持全贝叶斯推断（通过采样，例如 NUTS）来获取类别流行度。

3. 核心贡献

几何感知 KDE： 第一个利用对数比变换和 Aitchison 几何，尊重后验概率单纯形几何结构的 KDE 类量化器。
收缩正则化： 一种用于稳定对数比建模在单纯形边界附近行为的新机制，在防止数值不稳定的同时保留了成分结构。
KDE 的贝叶斯框架： 为基于 KDE 的量化器提供了原则性的贝叶斯推断推导，克服了以往此类公式仅限于离散化（直方图）模型或二分类问题的局限性。
实证验证： 在 42 个数据集（表格、文本和图像）上的全面评估表明，该方法在点估计方面具有竞争力的性能，并且在各类贝叶斯量化方法中表现优异。

4. 实验结果

作者将该方法（记作 KDEy(Ait- $\lambda$ ) 用于点估计，以及 Bayes-KDEy(Ait- $\lambda$ ) 用于贝叶斯推断）与包括 CC、PCC、BBSE/ACC、MLLS/EMQ 以及标准高斯 KDE (KDEy(Gau)) 在内的基准方法进行了对比。

点估计： 所提方法在所有模态（表格、文本、图像）的平均绝对误差 (AE) 和平方权重比误差 (W) 排名中均取得了最佳排名。它经常优于标准高斯 KDE，特别是在表格和图像数据集上。
不确定性量化： 在贝叶斯机制下，该方法提供了良好的覆盖率和合理的区间幅度。虽然 Bayes-ACC 以牺牲点估计精度和更大的区间宽度为代价，获得了略好的原始覆盖差距，但所提的基于 KDE 的贝叶斯方法提供了最佳的综合排名。
对偏移严重程度的鲁棒性： 该方法在低、中、高标签偏移机制下均占据主导地位，仅在某些低/中度偏移的文本数据集上，其他贝叶斯方法表现稍好。
边界性能： 在目标流行度集中在单纯形边界附近（ $\alpha_{test}=0.1$ ）的实验中，经过收缩正则化的 Aitchison KDE 显著优于欧几里得高斯 KDE 和自助法（bootstrap）基准，验证了在这些机制下尊重单纯形几何的必要性。
消融实验： 去除收缩（ $\lambda=0$ ）会导致在特定基准测试上出现严重失效，证实了收缩不仅是数值保障，更是必不可少的自适应机制。

5. 重要性与声明

本文声称，尊重后验概率的单纯形几何不仅在理论上有依据，而且在多分类量化中具有实际益处。作者认为：

标准的欧几里得 KDE 引入了几何失配，导致流行度预测出现偏差或不稳定，尤其是在边界附近。
所提出的收缩正则化对数比表示弥合了成分数据分析的理论要求与机器学习流水线所需的计算实用性之间的鸿沟。
推导出的贝叶斯公式化为连续密度方法提供了原则性的不确定性量化，而这在多分类设定中此前是缺失的。

作者对局限性保持谦逊，指出当前方法依赖于基于验证集的收缩参数和带宽参数的选择，而对这些超参数进行更完整的贝叶斯处理仍是一个开放的研究方向。他们还承认，该方法目前专门针对标签偏移，协变量偏移的变体留待未来研究。