CuBAS: Information Geometric Curvature-Based Adaptive Sampling for Supervised Classification

技术摘要：CuBAS —— 基于曲率的监督分类自适应采样

问题陈述
监督分类的有效性在很大程度上取决于训练样本的质量和代表性，而非仅仅是数量。大型数据集通常包含显著的冗余、噪声和类别不平衡，其中许多样本对定义决策边界的贡献微乎其微。传统的采样和实例缩减技术（例如随机子采样、原型选择）通常是启发式的，它们在输入空间内运行，而未能利用数据分布的内在统计几何结构。因此，这些方法往往无法区分信息丰富的边界样本与同质区域中的冗余观测值。虽然近期的基于图的方法捕捉了邻域交互，但它们很少利用由统计交互引起的微分几何来量化局部样本的信息量。

方法论：CuBAS 框架
本文介绍了 CuBAS（基于曲率的自适应采样），这是一个将标记数据集视为统计流形以识别最具信息量样本的模型无关框架。该方法论通过以下阶段进行：

1. 图构建： 从标记数据中构建一个 $k$-最近邻（$k$-NN）图。
2. 统计建模： 将该图建模为各向同性的 $q$-状态 Potts 马尔可夫随机场（MRF）。在该模型中，节点的局部条件概率取决于其邻居的标签，并受控制上下文依赖强度的逆温度参数 $\beta$ 支配。
3. 参数估计： 使用 最大伪似然（MPL） 高效估计参数 $\beta$，从而避免了全局吉布斯分布中难以计算的分层函数。该估计采用割线法进行数值求根。
4. 信息几何分析： 核心创新在于将 Potts 模型的参数空间解释为一个通过 费舍尔信息度量（Fisher Information Metric） 赋予黎曼结构的统计流形。
   • 一阶费舍尔信息 ($\Phi_i$)： 衡量对参数扰动的局部敏感性（度量结构）。
   • 二阶费舍尔信息 ($\Psi_i$)： 衡量对数似然表面的曲率（曲率结构）。
   • 局部形状算子： 每个节点 $i$ 的标量曲率得分 $S_i(\beta)$ 被定义为二阶费舍尔信息与一阶费舍尔信息之比：$S_i(\beta) = -\Psi_i(\beta) / (\Phi_i(\beta) + \lambda)$。该得分量化了样本周围数据流形的局部几何复杂度。
5. 自适应划分： 根据曲率得分，将数据集分解为两个互补的机制：
   • 高曲率 ($H$)： 位于决策边界附近及异质邻域中的样本，具有高度的信息量。
   • 低曲率 ($L$)： 位于平滑、同质簇中的样本，虽具有冗余性但对于结构表示是必要的。
   • 阈值设定： 通过一个自适应阈值 $T^*$ 来分离这两个机制。该方法针对双峰分布使用 Otsu 准则（通过 Ashman's $D$ 系数 进行验证），并在单峰分布的情况下退化为 Tukey-fence (IQR) 规则，以确保在不同数据集几何结构下的鲁棒性。
6. 采样策略： CuBAS 通过从 $H$ 集和 $L$ 集中分别随机抽取比例数量的节点来构建训练子集，确保最终的子集既紧凑又具有最大的判别力。

核心贡献

• 理论框架： 本文通过将标记数据集建模为由 Potts MRF 诱导的统计流形，建立了图拓扑与微分几何之间的严谨联系。推导出了 Potts 模型的一阶和二阶费舍尔信息的闭式表达式。
• 基于曲率的度量： 引入了一种局部形状算子，能够量化统计曲率，而无需进行特征分解、核密度估计或使用预训练的辅助分类器。
• 算法设计： 提出了 CuBAS，这是一个计算高效的算法（复杂度为 $O(nm \log n + nk)$），它根据数据的内在几何属性而非分类器不确定性，将数据集分解为信息丰富区域和冗余区域。
• 自适应阈值化： 开发了一种数据驱动的阈值估计策略，能够适应每个数据集特定的曲率分布，避免了固定分位数的启发式方法。

实验结果
作者在涵盖表格、图像、生物学和高维领域的 60 多个公开基准数据集（OpenML） 上评估了 CuBAS。评估过程使用 $k$-NN 分类器，在 15 种训练集规模（10% 到 80%）下，将 CuBAS 与 随机采样 和 基于熵的不确定性采样（一个强基准）进行了对比。

• 性能表现： CuBAS 在所有数据集上一致实现了最高的平衡准确率。
  • 在中小规模数据集上，CuBAS 的平均平衡准确率为 0.8556，而熵采样为 0.7416，随机采样为 0.7202。
  • 在大规模数据集上，CuBAS 平均达到 0.8455，优于熵采样（0.7623）和随机采样（0.7273）。
  • 在高维数据集（HDLSS 机制）中，CuBAS 平均达到 0.8451，显著优于熵采样（0.7573）和随机采样（0.7339）。
• 数据效率： 在最缺乏数据的场景（10% 训练预算）下，CuBAS 相比熵采样实现了 +13.5 个百分点 的平均绝对增益。该方法在多次重复实验中表现出更高的稳定性，标准差更低。
• 鲁棒性： 即使在具有高类别重叠或极端维度的挑战性场景下，CuBAS 仍保持了性能优势，而在这些场景下，基于熵的方法往往由于依赖可能存在偏差的种子分类器而失效。

意义与主张
本文声称 CuBAS 提供了一种 有原则的、可扩展的且感知几何的启发式采样替代方案。其意义在于：

1. 模型无关性： 不同于基于不确定性的方法，CuBAS 直接从数据的几何结构中推导信息量，消除了对辅助分类器的需求，并避免了种子集偏差。
2. 理论基础： 它架起了信息几何与监督学习之间的桥梁，证明了微分几何量（曲率）可以作为样本选择和冗余削减的严谨标准。
3. 实际效率： 该方法计算高效（与边数呈线性关系），并且在局部形状算子的意义上具有直接的可解释性。
4. 泛化能力： 在 60 多个不同数据集上的持续改进表明，利用标记数据流形的内在几何结构是构建紧凑、高性能训练子集的稳健策略，尤其是在低预算标注场景下。

作者总结道，CuBAS 为几何机器学习与数据高效分类的交叉领域开辟了一个富有成效的研究方向，未来有望扩展到主动学习、针对超小样本的曲率正则化，以及与深度学习流水线集成以构建预热集。