🤖 machine learning

Diversity-Based Active Learning: An Evaluation of Metric Spaces for Active Learning Selection

本文评估了贪婪 K-中心（Greedy K-center）主动学习选择策略在各种度量空间中的表现，证明了在使用随机森林分类器时，将实例映射到由模型导出的、以熵加权的概率空间，比使用原始特征空间或 LDA 空间能获得更优异的结果。

原作者： Siddharth Chilamkur, Dorit S. Hochbaum

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Siddharth Chilamkur, Dorit S. Hochbaum

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，计算机在从示例中学习方面表现得非常出色，但它们有一个顽固的要求：需要大量已经由人类分类并标记过的数据。想象一下，试图通过向一个孩子展示成千上万张图片来教他识别动物，但每一张图片都必须先由老师进行识别和标记。在许多领域，如医学影像或专业金融领域，寻找人类专家来进行这种标记是非常昂贵或耗时的。这造成了一个瓶颈：计算机已经准备好学习了，但人类专家却太忙，无法提供它所需的“燃料”。为了解决这个问题，研究人员开发了一种称为“主动学习”（active learning）的策略。主动学习不再要求人类对海量的随机数据堆进行标记，而是让计算机扮演一个好奇的学生。它观察未标记的数据，找出哪些特定的示例能给它带来最多的启发，然后请求人类仅对这些示例进行标记。其目标是在花费最少的时间和金钱进行标记的同时，达到高度的智能水平。

挑战在于决定哪些示例是最有价值的。一种流行的方法是寻找“多样性”，确保计算机从可用信息的各个角落进行采样，而不是仅仅集中在一个拥挤的区域。一种被称为“贪婪 K-中心法”（greedy K-center approach）的具体方法，其原理是挑选那些距离已选样本尽可能远的样本。然而，这种方法的成功完全取决于计算机如何衡量“距离”。如果计算机根据数据的原始数值来衡量距离，它可能会被无关的细节或噪声所迷惑，就像试图使用一张包含了每一棵树和每一道篱笆，而不仅仅是道路的地图来导航城市一样。加州大学伯克利分校的研究人员进行了一项测试，旨在验证改变计算机看待数据的方式——具体来说，是通过计算机自身的预测视角而非仅仅通过其原始数值来观察数据——是否能让这一选择过程变得更加聪明。

团队测试了几种不同的衡量数据点之间距离的方法。他们首先使用了最基础的方法，即使用数据的原始特征，例如图像中的像素值或金融记录中的数字。他们还尝试了一种称为“线性判别分析”（linear discriminant analysis）的技术，这是一种数学工具，试图将数据压缩成更简单的形状，从而尽可能清晰地分隔不同类别。最后，他们测试了一种更高级的方法，即计算机首先对每个未标记项目进行猜测，从而创建一个“概率空间”。在这个空间中，两个项目之间的距离不是基于它们的原始数值，而是基于计算机预测它们应该被归为哪一类的差异程度。为了使这种方法更加精准，他们增加了一层“不确定性”，通过计算机对其自身猜测的不确定程度来加权选择。他们使用了一种稳健且快速的计算机模型——“随机森林”（random forest）来生成这些预测并评估结果，并在人工生成的合成数据以及规模从 150 到超过 6,000 个项目的真实数据集上运行了实验。

结果在大多数测试中都是清晰且一致的。依赖原始数值的方法往往表现挣扎，有时甚至并不比随机挑选样本更好。这是因为在复杂的高维数据中，原始数值可能会产生误导，导致计算机关注于无关的噪声，而非定义类别的实际模式。相比之下，利用计算机自身预测概率的方法始终优于其他方法。通过根据计算机眼中的世界来衡量距离，系统能够忽略干扰信息，并专注于不同群体之间有意义的边界。最有效的策略是这种混合方法，它将基于概率的视角与不确定性度量相结合。这种方法告诉计算机去寻找那些不仅在它自己的认知中具有多样性，而且它也感到真正不确定的样本。这种平衡使得系统能够学习得更快、更准确，并以更少的标记样本达到更高的性能水平。

然而，在一些特定情况下，这种先进的方法并没有表现出色。在一种涉及物理属性极少的数据集案例中，简单的原始数据方法与复杂的概率方法表现一样好，这表明当数据简单且密集时，额外的步骤是不必要的。在另一个具有高度复杂性和噪声的人工合成数据集案例中，概率方法的表现实际上比其他方法更差。研究人员发现，这是因为计算机模型本身被噪声搞糊涂了；当模型无法理解数据时，它的预测仅仅是猜测，而在这些猜测之上构建选择策略只会放大混乱。这凸显了一个关键发现：基于概率的方法虽然强大，但它要求底层模型至少对数据具备基本的理解才能有效工作。

最终，这项研究表明，我们衡量数据点之间距离的方式与用于选择数据的算法同样重要。通过将焦点从原始的、往往杂乱的数据特征，转向模型对类别的自身理解，研究人员可以显著提高主动学习的效率。最好的结果来自于这样一种策略：要求计算机寻找那些在其自身认知中既具多样性、又在其判断中具有不确定性的样本。这种方法使机器能够更智能地学习，减轻了人类专家的负担，并使得在数据标记成为主要障碍的领域部署强大的人工智能成为可能。这项工作证实，虽然用于选择数据的数学工具很重要，但这些工具所操作的空间决定了它们的成功或失败。

技术摘要：基于度量空间的多样性主动学习评估

问题陈述

监督机器学习模型需要大量的正确标记数据才能实现高性能。在标注成本极高（如医学影像）或耗时极长的领域，人工标注成为了主要的瓶颈。虽然主动学习（Active Learning, AL）提供了一个仅查询非标记池中最具信息量样本的框架，但现有的基于多样性的选择方法面临着一个关键挑战：**度量空间（Metric Space）**的选择。

基于多样性的方法（如贪婪 K-中心算法，Greedy K-center）旨在选择具有代表性的子集，以确保模型能够均匀地探索整个数据域。然而，这些算法的有效性高度依赖于计算距离时所使用的空间。标准的物理距离度量（例如原始特征空间中的 L2 范数）受“维度灾难”的影响，可能会优先考虑噪声或离群值，而非具有信息量的决策边界。相反，虽然线性判别分析（LDA）等降维技术可以提高类间可分性，但它们可能仍无法捕捉到对于优化 AL 选择所需的细微不确定性。本文研究了哪种度量空间——原始特征、LDA 投影、模型衍生的概率空间，还是熵加权概率空间——在与贪婪 K-中心选择策略结合时能产生最佳性能。

研究方法

1. 选择算法：贪婪 K-中心 (Greedy K-center)

本研究使用贪婪 K-中心算法作为核心选择机制。与精确 K-中心（其属于 NP-Hard 问题）或 K-中位数（K-median，计算成本高昂且快速启发式算法表现较差）不同，贪婪 K-中心方法通过迭代选择使到当前已标记集合 $L$ 的最小距离最大的非标记实例 $u$ ：
$u^* = \arg\max_{u \in U} \min_{l \in L} d(u, l)$
本研究的主要变量是距离函数 $d(u, l)$ 的定义。

2. 评估的度量空间

本文评估了四种不同的用于计算 $d(u, l)$ 的度量空间：

原始特征空间 (Raw Feature Space)： 使用标准化原始特征向量之间的 L2 欧几里得距离。
LDA 空间 (LDA Space)： 使用线性判别分析将数据投影到低维潜在空间，该空间最大化了类间可分性。距离是在这些线性投影之间计算的。
预测概率空间 (Predictive Probability Space)： 从基分类器（随机森林）中导出类概率向量 $\hat{p}(x)$ 。距离是这些概率向量之间的 L2 距离。这使得多样性搜索从几何特征空间转向了模型的决策边界表示。
概率 + 熵空间 (Probability + Entropy Space)： 一种混合方法，通过样本的预测熵 $H(u)$ 对概率空间距离进行加权。选择准则变为：
$u^* = \arg\max_{u \in U} \left( H(u) \cdot \min_{l \in L} d(u, l) \right)$
该方法优先选择在概率空间中具有空间多样性且具有高不确定性的样本。

3. 基准评估器选择

作者通过实证研究确定，与神经网络（特别是预激活表格型 ResNet）相比，随机森林 (Random Forests, RF) 是执行此任务的最佳基模型。虽然神经网络可以产生高质量的概率空间，但它们在每个 AL 步骤中都需要大量的超参数调优和数百个训练轮次（epoch）才能稳定，这造成了极高的计算成本。随机森林提供了稳健的稳定性，能够抵抗过拟，且不需要基于轮次的循环，使其成为迭代式主动学习的理想选择。

4. 实验设置

实验在合成数据集（其聚类复杂度各异）和真实世界数据集（如 Iris, Spambase, Satimage, Madelon）上进行。评估涵盖了两种场景：

大查询预算 (Large Query Budgets)： 选择 10% 到 50% 的训练数据。
小查询预算 (Small Query Budgets)： 选择最多 400 个总样本，以模拟极端的数据稀缺情况。
性能通过最终准确率和学习曲线下面积 (AUC) 进行衡量，并在 100 次独立运行中取平均值。

关键结果

1. 概率空间的优越性

在大多数数据集和复杂度水平下，将未标记实例映射到模型衍生的预测概率空间的表现始终优于原始特征空间和 LDA 投影。

决策边界聚焦： 通过在概率向量而非几何坐标上计算多样性，算法专注于代表决策边界不同区域的样本，从而绕过了原始特征中固有的结构性噪声。
对复杂度的鲁棒性： 随着合成数据集复杂度的增加（每类簇的数量增多），概率空间与几何空间之间的性能差距扩大，证实了原始距离计算在处理非线性分布时表现不佳。

2. 熵加权的影响

概率 + 熵方法通常比标准的概率空间方法提供了一定程度但持续的提升。

平衡探索与利用： 熵加权惩罚了那些模型已经高度确信的样本的选择。这迫使贪婪 K-中心算法优先选择模糊、具有信息量的样本，从而在不牺牲 K-中心目标所提供的多样性探索的前提下，加速了收敛。
效率： 这种混合方法在大型和小型预算场景下，均实现了更高的整体预测准确度和更快的收敛速度，且没有引入显著的计算开销。

3. 例外情况与局限性

研究识别了特定情况下概率空间方法并未占据主导地位的场景：

低维、稠密数据： 在 Phoneme 数据集（具有 5 个属性的低维数据）中，原始特征空间的表现与概率空间相当甚至略好，这表明在受到严格约束的环境中，物理欧几里得距离可能已经与类边界高度相关。
模型失效（噪声放大）： 在 Madelon 数据集的极端数据稀缺情况下，概率空间的表现低于所有其他方法。由于随机森林在低预算下无法从噪声复杂的环境中提取基础信号，概率空间仅仅是将“噪声向量映射到噪声向量”，从而放大了模型的初始困惑。这表明该方法需要一定水平的模型理解能力才能有效发挥作用。

意义与主张

本文主张，基于多样性的主动学习的成功不仅取决于选择算法（贪婪 K-中心），而且从根本上取决于测量多样性的度量空间。

主要贡献在于通过实证证明，将未标记池转化为预测概率空间可以使贪婪 K-中心算法绕过原始特征的几何噪声。这种方法重新定向了多样性搜索，使其优先考虑映射到分类决策边界中不同且有意义区域的样本。

此外，本文确立了熵加权概率空间提供了一种优势性的、平衡探索（多样性）与利用（不确定性）的混合方案。作者得出结论，对于依赖多样性约束的主动学习框架，只要基模型已达到一定的基础预测准确度，应在模型解释的概率边界内而非原始特征坐标内测量距离。该研究强化了随机森林作为在迭代主动学习周期中生成此类概率空间的计算高效且稳定的引擎的实用价值。