Efficient Coreset Selection via K-Nearest Neighbor Graphs
本文介绍了 KNNG-CS，这是一种轻量级的核心集选择方法，它利用 K 最近邻图来高效地识别具有代表性的数据子集，在显著降低时间与内存成本的同时，保持了与现有梯度近似方法相当的准确度。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
机器学习模型是许多现代工具背后的引擎，从识别照片中的人脸到预测股市趋势。为了学习如何执行这些任务，这些模型需要喂入海量的数据。想象一下，试图通过给一个学生图书馆里的每一本书来教导他们；他们最终会学会，但这个过程会极其缓慢且令人精疲力竭。在人工智能领域，这就是在庞大数据集上进行训练的现实情况。它需要巨大的计算能力和内存，这往往使得许多实际应用变得过于昂贵或缓慢。为了解决这个问题，科学家们使用了一种叫做“核心集选择”（coreset selection）的技术。其目标很简单：与其使用整个图书馆，不如找到一小部分完美的子集，其中包含了所有核心的教训。如果你能用这个微小的、具有代表性的样本来训练模型，它学到的效果会与阅读了所有内容一样好，但耗费的时间仅为前者的一小部分，且所需的内存也少得多。
多年来，寻找这些小型、完美子集的最佳方法一直依赖于一种计算量巨大的方法。这些现有的方法试图测量每一个数据点与每一个其他数据点之间的距离，以观察哪些点最为相似。这就像是通过让房间里的每一个人去测量自己与其他所有人的距离，从而试图选出人群中最优秀的代表。虽然这种方法有效，但它会产生海量的数据，难以存储和处理，尤其是在数据集规模增长时。西安电子科技大学的研究人员及其合作者意识到，这种“测量一切”的方法效率低下。他们观察到，数据集中最有用的代表通常是那些位于密集相似项群组中心的个体，而不是那些孤立存在的个体。一个靠近许多其他个体的样本很可能代表了一种常见的模式，而一个孤立的样本则不太可能成为大型群组的良好替身。
为了解决这个问题，该团队开发了一种名为 KNNG-CS 的新方法。该方法不再强迫每个项目去测量它与每一个其他项目的距离，而是构建了一张地图，仅将每个项目与其最近的十个邻居连接起来。这创建了一个稀疏的网络，或者说是一个图（graph），它捕捉了数据点之间的局部关系，而没有带来计算所有可能连接的沉重负担。一旦构建好这张地图，研究人员就会根据有多少其他项目将其指向为邻居，以及这些邻居距离有多近，为每个项目分配一个分数。如果一个项目经常被许多其他项目选为近邻，它就会获得高分，这标志着它是高度重要的代表。随后，算法会贪婪地选择得分最高的项目来形成最终的小型子集。每当一个高分项目被选中时，算法就会将其及其邻居从候选池中移除，从而确保所选出的群体能够高效地覆盖整个数据集且不产生冗余。
当在包括森林覆盖类型、电影评分和信用卡违约在内的四个真实世界数据集上进行测试时，这种新方法的表现令人瞩目。新方法生成的训练集非常小，却能让机器学习模型达到与现有最佳方法相当的准确度。然而，效率方面的差异却是巨大的。新方法的运行速度比之前的领先技术快了 2.3 到 41.2 倍。更令人印象深刻的是内存使用的减少。旧方法需要存储巨大的距离表，可能会消耗数 GB 的内存，而新方法仅使用了 0.3% 到 7.5% 的内存。从实际意义上讲，这意味着以前需要昂贵、高端服务器才能完成的任务，现在可以在更小、更易获取的机器上完成。研究人员发现，即使使用非常小的子集，模型也能有效地学习，并比使用完整数据集训练时更快地收敛到稳定解。
这项工作表明，通过关注局部关系而非全局比较，可以极大地简化准备机器学习数据的过程。研究证实，你并不需要计算每一个可能的距离来找到最重要的数据点；一张智能的局部地图就足够了。通过使用这种基于图的策略，研究人员已经证明，可以用以往认为必要的极小部分时间和资源，实现高质量的模型训练。这为更高效的训练过程打开了大门，使得复杂的模型可以在计算能力受限的环境中进行开发和部署，而不会牺牲最终结果的质量。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。