Dimensionality Reduction Meets Network Science: Sensemaking on UMAP's kNN Graph
本文表明，将标准图算法（如 PageRank、k-core 分解和聚类系数分析）应用于 UMAP 构建的内部 k-最近邻图中，为高维数据理解提供了一种强大且互补的方法，其效果往往能达到甚至超越专门设计的算法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个装有 6 万张照片的巨大且杂乱无章的盒子——其中一些是手写数字，另一些是像包、衬衫和鞋子之类的衣服图片。你想观察其中的模式，于是你使用了一个名为 UMAP 的超级智能工具，将这个 3D（甚至更高维）的混乱状态压缩到一张平面的 2D 纸上。
通常情况下，人们在这一步就停止了。他们看着漂亮的 2D 散点图，眯着眼睛盯着那些点，然后说：“好吧，我看到这里有一簇包。”但这篇文章指出，UMAP 在画出那张图的瞬间，实际上丢弃了它最强大的秘密武器。
在 UMAP 将数据压缩到纸面上之前，它构建了一个隐藏的 kNN 图。把这个图想象成一个巨大的、无形的友谊网络。在这个网络中，每张照片都有 15 个朋友（即它的“k-最近邻”），它认为这些朋友与自己最相似。但转折在于：虽然每张照片都选择了 15 个朋友，但并不是每张照片都被其他照片选中了 15 次。有些照片非常古怪或独特，几乎没有人选它们作为朋友；而另一些照片则非常“大众化”或“典型”，数百张照片都提名它们为最佳匹配。
作者说：“不要丢掉这个网络！它其实比 2D 图片更诚实。”他们测试了三种酷炫的方法来利用这个网络，从而比单纯看 2D 图片更深入地理解数据。
1. “人气王” (PageRank)
问题是什么： 哪些照片是其所属群体的真正“代表”？
旧方法： 人们通常会挑选 2D 地图中位于色块中心附近的照片。但 2D 地图是有畸变的！一个拉伸变形的色块，其“中心”可能看起来并不像一张真实的、具有代表性的照片。
新方法： 作者使用了一种名为 PageRank 的算法（也就是谷歌用来排名网站的算法）。在这个网络中，一张照片获得高分不仅是因为很多人选择了它，还因为其他热门的照片也选择了它。
结果：
- 得分最高的照片看起来像是该类别的完美、教科书式的范例（比如一个经典的“6”或一个标准的邮差包）。
- 得分最低的照片则是那些古怪、非典型的照片。
- 证据： 当他们挑选 200 张顶尖照片来代表整个数据集时，这些 PageRank 挑选出的照片在平衡各类数据方面远优于旧方法（k-medoids）。旧方法总是会选出太多来自那些杂乱、分散群组的照片，而 PageRank 则挑选出了一个公平的组合。
- 他们有多确定？ 非常确定。他们在 60,000 张图像上进行了测试，并发现即使将朋友数量从 5 个改为 100 个，结果依然保持稳定（相关性约为 0.95）。
2. “核心 vs. 边缘” (k-Core 分解)
问题是什么： 哪些照片是群体的“心脏”，而哪些只是在边缘徘徊？
旧方法： 像 HDBSCAN 这样的工具会给你一个简单的标签：“这是一个包”。但它不会告诉你这个包是一个经典的包，还是一个仅仅勉强符合定义的、奇怪且模糊的包。
新方法： 作者使用了 k-core 分解。想象一下剥洋葱的过程。你不断移除那些收到的提名最少（即最不受欢迎）的照片。留在最中心的那些就是“核心”。
结果：
- 他们发现“核心”照片具有最高的自相似性和一致性。例如，在手写数字“1”的类别中，核心部分只包含完美的“1”。
- 在“包”的类别中，核心揭示了不同的子群体：邮差包、腰包以及不同的纹理。2D 地图只显示了一个巨大的、模糊的“包”的色块，但图谱将其层层剥开，展示了内部结构。
- 证据： 他们将此与 HDBSCAN 进行了对比。HDBSCAN 擅长判断“这是一个包吗？”，但并不擅长判断“这个包有多核心？”。图谱方法提供了一个关于“核心度”的渐进式量表，而旧工具却忽略了这一点。
3. “秘密俱乐部” (聚类系数)
问题是什么： 是否存在一些极其紧密、彼此看起来完全一样的微型小组？
旧方法： 在 2D 地图上观察，一组“6”看起来可能就像一个巨大的、实心的团块。
新方法： 聚类系数 会在网络中寻找“三角形”。如果照片 A 认为照片 B 是朋友，且照片 B 认为照片 C 是朋友，那么照片 A 是否也认为照片 C 是朋友？如果是，那就是一个紧密的圈子。
结果：
- 这种方法找到了共享特定风格的、具有微观邻里关系的照片组。对于数字“6”，它根据细微差别分离出了不同的组：有些圈很大，有些是倾斜的，有些则有特定的曲线。
- 证据： 拥有最高“圈子性”的前 5% 的照片具有 98% 的纯度（这意味着几乎所有的邻居都是同一种类型）。这比随机挑选照片要高得多。
核心结论
这篇文章并不是说 2D 图片没用。它只是说 2D 图片是不完整的。通过保留这个隐藏的友谊网络（kNN 图）并在其上运行这些标准的图算法，你可以获得一个更清晰、更诚实的视角。
他们有多大的信心？
他们在两个大规模的标准数据集（MNIST 和 Fashion MNIST，各包含 60,000 张图像）上进行了测试。结果非常快（在笔记本电脑上运行不到一秒），且数学逻辑经受住了与现有最佳工具的对比。他们认为这种方法也适用于其他类似的工具，但他们仅在这些特定的图像集上证明了这一点。他们并不是在声称解决了所有数据问题，但他们非常确定，这是一种比仅仅盯着 2D 点进行“意义构建”更好的方式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。