🤖 machine learning

Class Angular Distortion Index for Dimensionality Reduction

本文介绍了类角畸变指数（CADI），这是一种基于内部角度的可微分指标，用于评估降维投影中聚类组织的忠实性，从而解决现有指标无法捕捉相对聚类排列或假设球形形状的局限性。

原作者： Kaviru Gunaratne, Stephen Kobourov, Jacob Miller

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Kaviru Gunaratne, Stephen Kobourov, Jacob Miller

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和富有创意的类比，对论文《用于降维的类别角扭曲指数》的解释。

核心难题：“平面地图”的困境

想象你有一座由不同颜色的黏土球组成的巨大三维雕塑。有些球嵌套在其他球内部（像俄罗斯套娃），有些呈长环状，还有些被扭曲成复杂的绳结。

现在，假设你想给这座雕塑拍张照片，展示给一位只懂二维绘图（比如纸张）的人看。这就是**降维（DR）**所做的：它将复杂的高维数据压缩成简单的二维或三维图像，以便人类能够观察。

问题在于，将三维物体压扁到二维页面上，不可避免地会造成扭曲。

旧方法： 多年来，像 t-SNE 和 UMAP 这样的流行工具一直是这个世界的“艺术家”。它们擅长将相似的事物聚集在一起。如果你有一堆红色黏土和一堆蓝色黏土，它们会在纸上形成两个 distinct 且紧密的团块。
弊端： 虽然它们让团块看起来很美，但往往搞乱了团块之间的关系。它们可能会把红色团块紧挨着蓝色团块放置，尽管在原始的三维世界中，它们位于房间的两端。或者，它们可能会把一条长长的扭曲圆环压成一个紧密的圆圈，使其看起来像一个实心球。

旧标尺：为何它们失效了

科学家们需要一种方法来给这些“照片”打分，以判断哪一张最真实。他们使用了像**轮廓系数（Silhouette Score）和戴维森 - 鲍尔丁指数（Davies-Bouldin Index）**这样的旧标尺。

想象这些旧标尺是只关心一件事的评委：“群体是否紧密且分离？”

如果评委看到两个紧密、圆润且分离的团块，他们会给出高分。
如果评委看到一条长长的蜿蜒链条或一组嵌套的圆环，他们会感到困惑。他们可能会认为嵌套的圆环只是一个巨大的杂乱团块，或者他们可能会偏爱一张随机、杂乱的绘图，因为它碰巧看起来像分离的团块。

这篇论文认为，这些评委对形状和结构视而不见。他们不在乎一个圆环是否真的是圆环，或者一个球是否在另一个球内部；他们只想看到干净、圆润且分离的圆圈。

新方案：CADI（“角度”评委）

作者引入了一种名为 CADI（类别角扭曲指数，Class Angular Distortion Index）的新指标。

类比：带着相机的游客
想象你是一名站在博物馆里看着雕塑的游客。为了理解房间的形状，你不仅仅看物体之间的距离，你还看角度。

如果你站在点 A，看向点 B 和点 C，你看向 B 的视线与你看向 C 的视线之间的夹角是多少？
如果你移动到不同的位置，这个角度会改变吗？

CADI 的工作原理也是如此。它不测量簇之间的距离，而是测量由三个点形成的角度。

它从一组（类别 A）中选取一个点。
它从另一组（类别 B）中选取两个点。
它测量在第一个点处形成的角度。

如果二维图像保留了世界的“形状”，这些角度将保持不变。如果图像将一个圆环压扁成一个球，这些角度将发生剧烈变化。CADI 计算这些角度的“误差”。分数越低，意味着角度得到了保留，地图也就越真实。

为何这很重要：“俄罗斯套娃”测试

论文通过一个具体的例子测试了这一点：嵌套球体（像俄罗斯套娃）。

现实情况： 你有一个小球体嵌套在一个中等球体中，而中等球体又嵌套在一个大球体中。
旧评委（轮廓系数）： 它们讨厌这种情况。它们希望看到三个分离的、圆润的球体。它们可能会给一张随机的、杂乱的散点图打高分，因为点碰巧看起来是分离的，尽管嵌套结构完全丢失了。
新评委（CADI）： 它观察角度。它看到“内层”球体是从“外层”球体以特定角度被观察的。它知道，如果投影将其压扁成一团乱麻，角度就会出错。它能正确识别出那些保持“套娃”嵌套状态的投影。

新工具：AngleEmbedding

由于 CADI 基于可以逐步计算的数学原理（它是“可微的”），作者不仅制造了一把标尺，还创造了一位新艺术家。

他们创建了一种名为 AngleEmbedding 的新方法。

把它想象成一种新型相机，它不仅仅试图将事物聚集在一起。相反，它试图最小化角度误差。
它使用神经网络（一种人工智能）不断调整图像，直到组与组之间的角度尽可能接近原始的三维世界。
结果呢？这些投影可能看起来比 t-SNE 更“杂乱”或分离得不够“完美”，但它们揭示了组与组之间关系的真相（例如，显示一个组实际上在另一个组内部，或者它们形成了一条链条）。

研究结果总结

旧指标存在偏差： 它们喜欢圆润、分离的团块，讨厌圆环、链条或嵌套结构等复杂形状。它们经常给糟糕的、随机的地图打高分。
CADI 能看见形状： 通过测量角度，CADI 能够区分真实的嵌套结构和杂乱的堆积。它奖励那些保持数据“骨架”完整的地图。
AngleEmbedding 行之有效： 他们利用 CADI 构建的新方法，成功重现了其他流行工具无法正确显示的复杂结构（如嵌套球体和链接圆环）。

核心结论： 如果你想看不同的数据组是如何分离的，旧工具（t-SNE/UMAP）就足够了。但是，如果你想理解这些组之间的真实几何关系和联系（例如谁在谁里面，或者它们是如何连接在一起的），CADI 是更好的评委，而 AngleEmbedding 是更好的艺术家。

以下是 Gunaratne、Kobourov 和 Miller 所著论文《用于降维的类角扭曲指数》的详细技术总结。

1. 问题陈述

降维（DR）技术（如 t-SNE、UMAP、PCA）对于可视化高维数据至关重要。然而，当前降维评估的一个关键局限在于对聚类关系的误导性表征。

核心问题：虽然许多降维方法能成功分离聚类（使其成为 distinct 的“团块”），但它们往往扭曲了这些聚类之间的全局几何关系。例如，嵌套结构、弯曲流形或交织的聚类在投影中可能被压平或任意重排。
现有指标的局限性：当前的质量指标未能捕捉这些扭曲，因为它们依赖于有缺陷的假设：
- 可分性假设：轮廓系数（Silhouette Score）和 Davies-Bouldin 指数等指标假设聚类是紧凑、球形且分离良好的。它们奖励那些创建紧密、孤立“团块”的投影，即使这会破坏真实的拓扑结构（例如，将嵌套球体转变为分离的圆环）。
- 质心偏差：标签可信度与连续性（Label-T&C）等指标依赖于聚类质心。如果聚类重叠或嵌套（质心重合），这些指标无法区分忠实投影与随机投影。
- 点对点与聚类级：大多数指标评估点对点或点对间的距离，忽略了点组之间的高阶几何关系。

2. 方法论：类角扭曲指数（CADI）

作者提出了CADI，这是一种新指标，旨在利用内角来评估聚类间几何关系的保留情况。

核心概念

CADI 不测量质心或单个点之间的距离，而是测量由三个点形成的内角，其中参考点属于一个类别，另外两个点属于另一个类别。

直观理解：通过观察聚类 $C_b$ 从聚类 $C_a$ 中某一点的视角（通过角 $\angle jik$ ）“看起来”如何，该指标捕捉了聚类的形状和相对方向。
可微性：由于它依赖于角度的余弦相似度，CADI 是可微的，允许其作为损失函数用于优化。

数学定义

给定数据集 $X$ 和投影 $Y$ ，以及类别划分 $C$ ：
$\text{CADI}(X, Y, C) = \frac{1}{T} \sum_{i \in C_a, j,k \in C_b, j \neq k} \left( \cos(\theta_X(j,i,k)) - \cos(\theta_Y(j,i,k)) \right)^2$
其中：

$i$ 是类别 $C_a$ 中的参考点。
$j, k$ 是不同类别 $C_b$ 中的点。
$\theta$ 表示由指向 $j$ 和 $k$ 的向量在 $i$ 处形成的内角。
$T$ 是采样的三元组总数。
目标：最小化 CADI（越接近 0 越好）。

实际实现

采样：计算完整总和的复杂度为 $O(n^3)$ 。作者证明，采样 $k = O(n)$ 个三元组（具体为 $40n$ ）即可产生稳定的结果，方差可忽略不计，从而使该指标具有可扩展性。
不变性：CADI 对平移、旋转和均匀缩放具有不变性，因为它仅依赖于角度。
AngleEmbedding：作者引入了一种新的降维算法AngleEmbedding，它使用 CADI 作为损失函数，通过参数化神经网络（前馈网络）进行优化，以生成专门保留类间角度关系的投影。

3. 主要贡献

新指标（CADI）：一种聚类级质量指标，超越了现有指标的“球形度”和“可分性”假设。它专门针对保留复杂结构（如嵌套、弯曲或交织的聚类）。
失效模式演示：论文提供了大量证据，表明现有指标（如轮廓系数、Label-T&C 等）往往将随机投影或“团块”投影的排名置于忠实保留复杂拓扑的投影之上。
AngleEmbedding 算法：一种新颖的有监督降维技术，通过优化 CADI，证明了该指标可有效驱动高保真投影的生成。
综合基准测试：在 20 多个合成和真实世界数据集（包括嵌套球体、圆环、基因表达和文本数据）上进行了评估，将 CADI 与其他 8 种指标和 8 种降维算法进行了比较。

4. 结果

评估突出了 CADI 与现有指标之间的显著差异：

合成数据（嵌套球体与圆环）：
- 场景：数据由 5 个嵌套球体或一串互锁圆环组成。
- 现有指标：轮廓系数和 Label-T&C 通常将t-SNE或UMAP（它们将圆环打破为分离的团块或将球体散开）排名为最佳，甚至因为质心重叠而将随机投影排名很高。
- CADI：正确识别AngleEmbedding和PCA（它们保留了线性或嵌套顺序）为最佳，并将破坏拓扑的方法评为最差。
真实世界数据（肝脏、USPS、TREC）：
- 肝脏数据：癌细胞（HCC）的方差高于健康细胞。t-SNE 创建大小相等、分离的团块，掩盖了这种方差。CADI 奖励AngleEmbedding和PCA，它们正确显示 HCC 聚类更为分散。
- USPS（数字）：聚类大小随数字显著变化。t-SNE 强制聚类大小相等。CADI 奖励那些聚类大小反映真实数据分布的投影（由 AngleEmbedding 保留）。
- 相关性：CADI 与其他指标的相关性较低（例如，与轮廓系数的斯皮尔曼相关性约为 0.24），证实它衡量了投影质量的一个独特方面。
超参数调整：CADI 成功用于指导 UMAP 的超参数选择，识别出即使在视觉检查模糊时也能更好地保留全局结构的配置。

5. 意义与结论

范式转变：论文认为，对于涉及聚类关系分析的任务（例如理解层次结构、嵌套或全局拓扑），当前“专注于可分性”的指标具有误导性。CADI 提供了一种评估结构保真度的必要替代方案。
工具选择：作者阐明了适当的用例：
- 如果目标仅仅是识别聚类的数量或进行初步探索，请使用t-SNE/UMAP。
- 如果目标是理解聚类如何相互关联、它们的相对位置及其几何形状，请使用CADI/AngleEmbedding。
未来工作：作者建议将 AngleEmbedding 扩展到非欧几里得空间（球体、双曲面），并进一步分析角度误差聚合的理论。

总之，CADI通过量化聚类间几何的扭曲，解决了降维评估中的一个关键盲点，为处理复杂、非球形数据结构的分析师提供了更可靠的指导。