🤖 machine learning

FloDR: An invertible dimensionality reduction method based on a normalising flow

FloDR 是一种基于归一化流的可逆降维方法，它通过保留未使用的坐标来保存高维信息，从而能够生成如条件扩散（conditional spread）和隐藏对比度（hidden contrast）等诊断性可视化图表，以量化二维嵌入的可靠性和信息损失。

原作者： Abdallah Baraka, Daniel Probst

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Abdallah Baraka, Daniel Probst

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图将一座巨大的三维雕塑放入一张扁平的二维照片中。无论你如何旋转这座雕塑，总会有一些部分发生重叠，一些距离会被拉伸，一些细节则会被挤压消失。这正是数据科学家在处理“高维数据”时每天面临的挣扎。无论是图像中的数百万个像素、数千种化学反应，还是单个细胞复杂的遗传密码，这些信息都生活在一个拥有数百甚至数千个方向的世界里。为了理解它们，我们使用“降维”技术将其压缩到我们可以直观看到的平面地图上。

但问题在于：当你把一个三维物体压缩成二维时，你会丢失信息。像 t-SNE 或 UMAP 这样的传统工具就像是熟练的摄影师，他们能拍出一张出色的照片，但会把“深度”数据扔掉。一旦照片拍好，你就无法分辨两个看起来靠得很近的点在现实世界中究竟是邻居，还是仅仅因为偶然凑巧落在了同一个位置。你也无法得知原始物体的多少形状被隐藏在了平面表面之后。长期以来，科学家们一直担心人们过度解读这些扁平地图，去猜测那些地图本身根本无法支撑的距离和分组。那个核心问题一直是：我们能否制作出一种既看起来很美观、能保留宏观全貌，又能明确告诉我们“哪些是我们不知道的信息”的地图？

FloDR 应运而生，它是一种全新的方法，与其说它像一台照相机，不如说它更像是一个神奇的可逆投影仪。它不像那样只是拍下一张快照然后丢弃剩余的数据，FloDR 使用了一种特殊的数学引擎，称为“标准化流”（normalizing flow）。把这个引擎想象成一张具有弹性的透明薄片，它可以被折叠和扭曲来压平数据，但它拥有一种超能力：它永远不会撕裂或丢失这张织物的结构。它将“深度”信息安全地保存在一个隐藏的口袋里。

该论文将 FloDR 介绍为一种既能创建二维地图，又能保留所有丢失信息的“秘密备份”的方法。当你观察地图时，你看到的是前两个坐标，就像看一张普通的照片一样。但在引擎盖之下，FloDR 记得其他 $D-2$ 个维度（即“残差”）。因为其数学逻辑是完全可逆的，作者可以反向运行地图来提问，例如：“如果我选中地图上的这个点，有多少原始数据仍然是一个谜团？”或者“关于某个特定标签（比如某种细胞类型）的信息，我们不小心丢弃了多少？”

研究人员发现，FloDR 是现有最流行工具的强力竞争者。在四个不同的基准数据集上（包括手写数字图像和化学反应数据），FloDR 在保留局部邻域（相似事物的微小群体）方面几乎达到了现有最佳方法的水平，同时在保留全局结构（大群体之间的关系）方面做得更好。事实上，在测试的数据集中，FloDR 在同时平衡局部和全局结构方面优于 UMAP。

然而，论文并未声称 FloDR 在所有方面都是完美的。它明确指出，如果你的唯一目标是保持微小的局部邻域完美无瑕，那么另一种名为 openTSNE 的工具仍然略胜一筹。FloDR 也承认，虽然它可以瞬间将新的、未见的数据点投影到地图上，但除非进行快速的额外优化步骤，否则这些点可能不会落在完全正确的局部邻域内。但总的来说，FloDR 提供了一种“两全其美”的方案：一张看起来正确、感觉正确，且自带“真相测量仪”的地图。

这个“真相测量仪”是该论文中最具趣味性且功能强大的特性。FloDR 生成了两个特殊的“诊断场”，你可以将它们涂抹在地图上：

条件弥散度（Conditional Spread）： 想象一下在某些区域变得浓厚的雾气。这层雾气会告诉你，在该处原始数据的变化程度。如果雾气很厚，意味着地图将现实世界中差异巨大的事物挤压在了一起。
隐藏对比度（Hidden Contrast）： 这就像是一个“秘密解码器”。它会告诉你，关于特定标签（比如“是否为癌细胞”）的信息中有多少隐藏在你看不到的数据部分中。如果某处的隐藏对比度很高，意味着二维地图隐藏了该处群体之间存在的巨大差异。

至关重要的一点是，作者并非凭空猜测这些数值；他们对这些数值进行了严格测试。他们将数据拆分，在其中一部分上训练地图，然后尝试预测另一部分，以观察这些诊断场是否真的反映了真相。他们发现，对于大多数数据集，这些诊断场都能以高置信度通过测试。例如，在一个人类胎儿骨髓细胞的数据集上，隐藏对比度的 p 值达到了 0.01，这意味着信号非常强，而非随机噪声。

最终，FloDR 不仅仅给了你一张漂亮的图片；它还给了你一张附带说明书的图片，解释了自身的局限性。它展示了地图在何处是可靠的，在何处仅仅是一种幻象。通过保留“残差”数据并利用可逆的数学技巧，它让你不仅能看到数据的形状，还能看到它投下的阴影，从而确保你不会得出那些投影本身无法支持的结论。

技术摘要：FloDR —— 一种基于归一化流的可逆降维方法

1. 问题陈述

高维数据经常被用于二维嵌入可视化（例如 t-SNE, UMAP）。然而，这些方法往往迫使读者在缺乏统计支持的情况下去解读生成的图谱。由于标准方法的优化过程丢弃了支持此类解释所需的信息，导致聚类之间的距离、空白区域的显著性以及特定点处隐藏的结构量通常是不可见的。此外，现有方法面临着一种权衡：邻域嵌入（neighbor embeddings）保留了局部结构但扭曲了全局几何结构，而线性方法（如 PCA）保留了全局结构但模糊了局部邻域。此外，允许进行样本外嵌入（out-of-sample embedding）的参数化方法通常依赖于独立的、近似的编码器-解码器对，而非真正的逆过程，从而将模型的误差混入了解释之中。

2. 方法论

FloDR（基于流的降维）通过使用可逆归一化流（一个双射 $f_\theta: \mathbb{R}^D \to \mathbb{R}^D$ ）而非不可逆投影来处理数据嵌入，从而解决了上述问题。

架构

映射： 核心是由 $L=4$ 个仿射耦合层（RealNVP 风格）组成的组合，不含混合层（mixing layers）。输入首先通过固定的线性变换进行白化和旋转，以在第一主成分上初始化布局。
嵌入与残差： 模型输出 $D$ 个坐标。前两个坐标 ( $y \in \mathbb{R}^2$ ) 作为 2D 嵌入。剩余的 $D-2$ 个坐标 ( $r \in \mathbb{R}^{D-2}$ ) 被保留为残差，而不是被丢弃。
可逆性： 由于该映射是一个双射，任何对 $(y, r)$ 都可以通过精确的逆函数 $f^{-1}_\theta$ 映射回输入 $x$ （忽略浮点数舍入误差）。这使得通过变量代换公式进行精确的密度估计成为可能。

训练目标

布局使用仅应用于 2D 坐标 $y$ 的复合损失函数进行训练：

局部结构： 遵循 UMAP 的方法，构建一个模糊 $k$ -最近邻图（ $k=15$ ），包含吸引项和排斥项。
全局结构：
- 一个有界的中间范围吸引项（mid-range attraction term），用以抵消排斥作用。
- 序数项（Ordinal Term）： 一个非度量 MDS 项，用于优化输入空间中两点对与嵌入空间中两点对之间距离比较的符号。该项由用户可调节的权重 $w$ 控制。
密度项： 一个可选的负对数似然项，在训练过程中逐渐引入，以防止逆映射过度拉伸残差坐标。

样本外放置（Out-of-Sample Placement）

新数据点通过单次前向传播进行嵌入 ( $y' = f_\theta(x')_{1:2}$ )。虽然这保留了全局结构，但可能无法保持局部邻域。为了解决这个问题，FloDR 提供了一个可选的放置步骤（类似于 UMAP 的 transform），在该步骤中，新点的位置针对训练邻居的吸引项进行 200 步优化，同时保持已训练的映射不变。

3. 核心贡献：认证诊断

FloDR 的主要创新在于能够生成诊断场（diagnostic fields），这些场是投影到给定 2D 位置的输入分布的属性，而非辅助模型的伪影。这些场是通过精确的逆函数和残差分布 $p(r|y)$ 推导出来的。

两种诊断场

条件离散度 ( $\sigma(y)$ )：
- 定义： $\sigma(y) = \sqrt{\text{trace}(\text{Cov}(x | y))}$ 。
- 含义： 衡量在特定的嵌入位置 $y$ 处，有多少原始输入数据仍是不确定的。高值表示布局合并了在高维空间中原本截然不同的输入。
- 估计： 通过从拟合的 $p(r|y)$ 中抽取残差并将其映射回原空间来计算。
隐藏对比度 ( $h(y)$ )：
- 定义： $h(y) = I(G; R | Y=y)$ ，即在给定嵌入位置 $Y=y$ 时，标签化的对比特征 $G$ （例如细胞类型）与残差 $R$ 之间的互信息。
- 含义： 衡量被二维坐标丢弃了多少关于标签组的信息。高值表示在图中靠得很近的点实际上属于不同的组，而残差仍能区分它们。
- 估计： 使用容量匹配分类器（capacity-matched classifiers）来估计 $p(G|y)$ 和 $p(G|y, r)$ 。

认证过程

为了防止过度解释，每个场都经过了留出集认证过程（held-out certification process）：

场在训练集上拟合，并在留出集上进行验证。
验证过程包括对嵌入空间进行分箱（binning），并将场的预测值与实际的留出集测量值进行回归。
标准： 如果一个场能以斜率 $b \in [0.7, 1.3]$ 追踪验证目标且 $R^2 \geq 0.6$ ，则该场被视为“已认证”。
零假设检验： 对于隐藏对比度，将其与标签在箱内随机打乱的零假设进行比较。
结果： 未通过这些测试的场会被明确标记为“拒绝（refused）”，从而确保用户不会信任不可靠的诊断结果。

4. 结果

作者在四个基准数据集（MNIST, Fashion-MNIST, Paul15 骨髓祖细胞, Schneider 反应数据）和三个单细胞图谱（人类胎儿骨髓, 小鼠小脑, 植物拟南芥种子）上评估了 FloDR。

全局与局部权衡： FloDR 实现了近乎垂直的权衡曲线。通过调节序数权重 $w$ ，全局结构保持能力（通过成对距离的 Spearman 相关系数 CPD 衡量）显著提升（例如在 MNIST 上从 0.337 提升至 0.562），且局部邻域召回率几乎没有损失。
与基准方法对比：
- 对比 UMAP： 在所有四个基准测试中，FloDR 在全局和局部轴上均优于 UMAP。
- 对比 openTSNE： openTSNE 保留了略好的局部结构，但在全局结构方面代价巨大。
- 对比 PCA： PCA 很好地保留了全局结构，但在局部邻域方面表现不佳。FloDR 在保持局部结构的同时，其全局性能达到或超过了 PCA。
- 对比 SQuadMDS： 虽然 SQuadMDS 在单细胞图谱上实现了更高的全局 CPD，但它几乎没有保留任何局部邻域信息（召回率 $\approx 0$ ）。
样本外性能： FloDR 的前向传播有效地保留了全局结构。当使用可选的放置步骤时，局部保真度可以恢复到与 benchmark 上 openTSNE 相当的水平。
效率： FloDR 计算效率很高，在 GPU 上完成 $10^6$ 个点的嵌入仅需 222 秒，比 UMAP (403s) 和 t-SNE (273s) 更快。

5. 意义与主张

论文声称 FloDR 代表了维度降低解释方式的一种转变：

单对象一致性： 与使用独立编码器和解码器的方法不同，FloDR 的布局、逆过程和密度是单个训练双射的属性。这确保了诊断可视化是由生成布局的精确逆过程推导出来的，而不是来自一个近似的辅助网络。
可测量的主张： 该方法超越了对图谱的“阅读”，转向提出可测量的结论。通过引入条件离散度和隐藏对比度场，FloDR 量化了二维投影中隐藏的内容。
可证伪性： 引入认证过程意味着诊断场不仅是视觉叠加，而且是经过经验验证的。如果一个场未能通过留出集测试，它将被拒绝，从而防止用户得出未经支持的结论。
适度的范畴： 作者明确指出，他们并不声称具有卓越的重构质量（解码器会优于逆过程），也不声称在单一轴上（局部或全局）统治其他所有方法。相反，FloDR 被呈现为一种能在两个轴上同时保持高度竞争力的方法，并提供了一个严谨的框架来解释所得 2D 图谱的局限性。