📊 statistics

A Jensen-Shannon divergence based $k$ -- $NN$ algorithm for missing value imputation in compositional data

本文提出了一种用于填补成分数据缺失值的新颖非参数 $k$ -NN 算法，该算法利用 Jensen-Shannon 散度和 Fréchet 均值来处理零值并自适应超参数，相较于现有方法展现出更优的准确性和计算效率。

原作者： Michail Tsagris, Connie Stewart, Abdulaziz Alenazi

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Michail Tsagris, Connie Stewart, Abdulaziz Alenazi

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位厨师，试图重现一道秘密家族食谱。你有一叠食谱卡片，但其中一些被撕破了，或者列出的配料缺失。你的目标是猜出那些缺失的配料，以便完成菜肴。

在数据科学领域，这被称为插补（填补空白）。但本文处理的是非常具体且棘手的食谱类型：成分数据。

什么是“成分数据”？

想象一个饼图。整个饼永远等于 100%。如果你有一块“苹果”和一块“橙子”，当你增加“苹果”时，“橙子”的份额必须变小，以保持总数为 100%。

这与普通的购物清单不同，在购物清单中，你可以有 5 个苹果和 10 个橙子，而互不影响。在成分数据中，各部分被锁定在一种舞蹈中；如果一个移动，其他部分必须调整。这使得填补缺失的数值变得非常困难，因为你不能只是猜一个数字；你必须猜出一个能完美契合整个饼图的数字。

旧方法的问题

多年来，科学家们试图使用一种称为k-NN（k-近邻）的方法来修复这些“饼图”中的缺失部分。

工作原理：如果你的食谱缺少“盐”，计算机会查看其他与你的食谱非常相似的食谱。它会观察那些相似食谱使用了多少盐，并猜测你可能也使用了类似的量。
缺陷：旧方法测量“相似性”的方式（称为 Aitchison 距离）就像试图用平面地图上的尺子测量两个城市之间的距离，尽管地球是圆的。它有时能行得通，但如果你的食谱包含零配料（例如“无橄榄”），它就会失效。在旧的数学中，如果数字为零，就无法计算距离，因此整个系统会崩溃。

新解决方案："Jensen-Shannon"指南针

本文的作者构建了一种更智能的新指南针来测量相似性。他们称之为Jensen-Shannon 散度（JSD）。

类比：想象你在比较两杯冰沙。旧方法如果其中一杯冰沙没有草莓，可能会感到困惑。新的 JSD 方法就像一个智能搅拌机，它会说：“好吧，你没有草莓，但你有很多香蕉。让我们比较整个混合物的风味特征，忽略其中一种配料缺失的事实。”
优势：即使数据中包含零，这种新方法也能完美工作。它不会崩溃，只会适应。

“魔法旋钮”（Fréchet 均值）

作者们并未止步于此。他们在算法中添加了一个“魔法旋钮”（一个称为 $\alpha$ 的参数）。

类比：想象你在汇总邻居们的意见以猜测缺失的配料。
- 如果你只取算术平均数（标准平均值），你就像一位严格的老师：“每个人都获得平等的权重。”
- 如果你使用几何平均数，你就像一位谨慎的编辑：“我们将忽略极端的异常值。”
- Fréchet 均值则像一位灵活的调解人。“魔法旋钮”（ $\alpha$ ）让你可以在严格、谨慎或介于两者之间滑动。计算机可以自动调节这个旋钮，为你的特定数据找到完美的平衡点。

“自适应”功能

有时，缺失的数据并非随机。也许“盐”仅在辛辣食谱中缺失，而“糖”仅在甜味食谱中缺失。

作者创建了该工具的自适应版本。这个版本不是对整个食谱书使用一条规则，而是观察数据如何缺失，并为每种特定模式改变其策略。这就像为每种类型的菜肴配备一位不同的厨师。

他们发现了什么？

该团队使用真实世界的数据测试了他们的新工具与旧方法，例如：

葡萄酒化学：分析捷克葡萄酒中的酸度。
河水：检查西班牙河流中的化学水平。
鱼类饮食：观察鱼类中的脂肪酸（其中某些鱼类根本不吃某些东西，从而产生“零”值）。
农场作物：确定希腊各地区种植了多少特定作物。

结果：

准确性：他们的新方法始终比旧方法更准确。它猜出的缺失数值更接近真实值。
速度：它快得多。在某些测试中，旧方法完成同样的工作需要花费 12 到 25 倍的时间。
零值：它处理“零”值毫无困难，而旧方法则挣扎或失败。

底线

作者们构建了一种新的、更快的、更灵活的方法来填补“饼图”数据的缺失部分。即使某些切片完全为空（零值），它也能工作，并且它使用智能的“魔法旋钮”来自动调整设置以获得最佳结果。虽然“自适应”功能很酷，但他们发现有时更简单的版本同样有效且不那么复杂。

注意：本文严格专注于数学和模拟结果。它并未声称这是一种医疗疗法或未来临床使用的特定工具，而是针对经济学、生态学和化学等领域处理数据的统计改进。

技术摘要：基于 Jensen-Shannon 散度的 k–NN 算法用于成分数据缺失值填补

1. 问题陈述

成分数据定义为非负多变量向量，其分量之和为常数（通常为 1），存在于标准单纯形样本空间（ $S^{D-1}$ ）中。此类数据中的缺失值带来了独特的挑战，因为标准的填补技术往往无法尊重单纯形的限制性几何结构，或者需要无法处理零值的对数比率变换。

现有方法，例如 Hron 等人（2010）提出的 k–NN 算法，依赖于 Aitchison 距离。然而，Aitchison 距离需要通过对数比率变换，使其无法应用于包含零值（无论是舍入零还是结构性零）的数据集。此外，传统方法通常假设特定的参数结构，或需要迭代回归模型，这可能计算量巨大。本文旨在解决对灵活、非参数填补方法的需求，该方法需满足：

直接在单纯形上操作，无需对数比率变换。
自然地容纳零值。
在处理缺失值模式时提供计算效率和灵活性。

2. 方法论

提出的解决方案是一种新颖的JSD k–NN 算法，并扩展了Fréchet 均值泛化和自适应机制。

2.1 距离度量：Jensen-Shannon 散度 (JSD)

该算法利用 Jensen-Shannon 散度 (JSD) 来测量成分向量之间的距离，而非 Aitchison 距离。

定义：对于两个成分 $x$ 和 $y$ ， $JSD(x, y) = \sum_{j=1}^D \left( x_j \log \frac{2x_j}{x_j+y_j} + y_j \log \frac{2y_j}{x_j+y_j} \right)$ 。
优势：与 Aitchison 距离不同，JSD 自然地处理零值（因为 $0 \log 0 = 0$ ），消除了对零值替换策略的需求。它是一个度量（其平方根满足三角不等式）且有界。

2.2 JSD k–NN 算法

核心算法遵循一个六步非参数过程：

选择：选择最近邻的数量 $k$ 。
分离：将数据划分为不完整向量 ( $X_M$ ) 和完整向量 ( $X_O$ )。
归一化：对于不完整向量，将观测到的分量归一化使其和为 1。同样，对完整向量中对应的分量进行归一化。
距离计算：计算不完整向量的归一化观测分量与所有完整向量之间的 JSD。
邻域选择：识别 JSD 距离最小的 $k$ 个完整向量。
填补：计算 $k$ 个最近邻的均值。缺失分量通过取 $k$ 个邻域中对应分量的算术平均值进行估计，将其归一化，并按原始不完整向量中观测分量的总和进行缩放。

2.3 扩展 1：JSD $\alpha$ –k–NN (Fréchet 均值)

为了增加灵活性，步骤 5 中使用的算术均值被 Tsagris 等人（2011）定义的样本 Fréchet 均值所取代：
$\hat{\mu}_\alpha(x) = C \left\{ \left( \sum_{i=1}^n \frac{x_{ij}^\alpha}{\sum_{k=1}^D x_{kj}^\alpha} \right)^{1/\alpha} \right\}_{j=1,\dots,D}$
其中 $\alpha$ 是一个可调节的超参数。

性质：当 $\alpha \to 0$ 时，它收敛于几何均值；在 $\alpha = 1$ 时，它是算术均值。这使得算法能够在无需对数比率变换的情况下适应数据的分布。

2.4 扩展 2：自适应 JSD $\alpha$ –k–NN

鉴于缺失值模式可能不同（例如，缺失性与特定分量的大小相关），作者提出了一种自适应方法，其中超参数（ $\alpha$ 和 $k$ ）针对数据中观察到的每种不同的缺失模式分别进行调节，而不是使用单一的全局对。

2.5 超参数调节

$k$ 和 $\alpha$ 的最优值通过重复留 N 出交叉验证协议确定。性能指标是测试集中真实值与填补值之间的距离（若无零值则为 Aitchison 距离；若有零值则为 JSD）。

3. 主要贡献

零容忍填补：该方法是首个用于成分数据的 k–NN 方法，无需对数比率变换，从而原生地处理舍入零和结构性零。
非参数灵活性：通过利用 JSD 和 Fréchet 均值，该方法避免了对数据结构施加限制性参数假设。
计算效率：该算法比竞争的基于迭代回归的方法（特别是 robCompositions 包中的方法）快得多。
自适应框架：引入自适应机制允许超参数根据特定的缺失模式进行调整，尽管论文指出这增加了计算复杂性。

4. 模拟研究结果

作者使用四个真实世界数据集评估了算法：Wines（无零值）、Hydrochemical（无零值）、Prey Fatty Acids（包含零值和物种类别）以及FADN（包含零值和聚合/分解场景的农业数据）。

准确性（无零值）：在 Wines 和 Hydrochemical 数据集上，JSD $\alpha$ –k–NN（使用最优 $\alpha$ ）分别比标准 JSD k–NN 高出 12% 和 2%（以 Aitchison 距离衡量）。两种提出的方法均优于竞争的 Hron 等人（2010）算法（rob k–NN, lm, ltsReg）。
准确性（有零值）：在 Prey Fatty Acids 数据集上，JSD k–NN 使用欧几里得距离时，性能比稳健 k–NN（Hron 等人，2010）提高了 22%。JSD $\alpha$ –k–NN 提供了额外的 3.5% 提升。在此特定情况下，自适应版本未带来进一步增益。
分解场景：在 FADN 数据集（模拟聚合作物数据的分解）中，JSD k–NN 比稳健 k–NN 高出 15%。在此处， $\alpha$ 和自适应扩展未显示出进一步改进。
计算成本：JSD k–NN 比稳健 k–NN 快得多。加速因子约为 6 倍至 25 倍，具体取决于样本量和维度。在较高维度和较低样本量下，加速更为显著。

5. 意义与主张

论文声称，提出的JSD k–NN 算法为成分数据缺失值填补提供了一种稳健、准确且计算高效的替代方案。其主要意义在于能够无需修改即可处理零值，这是现有基于对数比率方法的临界局限性。

作者谦逊地总结道，虽然自适应 JSD $\alpha$ –k–NN扩展通过针对缺失模式调整参数提供了理论上的改进，但在实践中并不总是能显著改善性能。他们建议，增加的复杂性可能并非在所有情况下都值得，特别是当缺失模式稀疏时。然而，核心 JSD k–NN 和 Fréchet 均值扩展（JSD $\alpha$ –k–NN）与当前最先进的方法相比，始终表现出更高的准确性和效率。

这项工作被定位为一种实用工具，适用于生态学、农业和官方统计等领域，这些领域普遍存在带有零值和缺失值的成分数据。作者承认，虽然该方法假设缺失机制为随机缺失 (MAR)，但尚未在官方统计中常见的非随机缺失 (MNAR) 场景下进行评估。