📊 statistics

gcor: A Python Implementation of Categorical Gini Correlation and Its Inference

本文介绍了**gcor**，这是一个高效的 Python 包，用于实现类别基尼相关（CGC）以量化数值变量与类别变量之间的依赖性，并提供用于计算、置信区间构建和独立性检验的优化算法。

原作者： Sameera Hewage

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Sameera Hewage

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名侦探，试图解开一个谜团：两个不同的事物是否真的相互影响，还是仅仅碰巧出现在同一个房间里？

在数据世界中，通常一件事是一个数值（例如一个人的身高或股票价格），而另一件事是一个类别（例如他们的职业头衔或衬衫颜色）。长期以来，统计学家拥有一些工具来检查这两者是否相关，但当数据杂乱无章时，这些工具往往速度慢、笨拙，或者给出令人困惑的答案。

本文介绍了一种名为gcor的全新、超高效工具。你可以把它想象为一个专为 Python（数据科学家常用的一种编程语言）打造的高科技、闪电般的“关系探测器”。

以下是本文内容的分解，使用简单的类比来说明：

1. 问题：数据的“繁重劳动”

想象你有一个装满杂乱玩具的巨大盒子。有些是红色的，有些是蓝色的，有些是绿色的（这些是类别）。在每个颜色组内，玩具都有不同的重量（这些是数值）。

旧方法： 为了查看颜色是否影响重量，你必须将每一个玩具与其他每一个玩具逐一称重。如果你有 1,000 个玩具，那几乎是百万次的比较。这非常缓慢，就像试图用茶匙数沙粒一样。
新方法（gcor）： 作者构建了一台机器，可以利用巧妙的捷径一次性称量所有这些关系。这就像有一条传送带，可以在单次通过中完成所有物品的分类和称重。

2. 什么是“类别 Gini 相关”？

本文描述了一个特定的数学公式（类别 Gini 相关），用于衡量这种关系。

类比： 想象你在比较人群中人与人之间的“平均距离”。
- 如果你从整个人群中随机挑选两个人，他们相距多远？
- 如果你挑选两个穿着相同颜色衬衫的人，他们相距多远？
- 如果穿着相同衬衫的人彼此之间的距离比人群中随机挑选的人近得多，那就意味着衬衫颜色是预测某人站立位置的强有力指标。这就是一种强关联。
“零”规则： 本文强调了一个特殊功能：如果该工具显示关联度为零，则意味着这两件事完全无关。这是一个非常严格且可靠的“无关联”信号。

3. 工具的三大超能力

本文介绍了这个 Python 包中的三个主要函数，它们就像瑞士军刀中的三种不同工具：

计算器（gcor）： 它仅仅告诉你关系的强度。它给出一个介于 0 到 1 之间的分数。
- 0 = 无关联（就像你袜子的颜色和茶的价格）。
- 1 = 完美关联（就像你袜子的颜色和袜子的颜色）。
置信度构建器（gcorCI）： 这个工具不仅仅给你一个数字；它给你一个安全网。它会说：“我们有 95% 的把握，真实的关联度介于这个数字和那个数字之间。”这就像天气预报说：“会下雨，而且我们相当确定降雨量在 1 到 2 英寸之间。”
真相测试者（independence_test）： 这是法官。它问道：“这种关联是真实的，还是我们只是碰巧得到了这些数据？”它使用一种称为“置换”的方法（像洗牌一样打乱数据），看看模式是否成立。如果你打乱数据后模式消失了，那么这种关联就是虚假的。

4. 为什么这比旧工具更好？

作者将他们新的 Python 工具与现有的 R 语言（另一种数据语言）工具进行了比较。

速度： 新工具就像跑车对比自行车。在他们的测试中，对于小型数据集，它的速度快达 7 倍，对于大型数据集，它仍然显著更快。
处理杂乱数据的能力： 它能很好地处理“不平衡”的数据。想象一下，如果你有 100 个人在“蓝色”组，但只有 2 个人在“红色”组。旧工具经常对此感到困惑；而新工具则保持冷静和准确。
稳健性： 它对异常值具有“防护盾”。如果你的数据中有一个人是个巨人（异常值），该工具不会让这一个奇怪的数据点破坏整个计算。

5. 现实世界演示

为了证明其有效性，作者在著名的鸢尾花数据集上测试了它。

他们问道：“花的花瓣长度能否告诉我们它是哪种花？”
该工具回答：“是的，存在强关联（约 0.40）。”
他们还在组别完全随机的假数据上进行了测试。该工具正确地回答：“这里没有关联。”

6. 核心结论

这篇论文不仅仅是关于数学；它是关于可及性。

该工具是用Python编写的，这是现代数据科学中最流行的语言。
它是开源的，意味着任何人都可以下载它、使用它，甚至帮助改进它。
它快速，允许研究人员分析海量数据集，而无需等待数小时才能获得结果。

简而言之，作者构建了一个快速、可靠且易于使用的引擎，帮助任何人弄清楚一个数值和一个类别是秘密的挚友还是完全的陌生人。

技术摘要：gcor——分类 Gini 相关性的 Python 实现

问题陈述
本文旨在解决对一种稳健、高效的计算工具的需求，用于衡量连续随机向量与分类变量之间的依赖性。尽管分类 Gini 相关性（CGC，亦称 Gini 距离相关性）由 Dang 等人 [6] 提出，并被证明具有优于现有依赖性度量（例如零相关性意味着独立性以及对不平衡数据的稳健性）的特性，但此前缺乏专用的 Python 实现。现有工具仅限于 R 语言包 GiniDistance [7]。鉴于 Python 在数据分析和统计计算中的主导地位，作者指出，对于需要在特征筛选和独立性检验等任务中使用 CGC 的研究人员和从业者而言，存在可及性方面的空白。

方法论
本文介绍了 gcor，这是一个 Python 包，基于 Dang 等人 [6] 建立的理论框架实现了三个核心统计过程：

CGC 估计（gcor）： 该包利用 U 统计量计算 CGC 的无偏估计量。它将样本分解为 $K$ 个类别，并计算组间变异与总变异的比率。该实现支持使用参数 $\alpha \in (0, 2)$ 的广义相关性版本，允许用户调整距离度量。虽然建议标准情况使用 $\alpha=1$ （欧几里得距离），但也支持较小的值以增强对异常值的稳健性。
置信区间构建（gcorCI）： 为了构建置信区间，作者利用了 CGC 估计量的渐近正态性。由于渐近方差（ $\sigma^2_g$ ）在解析上较为复杂，该包采用刀切法（jackknife method）来估计方差。这涉及通过每次剔除一个观测值来计算伪值。
独立性检验（independence_test）： 该包执行假设检验（ $H_0: \rho_g = 0$ 对 $H_1: \rho_g > 0$ ）。由于在原假设下检验统计量分布的复杂性，作者实现了一种置换程序来估计临界值和 p 值。

计算优化
方法论的很大一部分侧重于算法效率：

向量化： 实现利用 NumPy 进行向量化计算。
并行化： 置换检验和刀切方差估计已并行化，以利用多核 CPU。
距离矩阵优化： 对于置换检验，成对距离矩阵仅计算一次，因为置换仅打乱标签，而不改变底层数据点。
单变量优化： 对于单变量情况（ $d=1$ ）且 $\alpha=1$ 时，代码利用基于顺序统计量的 $O(n \log n)$ 算法，避免了构建完整的 $O(n^2)$ 成对距离矩阵。

主要贡献

首个 Python 实现： 本文提供了 CGC 及其相关推断过程的首个 Python 实现，填补了开源统计生态系统中的空白。
效率提升： 该包通过向量化和并行化进行了速度优化，使其适用于大型数据集和高维设置。
综合工具包： 它提供了一个统一的框架，用于计算相关性、构建置信区间以及执行独立性检验，所有功能均支持广义距离度量。
可复现性： 所有代码均在 GitHub 上公开可用。

结果
作者在各种样本量（ $n \in \{100, \dots, 3000\}$ ）和维度（ $d \in \{1, \dots, 20\}$ ）下，将 Python gcor 实现与 R 语言 GiniDistance 包进行了基准测试。

单变量性能（ $d=1$ ）： Python 实现显示出显著的速度提升，比 R 快约 6.3 倍至 7.4 倍。这归功于高效的 $O(n \log n)$ 算法。
多变量性能（ $d \ge 2$ ）： 即使两种实现都依赖于通用的 $O(n^2)$ 成对距离计算，Python 仍然更快，速度提升范围在 1.3 倍至 4.8 倍 之间。随着维度的增加，性能差距进一步扩大，表明 Python 具有更好的扩展性。
类别数量敏感性： 发现运行时间相对于类别数量（ $K$ ）相对稳定，证实计算成本主要由成对距离计算主导，而非类别聚合。
示例说明： 该包使用 IRIS 数据集进行了演示，包括相关性计算、置信区间估计以及在模拟数据上的独立性检验，确认了其功能正确性。

意义与主张
本文将 gcor 包定位为一种实用工具，使高级依赖性分析更加易于获取。作者声称，该实现支持 CGC 在生物信息学、社会科学和应用机器学习等领域的日益普及，特别是在分类任务中的特征选择方面。通过向量化和并行化提高计算效率，该包使得 CGC 能够应用于涉及大型或高维数据的场景，而在此之前的工具可能因速度过慢而无法适用。作者保持了谦逊的语调，指出这项工作旨在“使这些工具更加易于获取”并支持特征选择等任务，同时承认未来的工作将侧重于扩展功能和文档。本文并未声称引入新的统计理论，而是旨在提供现有理论的高效、开源实现。