📊 statistics

New Equivalence Tests for Approximate Independence in Contingency Tables

本文引入了针对二向列联表中近似独立性的新型渐近及基于自助法（bootstrap）的等价性检验，其特点是包含一个用于边界点的计算高效估计量，并通过模拟实验、实际应用案例以及配套的 R 语言实现验证了其性能。

原作者： Vladimir Ostrovski

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Vladimir Ostrovski

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜题的侦探：你的数据中两件事物是真的有关联，还是仅仅在装样子？也许你正在观察眼睛颜色是否与发色有关，或者患者的性别是否会改变他们对某种特定药物的反应。在统计学世界中，这被称为测试“独立性”。

通常，侦探们寻找的是完美的匹配。如果数据不是百分之百完美匹配，他们就会说：“啊哈！它们有关联！”但在现实生活中，没有什么事是绝对完美的。有时，两件事物只是“近似独立”，即足够接近，以至于微小的差异并不重要。这就是“近似独立”的概念。

问题在于？旧的侦探工具有点笨拙。它们依赖一种需要每次都去解一个庞大且复杂的数学难题（称为“数值优化”）的方法。这就像是为了寻找每一根干草都要为它专门建造一个新机器人一样。这既慢又容易让机器人卡住。

全新的侦探工具包
来自德国科隆的统计学家弗拉迪米尔·奥斯特罗夫斯基（Vladimir Ostrovski）打造了一套全新的、更精巧的侦探工具包。他不再纠缠于那个沉重的数学难题，而是发明了两种全新的、超快速的方法来衡量你的数据与“完全独立”这一概念之间的“距离”。

这就像是在测量一张摇晃的桌子距离水平状态有多远。

“绝对”尺子 ( $d_a$ )： 它测量原始差异。这就像是在检查桌腿距离地面偏离了多少毫米。
“相对”尺子 ( $d_r$ )： 它根据桌子的尺寸来衡量差异。这就像是在问：“这个摇晃相对于桌子的尺寸来说是很剧烈的，还是仅仅是一个微小的斑点？”

这些新尺子使用起来非常简单。你不需要超级计算机也能读出结果；你可以瞬间计算出答案。

“自助法”魔术技巧
这里有个棘手的部分：为了知道你的测量结果是“真实的”差异，还是仅仅由一小部分样本数据引起的偶然现象，你需要知道“临界值”是什么。这就像是你要先知道桌子摇晃到什么程度才算坏掉，才能判定它是否真的坏了。

旧方法使用一个理论公式来计算这个值，该公式在拥有数百万个数据点时表现出色，但在数据量较少时会变得有些摇晃。为了解决这个问题，作者使用了被称为**自助法（bootstrap）**的技巧。

想象你有一个装满弹珠的袋子，代表你的数据。自助法就像是伸手进袋子，抓起一把，做一个副本，然后把它们放回去，并重复这个过程成千上度，以观察结果是如何波动的。这能为较小规模的数据提供更准确的图景。

但有一个难点：要对独立性进行这种自助法操作，你通常需要找到一个特定的“边界点”——一个数据恰好处于独立边缘的魔幻位置。寻找这个位置就像是在没有地图的情况下寻找沙滩上的一粒特定的沙子。

解决方案：随机化映射
作者通过创建一个“随机估计量”解决了这个问题。他不再试图寻找那粒完美的沙子，而是向海滩投下一张网。他生成了一堆随机的“外部点”（那些确定不独立的点），然后通过你的数据与这些点之间连线，从而找到边界。

这就像是在说：“我不知道森林的边缘具体在哪里，但如果我从房子向着一座我知道很远的远山走去，我最终会触碰到边缘。”这使得整个过程对于复杂的表格来说既快速又在计算上可行。

模拟实验显示了什么
作者不仅是靠猜测；他还运行了一个大规模的模拟实验室。他创建了数千个不同规模的虚构数据表（从极小的 $2 \times 4$ 网格到巨大的 $5 \times 5$ 网格），并将他的新方法与旧方法进行了对比测试。

好消息： 新的“自助法”测试在处理小样本量方面表现得更好。它们比旧的“渐近”测试更能遵循规则（即保持在 0.05 的“标称水平”），因为旧测试在表格变大时往往会变得过于谨慎（保守）。
代价： 这些测试并非在所有地方都完美。如果数据中包含几乎为零的类别（例如概率接近零的类别），测试可能会变得过于急躁（反向保守）。作者警告说，如果你的数据中有空框或几乎为空的框，你需要格外小心。
“收缩”技巧： 为了让测试更安全，作者展示了如果将“容差参数”（即你愿意接受的摇晃程度）缩小到 0.18，测试就会变得非常可靠，且很少出现误报。

现实世界测试
作者带着这套新工具包对三个现实中的谜题进行了实测：

屈尼地平疗法（Nitrendipine Therapy）： 性别是否影响患者对这种降压药的反应？通过对 217 人的样本进行测试，新测试表明性别与结果之间是近似独立的（它们之间没有强烈的联系）。
眼睛与发色： 棕色眼睛是否总是伴随着棕色头发？测试证实了我们已知的事实：它们并不是独立的。数据展示了强烈的联系，只有当你允许巨大的“摇晃”（容差约为 0.58）时，测试才会接受独立性的假设。
儿童数量与收入： 一个家庭的孩子数量是否取决于其收入？这个数据集非常庞大（25,263 人），但其中一些类别非常空缺。测试表明它们可能是近似独立的，但由于这些空缺类别，这种近似是“非常不准确的”。

总结
本文并不声称已经永久解决了关于独立性的谜题。相反，它为统计学家提供了一套更快、更可靠的新工具。它用一个快速、智能的计算取代了一个缓慢、沉重的数学难题，并使用了一种聪明的“随机行走”方法来处理小数据集。

作者在网上提供了免费的“侦探工具包”（软件代码）供任何人使用。虽然这些测试在大多数情况下表现出色，但论文明确警告，在处理条目极少的分类数据时，需要谨慎使用。这是一个观察世界的强大新方式，但就像任何优秀的侦探一样，你仍然需要知道何时去复核你的线索。

技术摘要：用于列联表中近似独立性的新等效性检验

问题陈述
本文探讨了测试两向列联表中“近似”行-列独立性的统计挑战。与传统的独立性检验（旨在拒绝完全独立的零假设）不同，这项工作侧重于等效性检验（equivalence testing）。其目标是检验零假设 $H_0: \{d(p, M) \geq \varepsilon\}$ 对抗备择假设 $H_1: \{d(p, M) < \varepsilon\}$ ，其中 $p$ 是真实的概率矩阵， $M$ 是独立性模型（所有乘积测度的集合）， $d$ 是距离度量， $\varepsilon > 0$ 是预设的容差参数。

作者指出，虽然已存在其他方法（例如 Hodges 和 Lehmann, 1954; Diaconis 和 Efron, 1985; Liu 和 Lindsay, 2009; Wellek, 2010），但这些方法通常依赖于半参数容差区域或针对全指定多项分布的一致性检验。作者在其前作（Ostrovski, 2018）中识别出的一个特定局限性是，计算最小距离 $d(p, M)$ 时依赖于数值优化，这使得基于自助法（bootstrap）的检验在计算上非常密集。此外，此前曾假设独立性模型存在连续极小值，但并未对此进行证明，从而造成了理论上的空白。

方法论
本文提出了一个框架，通过引入两种由概率矩阵 $p$ 的变换导出的特定距离度量，从而避免了对独立性模型的数值优化：

绝对偏差 ( $d_a$ )： 通过变换 $h_a(p) = (p_{ij} - r_i c_j)$ 定义，其中 $r$ 和 $c$ 是边缘概率向量。距离为 $d_a(p, M) = l(h_a(p), 0)$ 。
相对偏差 ( $d_r$ )： 通过变换 $h_r(p) = (p_{ij} / r_i c_j)$ 定义。距离为 $d_r(p, M) = l(h_r(p), 1)$ 。

此处， $l$ 代表一个可微距离（在模拟实验中具体为缩放后的欧几里得距离）。这些度量允许直接计算到独立性模型的最小距离，而无需迭代优化。

本文开发了两类检验：

渐近检验： 检验统计量定义为 $T_*(p_n) = \sqrt{n}(d_*(p_n, M) - \varepsilon)$ 。利用 Delta 方法，作者推导出了这些统计量的渐近高斯分布。临界值使用估计的渐近方差 $\sigma_*(p_n)$ 进行计算。
自助法检验： 为了提高有限样本下的表现，本文引入了一种参数化自助法。一项关键创新是开发了一个计算可行的高效边界点估计器 ( $\tilde{p}_n$ $\tilde{p}_{n}$ )。由于边界 $\partial H_0$ $\partial H_{0}$ 结构复杂且难以参数化，作者提出了一个随机化估计器。该过程包括：
- 选择一组“外部”点 $Q$ ，满足 $d_*(q, M) > \varepsilon$ 。
- 构造线性组合 $c(p_n, q) = a_n p_n + (1-a_n)q$ ，使得距离等于 $\varepsilon$ 。
- 选择使距离到观测数据 $p_n$ 最近的组合作为估计器 $\tilde{p}_n$ 。
- 基于 $\tilde{p}_n$ 使用蒙特卡洛模拟来估计临界值 $c(\alpha, \tilde{p}_n)$ 。

主要贡献

解析简化： 本文提供了使用 $d_a$ 和 $d_r$ 计算到独立性模型最小距离的闭式表达式，消除了以往通用方法中所需的数值优化。
高效的边界估计： 开发了一种用于边界点的随机化估计器，使自助法检验在列联表中具有计算可行性。
理论保证： 作者证明了所提出的边界估计器在特定条件下是一致的（几乎处处收敛于真实的边界点），并确立了检验统计量的渐近正态性。
实现： 检验已在 R 语言中实现并在线提供。

结果
通过模拟研究和实际数据集的应用，对所提方法的性能进行了评估：

有限样本表现：
- 功效（Power）： 实现 90% 功效所需的最小容差参数 $\varepsilon$ 随样本量 ( $n^{-1/2}$ ) 的增加而减小，并随表格大小 ( $k_1 + k_2$ ) 的增加而增大。
- 第一类错误（Type I Error）： 渐近检验在小规模表格中表现为非保守，但在大规模表格中则表现出高度保守。相比之下，自助法检验在各种表格规模下都能保持与标称水平 ( $\alpha = 0.05$ ) 非常接近的拒绝概率，尽管基于 $d_r$ 的自助法检验在特定边界区域（即边缘概率接近于零时）表现出反保守倾向。
- 第二类错误（Type II Error）： $d_a$ 基准检验的功效在不同点位相对稳定，而 $d_r$ 基准检验则表现出高变异性。
真实数据应用：
- 仁地那品治疗（Nitrendipine Therapy）： 在样本量较小 ( $n=217$ ) 的情况下，渐近检验和自助法检验均表明治疗结果与性别之间存在近似独立性。
- 眼色与发色： 检验正确地拒绝了独立性假设（针对极大的 $\varepsilon$ ），证实了这两个变量之间确实缺乏独立性。
- 儿童与收入： 尽管样本量很大 ( $n=25,263$ )，但“4个及以上子女”类别的稀疏性导致基于 $d_r$ 的检验功效较低。 $d_a$ 基准检验表明存在近似独立性，但指出该近似并不准确。

意义与主张
本文声称提供了一种统计高效且计算可行的近似独立性检验方法。通过避免数值优化以及不再依赖于关于连续极小值存在性的未经验证的假设（这些假设在 Ostrovski, 2018 中是必要的），所提方法提供了更稳健的理论基础。作者强调，特别是使用所提出的边界估计器时，自助法检验在有限样本下的表现优于渐近检验，尤其是在处理较大的列联表时。这项工作被视为对统计实践的实用改进，并提供了相关工具以促进应用。

技术摘要：用于列联表中近似独立性的新等效性检验

类似论文