📊 statistics

Better Assumptions, Stronger Conclusions: The Case for Ordinal Regression in HCI

本文通过批判性分析人机交互（HCI）领域对序数数据（如李克特量表）的统计处理方法，指出了现有方法的局限性，并倡导使用累积链接模型（CLM/CLMM）作为更优方案，同时提供了基于 R 语言的实践案例以推动该领域的统计规范统一。

原作者： Brandon Victor Syiem, Eduardo Velloso

发布于 2026-02-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Brandon Victor Syiem, Eduardo Velloso

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给 HCI（人机交互）领域的研究人员们开一场“体检”和“处方”。

简单来说，它的核心观点是：我们在处理用户调查数据（比如 Likert 量表，也就是那种 1 到 5 分的满意度打分）时，用错了“尺子”，导致得出的结论可能不准确。作者建议换一把更精准的“尺子”——叫做“累积链接模型（CLM/CLMM）”。

为了让你更容易理解，我们用几个生活中的比喻来拆解这篇论文：

1. 现状：大家都在用“错误的尺子”量“模糊的感觉”

想象一下，你开了一家餐厅，想问顾客对菜品的满意度。你发了一张问卷，让顾客在 1 到 5 分之间打分：

1 分：非常难吃
3 分：一般
5 分：非常好吃

问题出在哪里？
在 HCI 研究中，很多学者把这些 1、2、3、4、5 分当作真正的数字（就像量长度用的米尺）来处理。他们直接算平均分（比如 3.5 分），然后做复杂的数学运算（比如方差分析 ANOVA）。

比喻：
这就好比你问一个人：“你觉得‘有点冷’和‘非常冷’之间的温差，是不是等于‘有点热’和‘非常热’之间的温差？”

现实是： 人的感觉是模糊的、有顺序的（Ordinal）。"3 分”到"4 分”的心理距离，可能和"4 分”到"5 分”的心理距离完全不一样。
错误做法： 强行把它们当成等距的（Metric）。就像你非要用一把刻度均匀的米尺，去测量一堆形状不规则的石头，然后说“这块石头比那块重 0.5 克”。虽然算出来了，但可能根本不准，甚至会把结论搞反（比如本来 A 组比 B 组好，结果算出来 B 组更好）。

论文指出，目前很多研究要么用这种“错误的尺子”（参数检验），要么用一种“太粗糙的尺子”（非参数检验，只排个序，忽略了具体的差异程度），导致大家得出的结论互相打架，没法互相比较。

2. 解决方案：换一把“智能尺子”（累积链接模型）

作者推荐大家使用一种叫累积链接模型（CLM/CLMM） 的统计方法。

比喻：心理温度计
想象用户心里其实有一个看不见的、连续的温度计（潜变量），代表他们真实的满意度。

当温度计读数很低时，用户打"1 分”。
当读数升高超过某个“门槛”（Cutpoint），用户打"2 分”。
再升高超过下一个“门槛”，打"3 分”……以此类推。

CLM 的聪明之处在于：
它不直接去算 1 分和 2 分的差值是多少，而是去推测那个看不见的“门槛”在哪里，以及你的实验（比如换了个新系统）是如何移动这个看不见的温度计读数的。

它承认： 1 分和 2 分之间的心理距离，不一定等于 4 分和 5 分之间的距离。
它利用： 数据是有顺序的（5 比 4 好），但不需要假设它们是等距的。

这就好比，我们不再纠结“冷”和“热”具体差多少度，而是直接看温度计的指针是不是往“热”的方向移动了，以及移动了多少。这样既尊重了数据的本质（有顺序但不等距），又比简单的排序更灵敏，能发现细微的差别。

3. 作者做了什么？（实地演练）

为了证明这个方法好用，作者做了两件事：

大搜查（文献综述）： 他们翻了 2024 年 CHI 会议（人机交互界最顶级的会议）上的 94 篇论文。
- 发现： 大家用的方法五花八门，有的用算平均分的，有的用排名的，甚至有的在一篇文章里，前面用“排名法”，后面用“算平均分法”，自相矛盾。这就像盖房子，地基用的水泥，墙用的砖，完全没统一标准。
手把手教学（R 语言实战）： 作者找了两篇已经发表过的、公开了原始数据的论文，用他们推荐的“智能尺子”（CLM/CLMM）重新算了一遍。
- 结果惊人： 原来那两篇论文说“没区别”，用新方法算出来“有显著区别”！
- 比喻： 就像以前用肉眼观察两杯水，觉得一样平；现在用了高精度水平仪，发现其中一杯其实稍微高了一点点。这个“一点点”可能就是产品改进的关键。

4. 为什么要关心这个？

避免“假阳性”和“假阴性”： 用错方法，可能会让你以为产品改好了（其实没好），或者以为没改好（其实改好了）。
让研究可重复： 如果大家都用同一把“智能尺子”，A 实验室和 B 实验室的结果就能直接对比，科学进步会更快。
不再被“数学”吓跑： 以前大家觉得这种高级统计太难，作者专门写了教程，告诉大家用 R 语言（一种常用的统计软件）怎么操作，就像给了大家一本“傻瓜操作手册”。

总结

这篇论文就是在呼吁：别再拿处理“长度”的方法去处理“感觉”了！

在 HCI 研究中，用户的满意度、易用性打分，本质上是有顺序的类别，而不是精确的数值。作者建议大家放弃那些强行把分数当数字算的老方法，转而使用累积链接模型（CLM/CLMM）。这把“智能尺子”能更准确地捕捉用户真实心理的细微变化，让我们的研究结论更靠谱、更科学。

一句话总结： 别把“感觉”当“数字”硬算，用对方法，才能看清用户真实的心声。

论文技术总结：《更好的假设，更强的结论：HCI 中有序回归的案例》

论文标题：Better Assumptions, Stronger Conclusions: The Case for Ordinal Regression in HCI
作者：Brandon Victor Syiem, Eduardo Velloso (悉尼大学)
会议：CHI '26 (2026 年)

1. 研究问题 (Problem)

在人机交互（HCI）研究中，有序测量数据（如 Likert 量表、评分问卷、用户偏好排名）被广泛用于量化用户的主观感知、态度和偏好。然而，目前该领域在分析此类数据的统计方法上缺乏共识，存在以下核心问题：

方法混用与假设冲突：研究人员频繁混用参数检验（如 ANOVA、t 检验）和非参数检验（如 Friedman 检验、Wilcoxon 检验）。
- 参数方法的问题：虽然统计功效（Power）较高，但通常假设数据是等距的（metric）且服从正态分布。将有序数据视为等距数据进行分析（例如计算平均值），已被证明会增加 I 类（假阳性）和 II 类（假阴性）错误，甚至导致组间均值估计反转。
- 非参数方法的局限：虽然对分布假设较少，但许多常用方法（如 Wilcoxon 符号秩检验、ART-ANOVA）实际上仍隐含了对数据间距的假设，或者在处理多因素实验设计时缺乏灵活性且统计功效较低。
分析流程的不一致性：在同一项研究中，研究者可能在主效应检验（Omnibus test）中使用非参数方法，而在事后两两比较（Pairwise comparisons）中却使用假设数据为等距的参数方法，导致逻辑上的自相矛盾。
缺乏对有序回归的采用：尽管有序回归模型（如累积链接模型）在心理学和经济学中已被广泛推荐，但在 HCI 领域的应用仍然非常有限，部分原因是被认为过于复杂或难以解释。

2. 方法论 (Methodology)

为了阐明现状并提出解决方案，作者采用了以下研究步骤：

2.1 文献综述 (Literature Review)

数据来源：对 2024 年 ACM CHI 会议论文集进行了系统回顾。
筛选标准：搜索包含"questionnaire"或"likert"的全文论文，筛选出包含用户研究并报告了有序数据统计分析的论文。
样本：从 558 篇初筛论文中随机抽取 100 篇，最终纳入 94 篇进行详细分析。
分析维度：记录每篇论文中使用的统计方法，分为三类：预测建模（Predictive modelling）、整体检验（Omnibus tests）和成对比较（Pairwise comparisons）。

2.2 理论框架：累积链接（混合）模型 (CL(M)Ms)

作者提出使用累积链接模型 (Cumulative Link Models, CLM) 和 累积链接混合模型 (Cumulative Link Mixed Models, CLMM) 作为分析有序数据的标准方法。

核心假设：
1. 潜变量假设 (Latent Variable)：假设存在一个不可观测的连续潜变量（ $\tilde{Y}$ ，如用户的真实心理感受），其分布通常假设为标准正态分布（Probit 链接）或逻辑分布（Logit 链接）。
2. 阈值分割 (Thresholds/Cutpoints)：观测到的有序响应（ $Y$ ，如 1-5 分）是由潜变量落在特定的阈值区间内决定的。例如，当 $\tau_1 < \tilde{Y} \le \tau_2$ 时，用户选择 2 分。
3. 比例优势假设 (Proportional Odds)：自变量对潜变量的影响在所有阈值上是恒定的（即只改变分布的位置，不改变形状）。
优势：CL(M)Ms 将数据视为具有内在顺序的分类变量，不假设类别间的间距相等，同时利用了顺序信息，比传统非参数方法具有更高的统计功效。

2.3 实证重分析 (Re-analysis)

作者使用 R 语言中的 ordinal 包，对两篇已发表的 CHI 论文中的公开数据集进行了重分析，以展示 CL(M)Ms 的实际应用：

Fitton et al. [26]：使用 CLM 重分析虚拟现实中不同学习条件对“感知有用性”和 SIM-TLX 量表（如体力需求、压力）的影响。
Chen et al. [16]：使用 CLMM（处理重复测量/受试者内设计）重分析不同显示桌高度调整机制对 NASA-TLX 工作负荷评分的影响。

3. 主要发现与结果 (Key Findings & Results)

3.1 文献综述发现

方法多样性与混乱：在 94 篇论文中，统计方法的使用极其分散。
- 预测建模：仅 28 次，其中 CLMM 仅出现 8 次，而线性混合模型（LMM）等参数模型被频繁误用（9 次）。
- 整体检验：257 次检验中，参数方法（ANOVA 系列）占 71 次，非参数方法（Kruskal-Wallis, Friedman, ART）占 186 次。
- 成对比较：309 次比较中，Wilcoxon 符号秩检验（61 次）和 t 检验（54 次）最常用。
假设冲突：约 319/527 的检验（排除未指定方法）实际上对有序数据施加了等距（metric）假设。
- 例如，许多研究在 Friedman 检验（非参数）后使用 Wilcoxon 符号秩检验（假设等距）进行事后比较，这在逻辑上是不一致的。
- ART-ANOVA 和 Wilcoxon 符号秩检验虽然被归类为非参数，但它们在计算过程中涉及算术运算，隐含了等距假设。

3.2 重分析结果对比

Fitton et al. 案例：
- 原论文使用 ANOVA 分析 SIM-TLX 子量表，未发现显著差异。
- CLM 重分析：发现“体力需求”和“压力”子量表在"Self"（自我化身）条件下与"Active"（主动学习）条件之间存在显著差异（ $p < 0.05$ ）。
- 原因：ANOVA 基于均值和标准差，容易受数据偏态分布（如极端值）影响而掩盖差异；CLM 基于累积概率，能更敏锐地捕捉有序数据的分布变化。
Chen et al. 案例：
- 原论文使用 Friedman 检验和 Wilcoxon 事后检验。
- CLMM 重分析：直接对原始 NASA-TLX 数据建模，发现"Manual"（手动调整）条件与"Automatic"（自动调整）条件在“体力需求”上存在显著差异。CLMM 能够同时处理固定效应（实验条件）和随机效应（受试者个体差异），提供了更稳健的推断。

4. 关键贡献 (Key Contributions)

揭示现状与风险：通过大规模文献回顾，量化了 HCI 领域在有序数据分析中的方法不一致性，并指出了当前常用方法（包括部分非参数方法）中隐含的等距假设风险。
推广 CL(M)Ms：详细阐述了累积链接（混合）模型的数学原理、假设（潜变量、阈值、比例优势）及其相对于传统方法的理论优势。
提供实践指南：
- 提供了使用 R 语言 ordinal 包进行 CLM 和 CLMM 分析的完整代码示例。
- 演示了如何解释模型输出（系数、阈值、p 值），特别是如何区分 Logit（优势比）和 Probit（潜变量尺度）链接函数的结果报告。
- 展示了如何处理重复测量设计（CLMM）和如何报告置信区间。
工具与资源：作者提供了补充材料，包括分析脚本、交互式 Shiny 应用（用于直观理解潜变量与阈值的关系），帮助 HCI 研究人员降低使用门槛。

5. 意义与影响 (Significance)

提升研究质量：采用 CL(M)Ms 可以减少因错误假设（将有序数据视为等距）导致的统计错误（I 类和 II 类错误），从而得出更可靠、更准确的结论。
促进可复现性：统一使用适合有序数据的统计方法，有助于不同研究之间的结果对比和理论构建，解决当前领域内因方法学差异导致的“不可比”问题。
方法论范式转变：呼吁 HCI 社区从“参数 vs 非参数”的二元争论，转向“数据性质 vs 模型假设”的匹配原则。对于有序数据，有序回归（Ordinal Regression） 应成为首选方法，而非参数或参数方法的简单替代。
降低应用门槛：通过具体的代码示例和直观解释，打破了 CL(M)Ms 在 HCI 领域“过于复杂”的刻板印象，鼓励研究人员在实际工作中应用这些更严谨的统计工具。

总结：该论文有力地论证了在 HCI 研究中，针对有序数据（如 Likert 量表）应摒弃传统的参数或非参数混合方法，转而采用累积链接（混合）模型 (CL(M)Ms)。这不仅符合数据的数学性质，还能显著提升研究结论的统计效力和科学严谨性。