Recovering Pre-Deletion Measurement Quality from Published Statistics: An Inverse Meta-Analysis of the Technology Readiness Index 2.0
本文引入了一种“逆向元分析”方法，用于从已发表的研究中恢复删除前的测量质量统计数据，揭示了在技术准备指数 2.0 中广泛存在的删除弱项的做法是如何人为地抬高信度指标并掩盖其抑制维度的真实缺陷的。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在社会科学领域，研究人员经常依赖调查问卷来衡量复杂的人类情感，例如一个人对拥抱新技术的准备程度。为了实现这一点，他们使用长长的题目（或称“条目”）列表，通过询问人们对于有关技术之信心、恐惧和习惯的陈述是否同意或不同意来进行测量。在设计这些调查时，目标是创建一个平衡的图景：一些问题衡量积极的情感，如兴奋感和对创新的渴望；而另一些问题则衡量消极的情感，如焦虑感和对失去控制的恐惧。为了使一份调查被视为值得信赖，衡量每种特定情感的问题必须紧密地结合在一起，这意味着对某一主题持有某种感受的人，通常会对该主题的其他问题也持有相同的感受。如果问题之间的契合度不高，则说明该调查缺乏“效度”，其产生的结果也是不可靠的。
多年来，一种名为“技术准备度指数”（Technology Readiness Index）的广泛使用的调查一直是衡量这种准备度的标准工具。然而，最近的一项调查表明，该调查所取得的成功记录可能具有误导性。当研究人员分析他们的调查数据时，有时会发现某些问题并不符合既定模式。标准的做法是简单地剔除这些较弱的问题，并仅基于剩余的、更强的问题来报告结果。虽然这看起来像是清理数据的一种合理方式，但一项新的研究认为，这种常规性的删除掩盖了一个显著的问题：技术准备度的消极面在文献中被系统性地削弱了，使得该调查看起来比实际情况更为稳健。
一位研究人员试图通过回顾已发表的文献来揭示该调查的真实状态。他专注于“技术准备度指数 2.0”，这是原始调查的一个缩减版本，包含十六个问题，分为四个类别：两个积极类别，即“乐观”和“创新性”；以及两个消极类别，即“不适感”和“不安全感”。在最初验证该调查时，消极类别已知是较弱的一环，其问题的结合紧密度不如积极类别。然而，在随后发表的数千项研究中，消极类别往往表现出与积极类别同样高的质量标准。研究人员怀疑，这种提升是一种幻象，是由选择性地删除最弱问题所造成的。
为了测试这一点，研究人员开发了一种被称为“逆向元分析”（inverse meta-analysis）的方法。他并没有简单地平均许多研究的结果，而是从作者已经发表的统计数据出发进行反向推导。他将那些缺失的问题——即作者删除的问题——视为已知较弱的隐藏数据点。通过利用已报告的剩余问题的数值以及作者使用的已知删除规则，研究人员可以从数学上重建如果没有任何问题被丢弃时的调查结果原貌。这使他能够估算出在任何编辑发生之前的真实调查强度。
这项调查涵盖了九十四项提供了足够分析细节的已发表研究。研究人员发现，消极类别，特别是衡量“不安全感”的类别，确实是这种选择性删除的受害者。作者更有可能删除来自消极类别的题目，而不是来自积极类别的题目。事实上，消极类别丢失至少一个问题的可能性要高出百分之十二。当研究人员将这些被删除的问题还原到数据中时，画面发生了剧变。质量下降了，揭示出这些类别其实比已发表的报告所暗示的要弱得多。
具体而言，研究人员发现，在已发表的报告中，积极类别与消极类别之间的差距看起来很小，但一旦计入被删除的项目，这个差距几乎翻了一番。在已发表的文献中，消极类别似乎通过了质量标准测试。然而，在重建之后，超过五分之一测量“不安全感”的研究未能通过同样的测试。被删除最频繁的问题是一个关于对仅存在于线上的公司的信心问题。这个问题连同另一个关于社会对技术依赖性的问题，由于被删除得过于频繁，从而扭曲了整个调查在已发表记录中的结果。
为了确保其方法可靠，研究人员运行了一个计算机模拟，其中创建了带有已知答案的虚假研究。他设定程序让这些虚假作者像真实作者那样删除较弱的问题，然后将重建方法应用于这些虚假结果。模拟证实了他的技术是准确且保守的；它并没有凭空捏造问题，而是成功地找回了被删除行为所隐藏的、真实的、较弱的类别质量。即使在删除规则非常严格的情况下，该方法依然有效，证明了已发表数字与真实数字之间的差距是真实存在的。
最后，研究人员在两个完全没有删除过任何问题的原始数据集上测试了他的理论。在这些未经编辑的数据集中，消极类别本身并未达到质量标准，这证实了这种弱点是调查设计本身固有的，而非仅仅是少数研究中的运气不好。当研究人员将典型的删除规则应用于这些原始数据集时，报告的质量得分上升了，跨过了成功的门槛。这清晰地展示了通过删除项目这一常规做法，是如何仅仅通过移除失败的证据，就能将一份不及格的调查变成一份合格的调查。
研究结论指出，关于技术准备度的已发表文献更多是由作者的选择而非数据的现实所塑造的。通过移除最弱的问题，研究人员创造了一个看起来平衡且可靠的调查版本，而底层的工具在衡量对技术的恐惧和焦虑方面仍然存在缺陷。研究人员认为，这不仅仅是针对这一特定调查的问题，更是对整个领域的警告。他敦促科学家报告他们提出的每一个问题，包括那些后来被删除的问题，以便让调查表现的全貌清晰可见。如果没有这种透明度，科学记录可能会继续呈现出一个世界：在那里，技术准备度被完美地测量，而实际用于测量的工具却依然是不完整的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。