Protocol for the development of a tool (INSPECT-IPD) to identify problematic randomised controlled trials when individual participant data are available
本文概述了开发 INSPECT-IPD 的方案，这是一种旨在通过结合实证测试与国际专家共识，对个体参与者数据进行评估并实施法医学检查，从而识别问题随机对照试验的新型工具。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
想象一下，你是一位试图做出世界上最棒的汤的厨师。为了实现这个目标，你收集了来自数百位不同厨师的食谱（这些就是随机对照试验，即 RCTs）。你会品尝每一份食谱的一小部分，看看这道汤是否成功。通常情况下，你只需要阅读厨师写下的那张食谱卡片即可。
但如果其中一些厨师撒谎了怎么办？如果他们伪造了配料表，甚至假装自己根本没煮过这锅汤呢？仅仅阅读食谱卡片并不总能识破骗子。
这篇论文是关于构建一个名为 INSPECT-IPD 的新型超级放大镜。以下是它的工作原理，分为简单的步骤：
问题所在：“食谱卡”还不够
作者们已经开发了一个名为 INSPECT-SR 的工具，用于检查食谱卡中的红旗信号（异常迹象）。但他们意识到，有时你需要看到实际的汤锅——即原始的、单个的食材——才能确定厨师是否在说实话。
在科学领域，这个“汤锅”被称为个体参与者数据（Individual Participant Data, IPD）。它是来自每项研究中每一个人的原始数据。论文指出，当科学家能够查看这些原始数据时，他们发现伪造或有缺陷的研究会比仅看食谱卡时多得多（例如，通过查看原始数据能发现 44% 的伪造研究，而仅看食谱卡时只能发现 2%）。
目标：构建“法医厨房”工具
团队想要构建一个新工具 INSPECT-IPD，以帮助科学家检查这些原始数据。但他们不能随意猜测使用哪些检查方法。他们需要建立一个真正有效的检查“菜单”。
为此，他们正在运行一个分为五个步骤的项目：
第一步：收集工具
首先，他们正在制作一份关于检查原始数据的所有可能方式的大名单。这就像收集所有可能的厨房用具：秤、温度计、显微镜，甚至是 AI 检测器。他们从专家和之前的研究中获取了这份清单。
第二步：“真假”测试
接下来，他们将测试这些小工具。
- 他们将采用 15 个真实数据集（真实的汤谱）。
- 他们将使用 AI（类似于 ChatGPT）创建 15 个伪造数据集，以模拟撒谎者可能会如何编造虚假数据。
- 他们将邀请 30 位不同的专家对这些数据集使用这些工具。
- 目标： 观察哪些工具能真正识别出伪造的汤，哪些工具会让人感到困惑或毫无用处。他们想知道：这项检查是否易于理解？它是否真的能捕捉到错误的数据？
第三步：专家投票（德尔菲调查法）
一旦他们知道了哪些工具有效，他们将邀请一大群国际专家（统计学家、医生、编辑甚至患者）对它们进行投票。
- 他们将根据以下标准在 1 到 9 分的量表上对每项检查进行评分：“它有多有用？”以及“它有多容易理解？”
- 他们只想保留那些几乎所有人都认为既有用又易于使用的检查方法。
第四步：最终菜单
专家们将进行（虚拟）会议，以决定最终名单。
- 如果某项检查虽然擅长抓捕骗子但非常难以理解，他们可能会将其移至“专家专区”，或者编写一份更好的说明手册。
- 最终的结果将是一个初稿形式的 INSPECT-IPD 工具——一份检查原始数据的分步指南。
第五步：试驾
最后，他们会让现实世界的使用者来尝试这个工具。
- 他们会邀请撰写系统评价（Systematic Reviews）的人（即“汤厨师”）和期刊编辑（即“餐厅卫生检查员”）使用该工具来检查真实的研究。
- 他们会询问：“使用起来容易吗？它是否帮助你判断了一项研究是否值得信赖？”
- 根据这些反馈，他们会在向公众发布之前对工具进行最后一次调整。
重要游戏规则
论文非常明确地说明了这个工具不是什么：
- 它不是测谎仪： 它不会说“这个人是罪犯”。它只会说：“这些数据看起来很可疑，请谨慎对待。”
- 它不是面向所有人： 只有当你拥有原始数据（IPD）时才能使用它。如果你只有发表出来的论文，则必须使用旧工具（INSPECT-SR）。
- 它不是魔杖： 作者承认，随着 AI 伪造数据的能力不断提升，该工具也需要不断更新，就像杀毒软件需要更新一样。
大局观
作者们相信，如果我们有一个良好、易用的检查原始数据的工具，期刊可能会开始要求科学家更频繁地分享他们的原始数据。这会让科学变得更加诚实，因为如果你知道有人会拿着放大镜检查你的“汤锅”，你就更不容易尝试去伪造它。
简而言之： 这篇论文是关于构建一套全新的、高科技的质量控制套件的蓝图，旨在通过查看原始食材而非仅仅查看食谱卡，来捕捉虚假数据。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。