How can digital and AI-enabled behaviour change interventions be evaluated while they are changing? HUMMBER: identifying what changed, for whom, why and with what effect
本文介绍了 HUMMBER，这是一个以人为本、可重复使用的评估框架，旨在持续评估不断演进的数字化及人工智能赋能的行为改变干预措施，并通过一项完全合成的原理验证研究，证明了其计算可行性、追踪变化的能力、识别受影响群体以及确定因果效应的能力。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，在风暴中驾驶一艘船，而地图、风向和船员都在同时发生变化。这就是现代健康程序面临的现实，这些程序运行在智能手机和可穿戴设备上。这些数字工具旨在帮助人们养成更健康的习惯，比如增加锻炼或改善饮食。一些最新版本甚至使用人工智能来预测一个人的需求，并实时改变给出的建议。但这种不断的变动为那些试图衡量这些工具是否真正有效的人带来了问题。如果一个程序的各项功能每周都在变化，或者用户的生存环境发生了转移，那么简单的“前后对比”检查就会产生误导。一个人最终可能达到了良好的状态，但其实现的路径可能与其他人完全不同，或者该工具对某一群体有效，但对另一群体现却失效了。为了真正理解这些移动的目标，科学家需要一种在程序运行期间进行观察、倾听和提问的方法，而不是仅仅等待最终结果。
一个研究小组提出了一种处理这种复杂性的新方法，称为 HUMMBER。这种方法不是一个新的应用程序或一种医疗手段；它是一套用于研究这些不断变化的数字工具的规则。研究人员希望创造一种能够追踪“什么在变化”、“谁受到了影响”、“在什么条件下”以及“为什么”的方法。至关重要的是，这种方法确保人类在最终决策中占据主导地位。人工智能可以提供建议并收集数据，但该方法确保由人类评估者来决定数据的含义以及是否根据数据采取行动。该团队通过构建一个完全由计算机生成的模拟实验测试了这个想法。他们创建了一个虚构的数字健康程序，并为它填充了 600 个虚拟人，然后运行该程序 26 周。他们引入了特定的问题，例如有些人网络连接较差，或者程序变得过于困难，以观察这种新方法能否准确地发现这些问题。
模拟结果显示，仅仅观察最终结果往往是一个陷阱。在计算机世界里，研究人员创建了五个不同的虚拟人群组。到 26 周结束时，所有五个组都达到了几乎完全相同的成功水平，大约有 70% 的人坚持了下来。然而，每组所经历的旅程却完全不同。一组是因为技术故障而挣扎，另一组是因为目标定得太高，而第三组则仅仅是因为失去了兴趣。如果研究人员只看最终的数据，他们就会错过这些至微重要的差异。然而，HUMMBER 方法成功地追踪了这些不同的路径。它表明，虽然目的地相同，但到达那里的原因——或者失败的原因——对每个群体来说都是独特的。这证明了需要一种能够观察整个故事，而不仅仅是结局的方法。
研究还强调了公平性是如何隐藏在数据中的。研究人员编写了一个场景：由于数字获取能力有限，人们获得该工具帮助的机会较少。该方法立即捕捉到了这一点。它显示出这些参与者获得支持的机会较少，且存在更多的数据缺失，尽管帮助本身对他们而言与其他人一样有效。如果没有这种详细的追踪，研究人员可能会错误地得出结论，认为该工具对网络环境差的人群无效。相反，该方法澄清了问题不在于工具的有效性，而在于获取工具的机会问题。这种区分对于确保健康工具能帮助所有人，而不仅仅是那些拥有最好技术的人，是至关重要的。
另一个关键发现是关于如何在不打扰用户的情况下向其索取信息。模拟测试了不同的用户检查方式：立即询问、等待一段时间，或者让用户自行选择何时回答。结果显示，让用户自行选择时间是最有效的。对于用户用于回答问题的每一分钟，这种方式都能收集到最有用的信息。这表明，尊重用户的时间和选择实际上可以提高收集到的数据质量，而不仅仅是一种礼貌的行为。该方法还测试了系统是否能弄清楚事物变化的起因。当模拟开始时，系统对问题的起因做出了错误的猜测，HUMMBER 方法随着新证据的出现逐渐修正了自己。它并没有强行给出一个快速答案；相反，它随着故事的展开不断更新自己的理解，最终在大多数情况下识别出了真实的起因。
或许最重要的一点是，该方法学会了何时停下来并说“我们暂时还不知道”。在模拟中，研究人员试图证明某个特定功能导致了行为的变化。当数据不稳定或对比不公平时，该方法拒绝做出断言。它将结果标记为“证据不足”，而不是强行得出结论。这是一种刻意的设计选择。研究人员构建该系统时保持了谨慎。如果证据不够充分，或者数据缺失的方式可能会扭曲结果，该方法就会标记出这种不确定性。它不会假装拥有答案。这保护了决策者免受虚假希望的影响。系统还会检查工具的效果随时间发生变化的情况，确保在第一周得出的结论不会被盲目地应用到第二十周。
研究人员谨慎地声明，这是一次对该方法本身的测试，而不是对真实健康程序的测试。其中的人物和事件完全是由计算机虚构的，目的是在受控条件下验证规则是否奏效。他们并没有在真实的患者或真实的医院中进行测试。目标是证明该方法的逻辑在变量已知且结果预设的情况下是成立的。模拟表明，这种架构可以在不产生混淆的情况下，将不同类型的证据联系起来。它可以将“发生了什么的故事”与“为什么发生的故事”区分开来，并且可以让用户的负担保持可见。
这项工作为数字健康的未来指明了一条新路径。随着人工智能在健康类应用中变得越来越普遍，这些工具将不断变化和适应。HUMMBER 方法提供了一种密切观察这些变化的方法，确保我们了解谁从中受益、谁被遗漏了，以及究竟是什么在驱动结果。它将解释证据并做出最终决定的责任交还给了人类评估者。虽然模拟证明了该概念在受控环境下是有效的，但研究人员指出，下一步是在现实世界中进行测试。他们需要观察医生、患者和开发人员是否能够共同使用这些规则，来理解复杂的、不断变化的健康工具。在此之前，该方法仍然是一个极具前景的蓝图，旨在将人类判断置于日益自动化的世界中心。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。