Adoption Telemetry: Measuring Enterprise AI Adoption from Production Signals
本文介绍了“采用遥测”（adoption telemetry），这是一个框架及开源实现（NANTE），它通过将生产环境的使用信号映射到五个阶段的变革管理进程中，来衡量企业级人工智能的采用情况，同时明确将其阈值设定为用于未来实证验证的可测试构念。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代职场中，一种无声的悖论正在发生。企业纷纷涌入安装人工智能工具，希望实现任务自动化并重塑工作方式。然而，尽管这些工具已近乎普遍部署，结果却差强人意。研究表明，绝大多数此类项目未能带来可衡量的财务价值，许多甚至被完全废弃。专家们的共识是，技术本身并非问题；机器正按设计运行。失败在于人的因素：组织难以改变员工实际的工作方式。他们无法区分一个团队仅仅是尝试了一个新工具，还是已经围绕该工具从根本上重新组织了日常流程。目前的测量工具对这种区别视而不见。它们可以统计有多少人点击了按钮或系统被打开了多少次，但无法观察工作本身是否发生了变化。这种差距让领导者陷入盲目，无法诊断为何采用进度停滞不前，也无法得知如何解决。
一种被称为“采用遥测”（adoption telemetry）的新方法试图通过将隐形的行为变化过程转化为可见且可衡量的指标来解决这一问题。该方法不再依赖于调查问卷或简单的活动计数，而是将“采用”视为一个工程问题。它提议，组织可以通过分析人们在日常使用的系统中留下的数字足迹，来理解其人员是如何适应 AI 的。由 Damon A. Young 领导的研究人员构建了一个框架，通过读取这些生产信号——例如工具的使用次数、会话持续时间以及任务完成是否成功——并将它们映射到特定的变革阶段。其目标不仅是统计使用量，而是精准定位一组员工在从“知晓工具存在”到“将其编织进日常工作织面”的旅程中，究竟卡在了哪里。
该新框架的核心是一个名为 NANTE 的五阶段模型，分别代表：察觉（Notice）、尝试（Attempt）、驾驭（Navigate）、转型（Transform）和嵌入（Embed）。每个阶段都代表了人与新能力建立关系的独特里程碑。前三个阶段——察觉、尝试和驾驭——衡量的是“广度”。它们追踪人们是否知道工具的存在、是否至少尝试过一次，以及是否反复回归使用。最后两个阶段——转型和嵌入——衡量的是“深度”。这是真正发生变革的地方。“转型”意味着工具已成为复杂、多步骤工作流的一部分，并被成功用于完成实际工作。“嵌入”则意味着集成程度极深，以至于移除该工具会破坏团队的产出。研究人员发现，大多数组织正卡在第三阶段与第四阶段之间的边界处。人们在使用工具，但并未改变其工作习惯。新系统旨在使这一特定的“悬崖”变得可见，从而区分出一个团队仅仅是在探索，还是已经真正整合了这项技术。
为了测试这一想法是否奏效，研究人员构建了一个开源工具包，并创建了一系列模拟人群，以观察该系统能否正确识别不同类型的采用失败。他们设计了六个截然不同的场景：一个成功采用工具的健康组，以及五个代表常见采用失败方式的组。这些失败包括：尝试了工具但从未深入使用的团队、知晓工具但从未开始使用的团队、频繁使用但无法完成任务的团队，以及仅有少数“冠军用户”使用而其余人并未使用的团队。模拟结果显示，该系统能够机械地分辨这些群体。例如，它能区分一个健康的团队和一个“浅层平台期”团队。在标准的用法仪表盘上，这两个组看起来可能完全一样，因为它们都有很高的活跃用户数。然而，新系统洞察到，健康的团队已经进入了深度工作流集成的阶段，而另一个团队则停留在表面水平。它还能正确识别一个团队是因为缺乏技能而失败，还是因为缺乏动力而失败。
研究人员谨慎地指出，虽然该系统在这些模拟实验中有效，但用于定义每个阶段的具体数值尚未被证明是事实。例如，“需要使用多少周才算作‘经常性使用’”这类阈值，只是被提议的起点，可以进行测试和调整。目前的证据来自合成数据，而非真实的商业案例。作者明确指出，他们尚未针对实际业务成果验证这些规则。他们正邀请各组织与其合作，在真实数据上测试该系统，以便校准阈值并确认诊断结果是否符合现实。在此之前，该系统应被视为一种结构化的假设，而非最终定论。研究人员还承认该系统存在局率；它无法测量人们的感觉或思想，只能测量人们的行为。它目前还无法检测一个团队是否为了取悦管理者而假装使用工具，也无法完全衡量那些无需人类启动即可运行的自主智能体的成功程度。
这项工作的意义不仅在于工具本身，更在于提出了“缺失此类工具”这一论点。研究人员解释说，无法正确衡量“采用”并非偶然，而是一个结构性问题。通常负责处理这些测量工作的不同群体——构建 AI 的人、销售软件的人以及管理组织变革的人——都处于各自独立的孤岛中。AI 构建者关注代码是否有效；软件销售者关注人们是否登录；变革管理者则关注人们在调查中所表达的内容。没有任何一个群体构建出了一个能将技术数据与人类行为变化模型相结合的系统。这个新框架试图通过将这些视角统一为一个单一的工具来弥合这一鸿沟。它表明，企业级 AI 的下一步不是开发更好的算法，而是开发更好的方法来观察人类是如何实际改变其工作的。通过让不可见的过程变得可见，组织或许终于能够跨越初始部署的兴奋期，去应对真正的挑战：持久的采用。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。