Quantifying the Expectation-Realisation Gap for Agentic AI Systems
本文通过软件工程和临床医疗领域的实证研究，揭示了代理型 AI 系统在实际部署中因工作流摩擦和验证负担等因素，导致其生产力提升的实际效果显著低于预部署预期，从而呼吁建立包含人工监督成本在内的结构化规划框架以量化并弥合这一差距。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇文章就像是一份**“AI 助手现实体检报告”**。
它揭示了一个令人尴尬但非常重要的真相：当我们满怀期待地引入“智能代理 AI"（Agentic AI，即能自主规划、推理并执行多步任务的 AI）时，现实往往比广告里说的要骨感得多。
为了让你更容易理解，我们可以把引入 AI 比作**“给公司或家庭雇佣了一位超级实习生”**。
1. 核心问题：期望与现实的“巨大落差”
想象一下，你花大价钱雇了一位号称“能帮你节省一半时间”的超级实习生。
- 你的期望（Expectation）： 他来了，你就能早点下班，效率翻倍。
- 现实（Realisation）： 结果发现，你不仅没早点下班，反而花更多时间教他、检查他、甚至帮他收拾烂摊子，最后发现你比没雇他之前更累了。
这篇文章就是要把这种**“落差”**量化出来，告诉大家为什么会出现这种情况，以及以后该怎么避免。
2. 三个领域的“翻车”现场
文章通过三个具体的例子，展示了这种落差：
🧑💻 领域一：程序员写代码（软件工程师）
- 广告说： “用了 AI 编程助手，你写代码的速度会快 24%！”
- 现实是： 在一项针对资深程序员的严格测试中，用了 AI 的人反而慢了 19%。
- 比喻： 这就像你让一个老练的厨师用一把“智能菜刀”切菜。本来他切得飞快，但这把刀太智能了，总是自作主张切错地方，或者切得太碎。厨师不得不花更多时间去把切坏的菜修好，或者重新切一遍。
- 结论： 对于经验丰富的专家，AI 带来的“修 bug"和“检查代码”的时间，抵消了它生成的速度。
🩺 领域二：医生写病历（临床文档）
- 广告说： “我们的 AI 听诊助手，每次看病能帮你省下 5 分钟写病历的时间！”
- 现实是： 实际测试发现，平均每次只省了不到 1 分钟，甚至有的工具完全没效果。
- 比喻： 这就像你买了一个“自动洗碗机”，号称能省时间。结果发现，它洗得不够干净，你每次还得花大量时间手洗一遍，甚至因为要调试机器，反而把厨房弄得更乱了。而且，医生们虽然觉得“好像省了时间”，但客观数据证明并没有。
- 结论： 医生花在修改 AI 生成的错误病历上的时间，抵消了 AI 生成的速度。
🏥 领域三：辅助看病决策（临床决策支持）
- 广告说： "AI 诊断癌症的准确率高达 96%！”
- 现实是： 到了真实医院里，准确率可能只有60% 多，甚至漏掉了三分之二的重症患者。
- 比喻： 这就像你在实验室里测试一个“天气预报员”，他在模拟环境下预报 100% 准确。但一旦把他扔到真实的、刮风下雨的复杂天气里，他可能连明天会不会下雨都猜不准。
- 结论： 实验室里的完美数据，到了复杂的现实世界就“水土不服”了。
3. 为什么会有这么大的落差？（三大元凶）
文章指出了三个导致“期望落空”的根本原因：
磨合的摩擦力（Workflow Integration Friction）：
- 比喻： 就像你往一个运转良好的齿轮组里强行塞进一个新的智能齿轮。新齿轮虽然转得快，但它和旧齿轮咬合不紧，导致整个机器卡顿。
- 解释： AI 没有完全融入现有的工作流程，大家还得花时间去适应它，或者它只被用了一部分时间（比如医生只用了 30% 的时间），导致整体效果大打折扣。
检查的负担（Verification Burden）：
- 比喻： 就像你雇了个实习生帮你写报告，他写得很快，但全是错别字和逻辑漏洞。你为了让他“快”，结果花更多时间去“改”。
- 解释： AI 生成的内容（代码、病历、建议）往往需要人类花大量时间去核实、修正。这个“检查成本”在买之前经常被忽略。
尺子不对（Measurement Mismatch）：
- 比喻： 卖鞋的说“这双鞋能跑马拉松”，结果你穿去跑 100 米，发现它根本不适合短跑。
- 解释： 厂商用“实验室数据”或“特定任务”来吹嘘（比如“写一个网页快 50%"），但现实是“在复杂项目中写代码”。用不同的尺子去量，结果自然对不上。
4. 还有一个隐藏真相：不是每个人都受益
文章强调了一个关键点：AI 不是对所有人都一样好。
- 比喻： 就像给自行车装电动马达。对于新手（新手司机、初级员工），马达能让他们骑得飞快；但对于老手（老司机、资深专家），马达可能反而让他们觉得别扭，甚至因为要控制马达而骑得更慢。
- 结论： 很多时候，AI 对新手帮助大，对专家反而可能是负担。如果公司不分青红皂白地全员推广，平均下来可能根本没效果。
5. 我们该怎么办？（给未来的建议）
既然知道了这些坑，以后该怎么买 AI 呢？文章建议：
- 别听广告，看数据： 不要只听“能省 5 分钟”，要问“在什么情况下省？省了多少？谁来检查？”
- 算总账： 把“检查 AI 错误的时间”也算进成本里。如果 AI 生成 1 分钟，你要改 2 分钟，那它就是负收益。
- 分人施策： 不要指望 AI 对所有人都一样好。先在小范围、特定人群（比如新手或特定任务）里试用，看看谁真的受益。
- 建立“合同”： 在引入 AI 之前，先定好具体的、可量化的目标（比如：代码错误率降低多少？），而不是模糊的“提高效率”。
总结
这篇文章并不是说"AI 没用”，而是说**“别被忽悠了”**。
现在的 AI 就像是一个潜力巨大但还没完全成熟的“超级实习生”。如果你指望它一上来就帮你干完所有活，你大概率会失望。但如果你管理得当、预期合理、并且愿意花时间去检查和磨合，它确实能在特定领域带来真正的价值。
一句话总结： 别把 AI 当成魔法棒，把它当成一个需要精心管理的工具，先算好账，再动手。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。