Allocating cognitive work across people, language models and deterministic tools: A task-analytic method
本文提出了一种在“观察-定向-决策-行动”框架内，在人类、语言模型和确定性工具之间分配认知工作的任务分析方法，并通过合成的油轮汇合实验证明，这种分层方法在显著提高决策准确性和效率的同时，将规范性选择保留给人类监督者。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代职场中，一种新型的工作者已经到来：人工智能智能体（AI agent）。这些是能够阅读指令、搜索信息、编写代码并起草文档的计算机程序，它们完成这些工作的速度往往比人类阅读其输出的速度还要快。随着这些智能体的能力不断增强，一名人类监督员往往被要求管理着一个日益壮大的智能体团队。问题不在于机器太慢，而在于它们太快了。如果一名监督员试图阅读每一条消息、检查每一个计算结果并批准每一份草案，他们就会变得不堪重负。这种在工程领域被称为“拉伸系统定律”（law of stretched systems）的现象表明，随着机器变得越来越快，我们只是简单地将更多工作委托给它们，最终导致大量数据淹没人类，使人无法掌握实际情况。其结果是意识的丧失；监督员不再知道何时该介入，因为他们被埋没在如山般的文本之中。
为了解决这个问题，研究人员正在探索如何不仅在人与机器之间，而且在不同类型的机器与人之间分配工作。有些任务是简单且确定的，比如计算飞行路径，标准的计算机程序可以完美完成。另一些任务则比较复杂，需要理解语境，比如解读一段模糊的无线电指令，这可能需要更高级的语言模型。挑战在于决定哪种工具处理工作的哪一部分，并且至关重要的是，知道何时停止并向人类寻求帮助。如果系统过于僵化，它会在情况变得复杂时失效；如果系统过于松散，人类监督员就会淹没在细节之中。目标是创建一个团队，让合适的工具做合适的工作，并让人类仅在必要时保持在回路中，从而使其注意力集中在大局上。
这正是迪肯大学（Deicon University）研究员西蒙·瓦伊达（Simon Vajda）致力于回答的核心问题。他开发了一种方法，通过仔细地将特定决策分配给团队中的正确层级：简单的计算机工具、小型语言模型、强大的推理模型或人类监督员。该方法将每一项任务视为一个由观察情况、理解情况、做出决策和执行动作组成的循环。通过将复杂的任务分解为这些微小的步骤，研究人员可以分析每一步，以观察其决策所需的正式程度。如果一个决策可以写成严格的规则，它就交给计算机工具；如果它需要理解自然语言但仍属于常规操作，它就交给小型语言模型；如果情况复杂且需要深度推理，则由更大、更强大的模型主导。然而，如果一个决策涉及价值判断——即决定“应该”做什么而非仅仅是“正在”发生什么——则保留给人类。
该系统包含一个名为“弃权”（abstention）的安全机制。如果某一层的机器不确定，或者任务对于其特定的能力而言过于困难，它不会强行给出答案，而是礼貌地拒绝并将决策向上传递给下一层更具能力的层级。如果最强大的模型仍不确定，决策最终会到达人类手中。这确保了错误在发生前就能被拦截。此外，当人类做出一次困难的判断时，系统可以将该选择保存为一项策略。如果完全相同的情况再次出现，系统可以调用人类之前的决策并自动应用它，从而减少人类重复干预的需求。
为了测试这种方法，研究人员创建了一个模拟场景，涉及一项飞行员训练演习，受训者必须驾驶模拟飞机去接洽加油机进行空中加油。在这个环境中，系统必须处理各种任务，例如计算正确的飞行航向、解读无线电指令以及决定是否为了训练目的而偏离计划。该研究将这种新的分配系统与另外两种方法进行了对比：一种是让单个强大的模型尝试独立完成整个工作，另一种则是通过一个路由程序根据对成本的猜测，将问题发送给不同的模型。
结果显示，分配系统明显更加准确。在模拟中，在需要事实性答案的情况下，该系统的正确决策率接近 90%。相比之下，当给予单个强大模型整个任务时，其正确率仅为 67% 左右。分配系统使用的资源也远少于尝试处理一切的单个模型。这种效率源于它没有在简单的任务上浪费强大模型的时间，同时也得益于较小的模型能迅速将难题向上层传递，而不是盲目猜测。
研究还发现，该系统有效地过滤掉了错误。当小型模型遇到错误答案时，它们有 9 de 7% 的概率会拦截该答案并将其传递给推理模型。推理模型反过来也有 93% 的概率会拦截其自身的错误候选答案。这种分层机制起到了高质量过滤器的作用。然而，该系统并非完美无缺。在一次涉及预定无线电干扰演习的具体案例中，系统未能识别出关于训练设计的决策应当保留给人类，这凸显了分配工作的规则必须经过精心设计。此外，虽然系统通过学习过去的决策减少了人类做出决策的次数，但研究并未测试这种做法在真实环境下对人类监督员在压力或意识水平方面的影响。
最终，这项研究证明，通过将复杂工作分解为细小的、经过分析的步骤，并将每一步分配给最合适的工具，可以使人机协作更加准确高效。它表明，未来的监督工作不在于阅读 AI 写的每一个字，而在于设计一个系统，让 AI 了解自己的极限，在需要时请求帮助，并从人类的指导中学习，从而自主处理常规情况。尽管计算结果令人振奋，但研究人员指出，真正的考验仍在：当工作变为现实且风险极高时，该系统将如何影响人类监督员的感知能力和掌控力。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。