Modeling AI Overreliance as a Complex Adaptive System
本文将人工智能过度依赖建模为一个复杂适应系统，证明了虽然个体学习和社会共识本身并不会导致集体失败，但可见的未经核实的使用会触发反馈级联，而这种级联可以通过策略性的反馈设计来预防。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代职场中，一种新型的助手已经到来。这是一种能够起草电子邮件、编写代码或总结法律文件的人工智能。我们被告知这些工具极其准确，然而一个奇怪的问题出现了：人们并不总是能正确地使用它们。有时，人们过度信任机器，将错误的答案视为事实。另一些时候，人们则因为工具曾经犯过一次错误就忽略了它。研究人员早已知道，软件的准确性并非唯一重要的因素；更重要的是人类如何决定何时倾听以及何时进行复核。多年来，科学家们通过让一个人在安静的实验室里解决单个问题来研究这种行为。他们观察个体对建议的反应。但这种方法忽略了现实世界中至关重要的一部分。在现实中，人们并非孤立工作。他们看到同事使用这些工具。他们听说成功的案例和失败的教训。他们根据观察到的他人行为来调整自己的行为。这创造了一个复杂的相互影响的网络，其中一个人的信任可能会在整个群体中产生涟漪效应，从而潜在地改变每个人的工作方式。
匹兹堡大学的一位研究人员决定模拟这种社会现实。他们没有一次只研究一个人，而是构建了一个整个人口的计算机模拟系统。他们创造了一个虚拟世界，其中的数百个数字智能体面临一系列任务。在这个世界里，每个智能体有三种选择：独自解决问题，直接接受 AI 的答案而不加查看，或者使用 AI 但随后通过查阅资料或询问人类来验证答案。智能体从自己的经验中学习，更新他们对 AI 可靠性的看法。至关重要的是，他们也从邻居那里学习。他们可以看到同伴的行为。如果他们看到许多同事在不加检查的情况下接受 AI 的答案，他们就会感受到一种社会压力，促使他们也这样做。研究人员运行了数千次此类模拟，以观察群体的行为如何随时间演变，并测试了不同程度的任务难度、AI 质量和社会影响。
模拟揭示的第一件事是环境奠定了基调。任务的难度和 AI 的实际质量决定了信任的基准水平。当任务简单且 AI 质量高时，人们会进行适当的信任。当任务困难且 AI 质量差时，人们往往会过度依赖它，更容易接受错误的答案。然而，研究人员发现，最危险的因素不是 AI 本身，而是人们观察彼此的方式。他们发现了一种被称为“社会认同”（social proof）的特定机制。这是一种感觉认为某种行为是正确的，因为其他人都在这样做。在模拟中，当智能体看到他们的邻居在使用 AI 而不加检查时，验证的效用就会下降。如果大家只是直接接受答案，那么进行验证就显得没有必要。这创造了一个反馈循环。随着越来越多的人停止检查，停止检查就变得更加常态化，直到整个群体陷入集体过度依赖的状态。群体停止了对 AI 作品的验证，并不是因为 AI 是完美的，而是因为社会信号表明不再需要验证。
研究人员随后测试了仅仅将人们连接在一个网络中是否足以导致这种崩溃。他们想知道群体的结构是否重要——即拥有许多连接的少数几个“枢纽”是否会改变结果。令人惊讶的是，他们发现网络结构本身并不会驱动过度依赖。如果智能体仅从同伴工作的原始结果中学习，群体只会就 AI 的质量达成共识，而不会改变其整体行为。网络并没有让他们盲目信任机器。只有当可见的他人的行为直接影响了“检查与否”的决策时，崩溃才会发生。正是这种对未经核实的使用的观察，而非仅仅是连接网络的存在，才起到了作用。这一区别至关重要。这意味着问题不在于人们联系过于紧密，而在于他们看到了错误的行为类型。
最后，研究人员探索了如何阻止这种崩溃。他们测试了重新设计反馈循环的不同方法。他们发现，仅仅降低检查 AI 工作成本或使其变得更容易并不能解决问题。即使验证所需的时间减少了，停止检查的社会拉力依然过于强大。扭转趋势的唯一方法是改变人们所看到的内容。当研究人员让验证行为变得可见——即智能体可以看到同伴正在核实工作时——群体便转向了。人口开始重新进行检查，集体的过度依赖现象消失了。同样，如果他们削弱了让“未经核实的使用”看起来很正常的社会信号，群体也会恢复。这项研究表明，为了防止人们盲目信任 AI，我们不能仅仅改进工具或简化检查过程。我们必须设计我们的界面，使验证行为变得可见且受到认可，从而打破“沉默和未经核实的接受成为默认状态”的循环。
这些模拟结果为人类与 AI 在社会环境下的互动提供了一幅清晰的图景。过度依赖的危险并非是个体用户的缺陷，而是反馈循环的系统性失效。当一个社区将未经核实的使用视为常态时，验证就会消亡。当验证变得可见时，社区就会重新校准。这并不意味着问题已得到解决，但它指明了前进的方向。研究人员强调，这些发现来自计算机模型而非现实世界的实验，因此它们代表了一套可测试的假设，而非最终定论。然而，其逻辑是稳健的：我们观察同伴使用技术的方式塑造了我们自己使用技术的方式。如果我们想要避免出现整个群体停止质疑其所依赖的机器的未来，我们必须谨慎对待我们使哪些行为变得可见。解决方案不在于算法，而在于其周围社会环境的设计。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。