Agentic AI: User Empowerment or Foreclosure?
通过分析广告拦截器和垃圾邮件过滤器等历史先例，本文认为，智能体 AI 赋能用户的潜力取决于能否防止治理过程因行业控制的标准而走向“去政治化”，因为当前围绕私有协议的整合风险在于，它可能在用户导向的替代方案得以稳固之前，就拆解了集体抗争的能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象这样一个世界：你的电脑、手机或一个专用设备不仅能回答问题，还能作为你的私人助手为你办事。它可能会过滤你看到的各类新闻，或者为你谈判一个更理想的机票价格，亦或是你在睡觉时管理你的投资。这种新兴技术被称为“代理式人工智能”（agentic artificial intelligence）。其承诺是这些智能体将以你的最佳利益行事，将你从繁琐的任务中解放出来。但一个关键问题仍然存在：究竟是谁在控制这些智能体？如果这项技术是由几家大型公司构建的，那么这些智能体是真的在为你服务，还是在为构建它们的公司的利益服务？为了回答这个问题，密歇根大学的研究人员回顾了过去二十年间类似技术是如何演进的。他们研究了四个特定的领域，在这些领域中，软件被设计为代表用户采取行动：拦截在线广告的工具、决定你在社交媒体上看到什么内容的系统、自动化财务顾问，以及阻止垃圾邮件的过滤器。通过对比这些不同的历史，研究团队发现了一个令人不安的模式。在每种情况下，这项技术最初都拥有广泛的用户控制可能性，但随着时间的推移，管理这些工具运作方式的规则被行业标准和技术设计悄然锁定。这个过程被作者称为“去政治化”（depoliticization），它将政治抉择——即谁有权决定拦截或推荐什么内容——转化成了看似中立的技术事实，使得无人能够轻易挑战。
研究人员首先检查了基于浏览器的广告拦截器，这类工具允许用户在浏览网页时隐藏广告。在早期阶段，这些工具具有很高的灵活性。用户可以安装拦截任何他们想要拦截的广告的扩展程序，其规则由开放社区创建并更新。然而，随着广告业对收入损失感到担忧，规则发生了变化。一家主要的浏览器制造商重新设计了其底层软件，以限制这些扩展程序的功能。新规则不再允许扩展程序拦截任何请求，而是强制要求它们预先声明其拦截计划，并限制了它们可以使用的规则数量。这一变化被解释为安全性的提升，但实际结果是，功能最强大的广告拦截工具被削弱了。关于什么算作“可接受的广告”的决定权，不再属于用户或其社区，而是由一个包含最大广告销售商在内的行业组织所定夺，并由浏览器制造商为所有人自动执行这一决定。
一个类似的故事也发生在垃圾邮件过滤器身上。起初，拦截不想要的电子邮件是一项协作性的工作。小型网络管理员群体会共享已知恶意电子邮件地址的列表，且任何人都可以查看这些规则或对此提出异议。随着垃圾邮件演变成一种大规模的工业化运作，解决方案转向了强大的计算机程序，这些程序通过分析仅由大型邮件公司掌握的海量数据来识别垃圾邮件。这些新系统在清理个人收件箱方面极其有效，使电子邮件的使用体验变得更加愉悦。然而，决定什么是垃圾邮件的权力完全转移到了这些大型公司手中。旧有的、开放的列表被私有的、黑箱化的系统所取代。结果出现了一个悖论：普通用户收到的垃圾邮件确实减少了，但公众或小型团体挑战或更改“什么算作垃圾邮件”之规则的能力却完全消失了。
该研究还调查了自动化财务顾问和社交媒体推荐系统。在这两个领域，技术最初的理念都是为用户提供个性化服务。然而，这些系统运作方式的规则是由运营它们的公司设定的，这些规则往往优先考虑公司自身的利润，而非用户的具体需求。对于财务顾问而言，算法旨在遵循标准的投资理论，但具体推荐哪些基金的选择往往倾向于公司自有的产品。对于社交媒体，系统通过学习向用户展示能让他们观看时间更长的内容来运作，而这一目标往往与展示真正有用或多样化的内容相冲突。在这些案例中，研究人员发现，用户影响智能体行为的空间从一开始就从未真正开放过。基础设施是由平台本身构建的，这意味着规则在用户有机会参与之前就已经设定好了。
该论文的核心发现是：个人体验的提升与人们组织和挑战系统的能力之间可能朝着相反的方向发展。你可以拥有更干净的收件箱或更个性化的信息流，同时却在失去改变这些系统运作方式的能力。研究人员认为，这是因为关于智能体行为的决策被嵌入到了系统的技术设计之中。当一项关于使用哪些数据或软件应优化为何种目标的决策被隐藏在复杂的代码或封闭的行业标准之内时，它就变得极难被质疑。作者称之为“去政治化”，因为这消除了决策的政治属性，使其看起来像是单纯的工程效率问题，而非关于“谁的利益受到服务”的选择。
现在，研究人员正将这一视角应用于新一波的代理式人工智能。他们看到了同样的模式正在形成。一套被称为“模型上下文协议”（Model Context Protocol）的新规则正在建立，用以定义这些 AI 智能体如何与其他服务进行通信。该协议由一个由大型科技公司主导的基金会管理。虽然这一过程在表面上看起来是开放的（设有公开会议和文档），但做出最终决策的实际权力掌握在这些主要公司的董事会手中。目前还没有正式的途径让用户群体或公共利益组织来挑战这些决策。研究人员警告说，如果这种轨迹持续下去，AI 智能体的边界将在技术被公众充分使用之前，就被行业内部人士设定好。与过去那些规则经过多年才趋于僵化的案例不同，这些决策正在极短的时间内完成——在技术发布后的短短几年内。
论文总结道，为了让用户真正获得赋能，他们需要的不仅仅是一个表现良好的 AI 智能体。他们需要一个规则可以被挑战的系统。这需要具备三点：了解系统运作方式的能力、获取不受大公司控制的独立技术的能力，以及一个用户可以针对损害自身利益的决策提出异议的正式程序。研究人员建议，我们正处于一个关键时刻。代理式人工智能的规则正在被书写。如果我们等到技术完全成熟后再行动，就太晚了，无法再改变其底层结构。目标不仅是构建更好的智能体，更是要构建一个让决定智能体行为的权力保持开放竞争性的生态系统，从而确保这项技术是为公众服务，而非仅仅为构建它的公司服务。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。