Practical Principles for AI Cost and Compute Accounting
本文提出了设计人工智能成本与算力核算标准的七项原则,旨在堵塞技术漏洞、防止策略性博弈,并在不阻碍负责任风险缓解的前提下,确保监管实施的一致性。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
随着人工智能系统变得日益强大,各国政府正在寻找一种可靠的方法,来决定哪些机器需要严格监管,而哪些则不需要。挑战在于,这些系统非常复杂,其内部运作机制通常隐藏在科技公司的私有服务器中。为了解决这个问题,决策者转向了两个可衡量的事实:构建一个模型需要多少资金,以及学习一个模型需要多少计算能力。这些数字充当了代理指标,即实际智能水平和潜在危险程度的代名词。其逻辑很简单:如果一个项目需要投入巨额资源,它很可能拥有先进的能力,从而可能对社会构成风险。欧洲和美国的法律正开始使用这些阈值来触发监管,假设任何超过特定支出或计算能力界限的项目都必须受到密切监督。然而,研究人员斯蒂芬·卡斯珀(Stephen Casper)、卢克·贝利(Luke Bailey)和蒂姆·施赖尔(Tim Schreier)的一篇新论文指出,如果缺乏关于如何计算这些资源的清晰规则,该系统将充满漏洞,聪明的开发者可能会利用这些漏洞。
研究人员致力于修复目前允许公司隐藏其工作真实规模的技术性模糊之处。他们发现,现有的提案往往未能涵盖模型创建的全过程。例如,开发者可以通过教一个较小的、成本较低的模型去模仿一个更大型、更昂贵的“教师”模型的答案,从而训练出一个较小的模型。如果监管仅计算最后一步,那么训练原始“教师”模型的巨大成本就会被忽略,使得新项目看起来具有欺骗性的廉价。同样,公司可能会尝试将工作拆分到不同的法律实体中,或者使用开源工具来规避限制。为了解决这些问题,作者提出了七项务实的原则,用于设计难以操纵且易于执行的会计标准。
第一个也是最关键的原则是,要统计从项目开始到最终系统完成过程中所花费的每一美元和每一个计算单位。这意味着要包括数据准备的工作、用于蒸馏的教师模型的训练,甚至包括过程中被丢弃的失败实验。作者认为,如果仅将计数限制在最后的训练阶段,会产生“蒸馏漏洞”,即模型智能的真实成本会被掩盖。通过要求对上游工作进行全面核算,监管机构可以洞察一个系统背后的真实投入。
与此同时,论文建议并非所有内容都应计入其中。开发者应当被允许排除那些对所有人来说已经免费获取的资源成本,例如开源数据集或在当前项目开始前很久就已公开发布的预训练模型。这确保了规则能够聚焦于公司所做的专有努力,而不是因为他们使用了该领域的共享基础而对其进行惩罚。然而,作者增加了一个至关重要的限制条件:如果一家公司向公众发布了一个部分完成的模型,然后迅速将其重新接手以完成开发,那么最初的这项工作仍应计入其中。这防止了公司试图通过在秘密继续开发之前短暂发布模型来“重置”其会计记录的策略。
该框架还认识到,有些工作是专门为了让 AI 更安全,而非更聪明。例如,过滤掉训练数据中的有害内容,或测试模型以确保其拒绝协助犯罪计划等活动,应从成本计算中豁免。其目标是确保公司不会因为做正确的事并降低社会风险而受到经济上的惩罚。为了确保这些豁免是合法的,作者坚持要求公司提供详细的、逐项列出的报告。这些报告将起到财务审计的作用,迫使开发者解释他们具体做了什么、为什么要这样做,以及他们是如何计算这些数字的,包括在无法获得精确数据时所使用的任何估算值。
最后,论文建议监管应使用两个独立的触发机制:一个针对总成本,另一个针对总计算能力。因为这两个指标有时可以被独立地操纵——例如,使用廉价但计算密集型的数据,或者使用昂贵但高效的人力数据——因此将两者都作为安全网,会让规避系统的难度大大增加。作者还强调,这些标准不能是静态的。随着技术的发展和效率的提升,阈值和规则必须定期更新(或许每隔几个月一次),以保持有效性。如果没有这种适应性,今天的规则到了明天可能会变得过时,导致危险的系统仅仅因为会计规则未能跟上创新步伐而逃脱监管。
研究人员总结道,虽然没有任何会计系统是完美的,但这些原则为建立透明、一致且符合公众利益的规则提供了坚实的基础。通过堵塞允许进行策略性操纵的漏洞,并鼓励负责任的风险管理,这些指南可以帮助政府监督最先进的人工智能,同时又不至于扼杀那些并不构成同等风险的小型开发者。最终目标是创建一个能够让 AI 项目的真实规模变得透明的监管环境,确保最强大的系统能够得到它们所需的关注。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。