🤖 AI

Does Distributed Training Undermine Compute Governance?

本文认为，分布式训练算法的进步可能使开发者利用去中心化硬件聚合体规避计算治理法规，因此需要采取芯片追踪、法医会计和加强监控阈值等新对策，以检测和阻止非法操作。

原作者： Robi Rahman

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Robi Rahman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，世界上最强大的人工智能模型就像巨大且超级先进的工厂。目前，各国政府正试图通过设立检查站来监管这些工厂。规则很简单：“如果你建造的工厂超过一定规模（以计算能力衡量），你就必须登记、接受检查，并证明你是安全的。”

其背后的逻辑是，大型工厂难以隐藏。它们消耗大量电力，占用大量空间，并产生大量热量。如果你试图建造一个秘密的超级工厂，卫星和电力公司很可能会发现它。

问题所在：“乐高”漏洞
这篇论文指出，一种名为分布式训练的新技术改变了游戏规则。开发者不再需要建造一座巨型工厂，而是可以将工作分解为成千上万个散布在全球各地的小型独立车间。

可以这样理解：

旧方式：建造一座巨大的 50 层摩天大楼。它无法隐藏；所有人都能看到施工起重机和输电线路。
新方式：与其建造一座摩天大楼，不如在不同社区建造 1,000 个小型单层棚屋。每个棚屋都足够小，不会触发“大型建筑”警报。但是，如果你通过数字网络将这些棚屋连接起来，它们就能协同工作，仿佛是一座巨型摩天大楼。

论文声称，最近的软件进展（特别是像DiLoCo这样的算法）使得通过普通互联网连接这些小型棚屋成为可能。尽管互联网的速度远慢于真实数据中心内部的超高速电缆，但新软件足够智能，能够极大地压缩棚屋之间传输的数据，从而使训练仍然有效。

核心发现：它们能规避规则吗？
作者进行了一项模拟，以观察开发者是否仅利用这些未注册的小型棚屋就能构建出“前沿”人工智能（即与当前最佳模型一样智能的模型）。

结果令监管者感到震惊：

是的，这是可能的。 理论上，开发者可以使用仅低于法定报告阈值的硬件集群，训练出与当前最先进模型（如 Llama 3.1 或 GPT-4）一样强大的模型。
成本高昂，但可行。 要做到这一点，他们需要在硬件上花费数百万甚至数十亿美元。然而，如果开发者决心绕过规则，他们可能愿意支付这笔费用。
“速度”陷阱。 论文假设开发者大约有两年时间来完成该项目。如果他们试图加快训练速度，就需要更多的硬件和人员，这使他们更容易被抓获。如果他们训练得更慢，则面临被新技术超越的风险。因此，他们瞄准了约两年的“甜蜜点”，这既足以构建强大的模型，又短到足以保持领先。

为什么这是个问题？
如果开发者能将他们的行动隐藏在成千上万个未注册的小型棚屋中，政府目前的规则就会变得无用。政府将不知道工厂的存在，因为没有任何单个棚屋大到足以触发警报。这意味着危险的人工智能能力可能在没有任何安全检查的情况下在阴影中发展。

拟议解决方案：如何堵住漏洞
论文建议，我们不能再仅仅依赖“规模”限制。我们需要新的方法来捕捉这些“乐高”行动：

追踪“砖块”（芯片追踪）：不再仅仅统计工厂有多大，而是从芯片制造的那一刻起追踪每一块“砖块”（计算机芯片）。如果某块芯片被用于秘密棚屋，注册系统应发出警报。
“告密者”系统（吹哨）：运营 1,000 个棚屋需要庞大的人员团队来安装和维护。论文指出，需要的人员越多，有人告密的几率就越高。为举报秘密行动的内部人员提供奖励可能会非常有效。
检查“储物架”（内存限制）：目前，规则仅关注芯片的速度。但某些芯片相对于其速度拥有巨大的存储（内存）。论文建议制定一条规则：“如果你的棚屋拥有超过 16 块标准芯片的存储量，你就必须登记”，即使其速度较低。这将迫使开发者使用更多的棚屋来完成相同的工作，从而使行动规模更大、成本更高、更容易被抓获。
突击检查：就像核检查员一样，政府应有权在未事先通知的情况下出现在可疑地点，检查它们是否属于更大的网络。

底线
论文得出结论，虽然分布式训练使人工智能监管变得更加困难，但并非不可能。“漏洞”确实存在，但它并非魔术。它需要大量的资金、大量的人员以及大量的协调。通过结合芯片追踪、内存限制和人力情报（吹哨人），监管者仍然可以照亮这些隐藏的行动，并确保人工智能开发的安全。

技术摘要：分布式训练是否削弱算力治理？

问题陈述

当前及拟议的算力治理框架（例如美国第 14110 号行政命令、欧盟《人工智能法案》、加州 SB 53 法案以及 Scher 等人 2025 年的提案）均基于一个假设：训练前沿人工智能模型需要大型、集中的数据中心集群。这些法规通常要求对超过特定算力阈值（例如 $10^{24}$ 至 $10^{26}$ FLOPs）或硬件配置（例如大于 16 个 H100 等效单元的集群）的集群进行报告和监控。

identified 的核心问题是，分布式训练算法的最新进展，特别是 DiLoCo（分布式低通信） 系列算法，可能使开发者能够规避这些法规。通过将前沿规模的训练任务拆分到数千个较小的、地理分散的节点上——每个节点均低于法规报告阈值——开发者理论上可以在不触发基于功耗、物理规模或集群规模的检测机制的情况下，进行大规模训练。本文研究了在严格约束条件（消费级互联网、低于阈值的硬件）下，此类“非法分布式训练”是否可行，并评估了当前及拟议对策的有效性。

方法论

作者开发了一个综合的 效率模型和交互式模拟器，以评估分布式训练规避的可行性。方法论包括：

威胁模型：模拟假设一名资源充足的开发者试图在限制性条件下训练与 Llama 3.1-405B 或 DeepSeek-V3 相当的模型：
- 硬件：节点限制为 $\le$ 16 个 H100 等效单元（Scher 等人 2025 年提出的阈值）。
- 网络：消费级互联网，带宽 100 Mbps，延迟 100 ms（比数据中心互连慢几个数量级）。
- 时间：最大训练时长为两年（740 天），源自限制性治理场景下的增长率假设。
- 检测：监管机构积极监控功耗、热信号、卫星图像和网络流量。
效率指标：模拟器计算两个主要指标：
- 本地等效算力 ( $C_{local}$ )：经分布式低效因素 ( $\eta$ ) 调整后的名义算力吞吐量。
- 质量调整算力 ( $C_{quality}$ )： $C_{local}$ 进一步通过 Chinchilla 最优惩罚 ( $\chi$ ) 进行调整，以考虑因内存限制和过度训练导致的模型规模次优化。
低效因素 ( $\eta$ )：该模型考虑了分布式训练固有的四种特定惩罚：
- 同步间隔惩罚 ( $\eta_H$ )：副本在执行本地步骤 ( $H$ ) 后进行同步所导致的损失，引起梯度漂移。
- 压缩质量 ( $\eta_{comp}$ )：为节省带宽而压缩梯度所导致的损失（基于 Covenant-72B 结果，建模为 150 倍压缩）。
- 副本发散 ( $\eta_{rep}$ )：在基于不同数据子集训练的副本之间平均梯度所导致的损失。
- 激活质量惩罚 ( $\eta_{act}$ )：在跨节点使用流水线并行时压缩激活值所导致的损失。
硬件选择：该模型评估了各种低于阈值的配置，包括 NVIDIA A100 80GB、GH200 以及各种 TPU/Ascend 配置，倾向于选择具有高内存与算力比的硬件，以最小化通信开销。

主要贡献与结果

1. 规避的可行性

模拟表明，分布式训练可以使用低于拟议法规阈值的硬件配置实现前沿规模算力（ $>10^{24}$ FLOPs）。

规避成本：论文估算，开发者可以规避：
- Scher 等人 (2025) 的阈值（ $10^{24}$ FLOPs），成本约为 160 万美元。
- 欧盟《人工智能法案》的阈值（ $10^{25}$ FLOPs），成本约为 3100 万美元。
- 加州 SB 53 法案的阈值（ $10^{26}$ FLOPs），成本约为 38 亿美元。
节点数量：达到 GPT-4 的算力水平（ $10^{25}$ FLOPs）大约需要 101 个低于阈值的节点，而 Llama 3.1-405B（ $10^{25}$ FLOPs）需要 625 个节点。
网络约束：即使带宽较低（100 Mbps），分布式训练仍然可行。虽然成本比集中式训练增加约 3 倍，但这对于决心坚定的行为者而言并非不可逾越的障碍。

2. 硬件与架构优化

研究指出，内存与算力比是规避的关键因素。具有高内存的节点（例如 50 个 A100 80GB）允许每个节点承载更大的模型，从而减少了对流水线并行及相关的激活压缩惩罚的需求。模拟器显示，在超大规模下，使用 流水线并行 (PP) DiLoCo 成为将模型装入内存的必要手段，尽管这会引入效率惩罚。

3. 对策评估

论文评估了各种检测或防止规避的对策：

无效措施：
- 带宽限制：在全球范围内执行不可行；高速互联网的成本与硬件成本相比微不足道。
- 互联网流量监控：DiLoCo 流量属于低流量（<40 Mbps），且可通过抖动、可变速率流和 VPN 轻松伪装。
有效措施：
- 芯片追踪与登记：强制报告芯片持有和转让情况。由于分布式训练需要比集中式训练更多的总硬件才能实现相同的算力，因此跟踪高比例芯片的登记制度会使规避变得困难。
- 吹哨人计划：分布式操作需要在数百个地点进行采购、安装和维护，这需要显著更多的劳动力，从而增加了内部举报的“攻击面”。
- 内存阈值：论文建议修改集群定义，除算力阈值外，还包括 加速器内存阈值（例如 1,280 GB HBM）。这迫使规避者要么使用更小的模型（导致严重的过度训练），要么将模型分片到更多节点上，从而使成本和运营复杂性增加约 50%。
- 挑战式检查与情报：传统的财务和物理检查仍然可行，特别是当与上述技术措施结合使用时。

意义与主张

该论文声称，分布式训练从根本上削弱了当前仅依赖集群规模或算力吞吐量阈值的算力治理提案。作者认为，如果没有具体的对策，法规将造成“执法缺口”，使得前沿模型得以非法开发。

该工作的意义在于：

识别漏洞：证明算法进步（DiLoCo）已经超越了当前治理框架的静态假设。
量化风险：提供绕过特定现实世界法规所需的具体成本估算和硬件配置。
提出稳健解决方案：主张必须结合 芯片登记、基于内存的阈值 和 吹哨人计划 来堵住这一漏洞。作者强调，虽然没有任何单一措施是完美的，但它们的组合将规避的成本和复杂性提高到足以恢复可监控性的水平。

论文结论指出，虽然分布式规避带来的成本增加目前“在经济上难以接受”，但如果监管瓶颈收紧，这些成本可能会变得可接受。因此，治理标准必须立即设计为能够抵御此类规避，而不是等待威胁完全显现。