🤖 AI

Decentralised AI Training and Inference with BlockTrain

本文介绍了 Spheroid BlockTrain，这是一种去中心化的训练协议，通过将模型划分为独立优化的区块，在无需依赖集中式加速器集群的情况下，实现跨分布式、资源受限网络的低效训练与高吞吐量推理，从而使获取前沿人工智能技术更加民主化。

原作者： Peter Toth

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Peter Toth

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想要建造一本规模宏大、极其聪明的百科全书。在现代 AI 的世界里，构建这种百科全书的常规方法是雇佣一家超级富有的建筑公司（“超大规模计算提供商”），他们拥有一座装满了全球最强大计算机的巨型仓库。他们在同一个地方一次性完成整本百科全书的建造。如果你不拥有那座仓库，你就无法参与建造。

Spheroid Labs 的 “BlockTrain” 提出了另一种不同的方式。与其依靠一个位于单一仓库中的庞大团队，不如想象一个全球性的社区，成千上万拥有普通家用电脑的人，每人负责编写百科全书中的一个微小章节。

以下是该论文如何使用简单的类比来解释这种新方法的：

1. 问题所在：“巨型仓库”的瓶颈

目前，训练先进的 AI 需要如此巨大的计算能力，以至于只有少数几家大公司能够负担得起。这就像是在说，只有拥有一座价值十亿美元工厂的公司才能建造摩天大楼。这让其他人被排除在外。论文指出，如果我们一直试图强行在同一个地方建造“整栋建筑”，我们将永远无法实现真正的去中心化。

2. 解决方案：“逐章编写”的方法

BlockTrain 改变了游戏规则。它不再要求每台计算机都将整本百科全书存储在内存中（这对家用计算机来说是不可能的），而是将 AI 模型分解成小的、独立的碎片，称为块（blocks）。

类比： 把 AI 模型想象成一场长距离接力赛。在旧的方法中，每个跑步者都必须携带一整叠接力棒。在 BlockTrain 中，比赛被拆分成了若干个阶段。每个跑步者（工作者的计算机）只携带属于自己的那一段路程。
运作方式： 每台计算机训练它自己的“块”（AI 的一小部分）来解决一个特定的局部谜题。它不需要看到全貌也能完成工作，它只需要把自己的特定部分做对即可。

3. 核心秘诀：“去噪”谜题

论文使用了一种被称为 DiffusionBlocks 的特定技术。

类比： 想象你正在尝试猜出一张图片的样子，但有人在图片上覆盖了一层静电噪声。
- 在传统的 AI 中，你试图一次性猜出整张图片。
- 在 BlockTrain 中，这种“噪声”是分阶段被移除的。AI 的第一个块学习如何移除沉重的、模糊的噪声（大轮廓）。下一个块移除中等程度的噪声。最后一个块则移除细小的尘埃。
神奇之处： 每台计算机只需要学习如何移除它特定类型的噪声。它不需要知道如何移除其他块的噪声。这使得这项工作变得足够小，以至于普通的家用计算机也能处理。

4. 拼凑谜题

当所有的邻居都完成了各自特定章节的训练后，他们会将更新发送给一个中央“聚合器”。

组装： 系统将块 1、块 2 和块 3 像乐高积木一样拼接在一起。
结果： 尽管没有任何一台计算机曾持有过完整的模型，但组装后的最终模型已经足够聪明，可以阅读和编写文本。论文显示，在利用真实文本（WikiText）进行的测试中，这个组装后的模型表现得几乎与在巨型数据中心训练的模型一样出色（在特定的误差度量上，得分分别为 1.359 对 1.32）。

5. “交通拥堵”测试（现实世界中的速度）

研究人员不仅在单台计算机上测试了该方法，还在互联网上进行了测试。

实验： 他们将不同位置的计算机连接起来（有些在同一栋建筑内，有些跨越全国），观察这些“章节”是否能在传输过程中丢失或延迟。
结果： 实验成功了。他们成功地通过公共互联网传输了这些“章节”（数据）。即使存在网络延迟和较慢的连接，系统仍在持续学习。这证明了你不需要在计算机之间建立超高速的私有光纤网络；只要数据块足够小，普通的互联网速度就足够了。

6. “单次交付”（推理）

通常，当你向去中心化 AI 提问时，问题必须经过每一台计算机，像玩“传声筒”游戏一样，这非常缓慢。

BlockTrain 的技巧： 论文声称其系统与此不同。一旦模型组装完成，它可以在网络中进行**单次通过（single pass）**来生成整个句子或段落。
类比： 与其把纸条传给一排人（一次传一个词），BlockTrain 是直接把整张纸交给这一排人，然后由这一排人同时处理整张纸。这使得获取答案的速度大大加快。

总结性主张

论文基于其实验提出了三个具体的结论：

它能学习： 你可以使用这种“逐块”方法在真实文本上训练真实的 AI，并且它能达到与大型中心化模型几乎相当的智能水平。
它能传输： 你可以通过公共互联网（使用标准网络连接）发送训练数据，并依然取得进展。
它能服务： 你可以在不同的计算机上运行完成后的模型来回答问题，并且可以高效地完成，而不需要一台巨大的计算机来承载所有内容。

该论文并未声称：

它并未声称这在今天已具备商业应用水平。
它并未声称解决了所有安全或激励问题（例如如何支付参与者）。
它并未声称目前适用于医疗诊断或其他特定的现实世界应用。
它严格专注于使用这种特定的“块”方法来训练和提供模型的技术能力。

简而言之，BlockTrain 是一个蓝图，展示了如何利用成千上万个独立的小型大脑协作，而不是依靠单个房间里的一个巨大大脑，来构建一个庞大的 AI 大脑。

技术摘要：Spheroid BlockTrain

1. 问题陈述

当前 AI 训练的前沿正受限于对密集、中心化控制的加速器集群的结构性依赖。这种模式有利于超大规模计算平台（Hyperscalers）和大型中心化实验室，为缺乏特权基础设施、稀缺资本和特定数据中心地理位置的独立或开放式 AI 项目制造了障碍。

现有的去中心化方法（如 Federated Averaging, Local SGD, DiLoCo, Petals）在很大程度上仍保留了标准的学习问题——即训练一个完整的模型副本或一个流水线阶段——而仅仅是改变了系统封装。这些方法仍然要求工作节点持有完整的模型、完整的优化器状态或整个网络的同步视图。因此，它们无法解决核心瓶颈，即完整的优化器状态超过了消费级硬件的内存容量。标准的反向传播本质上是全局性的；早期层的误差信号取决于后续所有层的正向和反向计算，这使得在不可靠的边缘设备上进行朴素的分片（sharding）会退化回中心化的同步模式。

2. 方法论：Spheroid BlockTrain

Spheroid BlockTrain 提出了一种协议，其中学习单元本身被局部化，使学习目标与硬件网络粒度相一致。其核心原则是目标-硬件对齐（objective-hardware alignment）：自然的硬件单元是拥有一个块副本（block replica）的工作节点，而自然的学习目标是块局部的损失函数。

核心架构

模型分区（Model Partitioning）： 模型是一个残差去噪堆栈，被划分为 $B$ 个块（ $F_\theta = F_{\theta_B} \circ \dots \circ F_{\theta_1}$ ）。
块局部目标（Block-Local Objective）： 与标准反向传播不同，每个工作节点根据全局目标训练一个局部的去噪目标。这基于 DiffusionBlocks，它将残差块重新解释为去噪轨迹中的步骤。
- 对于目标 $y$ ，从块特定的区间中采样噪声水平 $\sigma$ 。
- 该块在给定噪声目标 $z_\sigma = y + \sigma\epsilon$ 和条件输入 $x$ 的情况下，预测目标词表上的 logits。
- 损失函数是基于 logits 的加权交叉熵（weighted cross-entropy），并利用了 EDM (Elucidating the Design Space of Diffusion-Based Modeling) 预处理。
推理（Inference）： 推理是组合式的。系统初始化一个高方差的高斯噪声，并沿着递减的噪声调度进行步进。在每一步中，特定的块预测 logits，并将这些 logits 投影到期望的嵌入（embedding）以细化状态。这个过程类似于在嵌入空间中的 Euler 采样器。
去中心化执行：
- 工作节点仅训练其分配的块副本（ $\theta_{b,k}$ ）和共享接口参数。
- 更新通过块级平均（而非全模型 all-reduce）进行聚合。
- 异步更新： 系统采用基于截止日期（deadline-based）的更新接受机制。工作节点提交更新；聚合器接受那些在截止日期 $\tau$ 之前到达的更新。这优先考虑参与率而非标称带宽。

关键技术调整

Sigma 范围： 作者发现，低最小 $\sigma$ 范围（ $\sigma \in [0, 2]$ ）会导致“目标泄漏（target leakage）”，即局部去噪交叉熵看起来表现极佳，但推理过程会崩溃。高最小范围（ $\sigma \in [1, 10]$ ）则强制执行上下文调节的去噪并稳定训练。
机制移植： 该协议成功地将公开的 Sakana DiffusionBlocks 机制（对数正态 $\sigma$ 分区、EDM 预处理、加权 CE）移植到了字节级 WikiText，超越了简单的嵌入 MSE 近似。

3. 主要贡献

协议制定： 定义了 Spheroid BlockTrain，用块局部去噪目标、副本平均和基于截止日期的异步更新接受机制取代了全模型同步训练。
真实文本实现： 成功将 Sakana 风格的 DiffusionBlocks 移植到字节级 WikiText，证明了局部目标可以驱动全局文本生成的质量。
失效模式识别： 识别并解决了由于低 $\sigma$ 训练产生捷径（目标泄漏）从而破坏从噪声到推理的过程这一关键失效模式，并通过强制执行高最小 $\sigma$ 范围解决了该问题。
表达能力分析： 证明了块表达能力是主要的质量控制杠杆。一个具有四个局部层的 Transformer 块在保持极小活跃工作节点内存的同时，其性能达到了全模型参考模型的 ~0.04 交叉熵（CE）以内。
系统验证： 实现并测试了三种不同的环境：
- 单 GPU 异步模拟器。
- 在 8xA100 节点上的 6 个块工作者共享运行实验。
- 通过本地和公网 IP WAN 网络进行的 HTTP/TCP 传输测试。
分布式服务基准测试： 测量了推理服务，建立了“单次遍历（one-sweep）”机制，即在一次遍历块堆栈的过程中生成完整的输出序列，这与自回归基准中的逐 Token WAN 往返形成了对比。

4. 实验结果

训练质量与效率

单 GPU 长时运行： 使用 $B=3$ 且每块 4 层的配置，模型在 WikiText 字节级上达到了 CE 1.359 (PPL 3.89)。这与端到端 Transformer 参考模型的 (~1.32 CE) 差距仅约为 0.04 CE。
内存剖面： 活跃的工作节点仅训练一个块。对于最佳配置，活跃的 AdamW 状态占用仅为 0.198 GiB，而全模型堆栈则为 100.54 GiB。
共享工作者运行： 在 8xA100 节点上使用六个工作者（每个块两个副本）的运行达到了 CE 1.385 (PPL 3.99)，证实了通过平均相同的块更新可以有效地训练单个组装后的模型。
固定深度扫描： 质量随每个局部目标容量的增加而单调提升，验证了局部预测器必须具备足够的表达能力来解决其分配的轨迹部分。

传输与异步性

虚拟异步： 在单 GPU 模拟器中，“温和”异步机制（90% 参与率）仍能保持接近锁步（lockstep）的质量。“WAN”机制（42% 参与率）虽然有所下降，但仍较初始化阶段有显著提升。
HTTP/TCP 传输：
- 同节点： 移动了 10.23 GB 的序列化检查点/更新，达到 CE 1.576。
- 公网 IP WAN： 三主机运行移动了 15.22 GB 流量，在全参与的情况下，在 12 轮内将 CE 从 5.580 提升至 1.811。
结论： 去中心化质量取决于及时的每块参与。如果截止日期足够宽松以捕捉有用的工作，则 WAN 训练是可行的。

推理服务

单次遍历机制： 当前的 BlockTrain 路径通过遍历整个块堆栈来细化完整的输出序列。
吞吐量： 在三个公网网络 GPU 主机（GH200 + 2x A100）上的基准测试显示，其可服务高达 75.80B 参数 的逻辑 fp16 形状。
对比： 匹配的普通自回归 TCP 基准在生成的每个 token 时都需要支付一次完整的流水线遍历。BlockTrain 将 WAN 遍历分摊到整个序列中，从而在长序列生成时实现了显著更高的有效 Token 吞吐量。

5. 意义与主张

本文提出了一个有限但具体的声明：BlockTrain 拥有一条可行的真实文本学习路径、一条公网 IP 训练传输路径以及一条单次遍历（one-sweep）服务路径。

其意义在于将去中心化 AI 的范式从分发全模型副本转向分发块局部目标。这实现了：

内存可扩展性： 能够训练全量优化器状态大于消费级 GPU 的模型，因为每个工作者仅持有可控的切片。
目标-硬件对齐： 学习目标对硬件单元是局部的，避免了需要通过整个网络进行全局反向传播的需求。
服务经济性： 推理路径避免了逐 Token 的 WAN 往返，使得长序列的去中心化服务在经济上变得可行。

作者明确指出，证据范围限于所报告模型规模下的字节级 WikiText。他们并未声称在更大规模下这种微小的 CE 差距（0.04）会持续存在，也未涉及协议验证、安全性或激励层，这些属于后续研究的内容。其贡献在于展示了通过块局部去噪进行去中心化预训练在技术上是可行且有效的“机器学习/系统骨干（ML/systems spine）”。