🤖 machine learning

Lakestream: A Consistent and Brokerless Data Plane for Large Foundation Model Training

Lakestream 是一个专为大规模基础模型训练设计的无代理、原生对象存储数据平面，它引入了事务性全局批次和去中心化自适应提交算法，以提供类 ACID 的一致性、故障隔离以及高吞吐摄入能力，其延迟低于现有的消息队列或共置解决方案。

原作者： Ting Sun, Junjie Zhang, Xiao Yan, Songxin Zhang, Zhuoyang Song, Jingyi Xi, Zunyao Mao, Bingyi Jing, Jiaxing Zhang, Zejian Xie

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ting Sun, Junjie Zhang, Xiao Yan, Songxin Zhang, Zhuoyang Song, Jingyi Xi, Zunyao Mao, Bingyi Jing, Jiaxing Zhang, Zejian Xie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个巨大且超级聪明的机器人（大型基础模型）如何理解世界。为此，你需要将海量数据（如视频、图像和文本）以一个个“批次”的形式喂给它。

在过去，给这个机器人“喂食”就像工厂里的一条简单传送带。数据已经被预先打包进盒子，传送带只是以稳定的速度将它们运送到机器人面前。但现代人工智能截然不同。数据杂乱无章、体量巨大，且其大小取决于内部内容。有时，单个视频文件需要被解包并扩展为原来 1000 倍的大小，机器人才能使用它。

旧的传送带（现有系统）无法应对这种情况。它们要么堵塞，要么一旦有工人掉落一个盒子，整个工厂就会停摆。

Lakestream 登场：一种“智能、无中介”的数据平面。

本文的作者构建了一个名为Lakestream的新系统。可以将其视为一种为这些巨型 AI 模型组织数据交付的革命性方式。以下是其工作原理，通过简单的类比来说明：

1. 旧方法的弊端

“共置”问题（健身房里的厨房）： 想象机器人（训练者）正在举重，而为其准备食物的人（数据加载器）就站在同一个狭小的房间里。如果备餐时间过长，机器人就必须停止举重。如果备餐人员绊倒摔了一跤，机器人就会永远停摆。它们纠缠得太紧密了。
“消息队列”问题（困惑的快递员）： 想象使用一个中央邮局（如 Kafka）来递送数据。邮局将每一份文件都视为一封独立的信件。但机器人需要一次性获得完整的“一餐”（一个批次）。如果邮局将“鸡肉”部分在不同时间递送给机器人的一个手臂，而将“米饭”部分递送给另一个手臂，机器人就会感到困惑并学到错误的东西。此外，邮局是单点故障源；如果邮局局长生病了，就没人能吃到饭了。

2. Lakestream 的解决方案：共享数字仓库

Lakestream 摒弃了中央邮局和拥挤的厨房。相反，它利用了一个巨大的共享对象存储（就像一个无限大的数字仓库，例如 Amazon S3）和一个版本化清单（Master Ledger）。

以下是 Lakestream 使用的三个“魔法”：

A. “事务性全局批次”（完美的餐食）

在过去，数据只是一系列独立的记录流。Lakestream 将整个“批次”数据视为一个不可分割的单元，称为事务性全局批次（TGB）。

类比： 想象一位厨师准备了一整桌宴席。食物已经烹饪好并摆放在桌上，但被盖子盖住。盖子是锁着的。没人能看到食物。
魔法： 当厨师确定整桌宴席都准备好时，他们会操作主清单（Manifest）上的开关。突然间，盖子被揭开，所有机器人手臂在同一时刻看到了完整、完美的餐食。如果厨师在翻转开关前打翻了盘子，盖子就会保持关闭，没人会看到那堆混乱。这确保了每个人始终使用相同的数据。

B. “去中心化自适应提交”（智能红绿灯）

当许多厨师（生产者）试图同时更新主清单时，他们可能会尝试在同一页上写入，从而引发冲突。

旧方法： 他们会不停地敲门，直到有人让他们进去，这浪费了时间。
Lakestream 方法（DAC）： 厨师们拥有一种智能的、自我习得的节奏。他们观察清单的繁忙程度。如果清单变得巨大且更新变慢，他们在再次尝试写入前会自动多等待一小会儿。如果环境安静，他们就写得更快。他们无需互相交谈，只需观察清单即可。即使数百名厨师同时工作，这也能保持交通顺畅。

C. “检查点对齐的生命周期”（时间旅行保险箱）

AI 模型通常需要“保存进度”（检查点），并有时需要回退到之前的保存点以尝试不同的路径。

问题： 在旧系统中，一旦数据被“吃掉”，它就消失了。如果你需要回退，就无法实现。
Lakestream 方法： 系统会保留每顿已供餐食的记录，并将其与机器人特定的“保存点”关联。当机器人保存进度时，它也会在清单中写入一个“水印”（安全线）。系统知道要将该线之前的所有数据保持安全无损。只有当它确认没有任何机器人保存点需要旧数据时，才会删除这些数据。这意味着你可以完美地回退时间而不会丢失数据，同时也不必为无人需要的数据存储付费。

3. 结果

该论文在 64 块强大的 GPU 上，使用巨大的视频和图像数据集对该系统进行了测试。

速度： 它比现有的最佳“共置”系统（数据准备和训练同时发生）快2.7 到 7.7 倍。
可靠性： 它处理故障的能力强得多。如果数据准备工人崩溃，机器人会继续训练而不会停摆。
效率： 它比使用中央消息队列（如 Kafka）快得多，后者难以跟上数据的规模和复杂性。

总结

Lakestream 就像用一条智能的、去中心化的公路系统取代了一条混乱的单行道。它利用共享仓库和主清单来确保：

每个人在同一时间获得完全相同的“批次”数据。
即使交通变得拥挤，系统也能保持快速运行。
你可以将训练过程回退到历史上的任何时间点，而不会丢失数据。

这一切都是在不需要中央管理者（中介）告诉每个人该做什么的情况下实现的，这使得它在训练世界上最大的 AI 模型时更快、更便宜、更可靠。

技术摘要：Lakestream

问题陈述

现代大型基础模型（LFM）训练从根本上改变了数据流水线的需求。与依赖静态、预处理数据集的传统深度学习工作负载不同，LFM 训练涉及动态的、运行时耦合的数据生成。这一转变引入了现有系统未能解决的三个关键挑战：

不可预测的数据量：在 multimodal（多模态）训练（例如视频、交错图像 - 文本）和强化学习中，原始输入经历繁重的运行时预处理（解码、重缩放、Token 打包）。这导致数据扩展因子从 62 倍到超过 9,000 倍不等，使得静态资源分配和预分区变得不可行。
动态批次成员：在使用在线 Token 打包或依赖模型样本选择的工作负载中，训练批次的精确组成仅在预处理完成后确定。静态分区方案无法捕捉这些边界，需要一种机制以原子方式向所有训练 Rank 暴露完整的批次。
检查点对齐：LFM 流水线通常交错进行预训练、微调和强化学习，因此需要能够回滚到特定检查点并重放确切的批次序列。临时交付系统无法保证确定性恢复所需的持久性和版本控制。

现有解决方案存在不足：

共置数据加载器（Colocated Dataloaders）：提供语义对齐，但缺乏故障隔离。预处理崩溃会导致整个任务停滞，且共享的 CPU/内存资源造成了吞吐量上限。
解耦数据加载器（集中式）：解耦了预处理，但依赖临时的 RPC 交付。它们缺乏持久历史、批次级原子性，以及在故障后重放特定批次的机制。
消息队列（例如 Kafka）：基于记录/偏移量抽象而非批次语义运行。它们要么强制乱序分片交付（破坏梯度聚合），要么要求每个 Rank 下载完整批次（导致巨大的读取放大）。

方法论

Lakestream 是一个无代理、原生对象存储的训练数据平面，旨在通过将 Lakehouse 架构原则适应训练循环来解决这些问题。其核心设计理念是对象存储应作为唯一的协调介质，消除代理、队列或中央服务。

核心抽象：事务性全局批次（TGB）

该系统引入了事务性全局批次（Transactional Global Batch, TGB），这是一个一等持久实体，将每个训练批次视为具有持久性和全局一致排序的原子单元。

物化：TGB 作为不可变对象写入对象存储。
清单门控可见性：写入数据对象并不会使其可见。只有当已提交的、带版本控制的**清单（manifest）**引用它们时，TGB 才对消费者可见。这确保了所有数据并行 Rank 同时观察到完整且一致的批次。
布局：TGB 被组织成对应于设备网格（数据并行和上下文并行）的数据切片。每个 Rank 仅通过定向范围读取读取其特定切片，消除了读取放大。

控制平面：去中心化协调

Lakestream 通过两种关键机制在没有中央服务器的情况下实现协调：

通过清单实现乐观并发控制（OCC）：生产者通过尝试条件写入（例如 If-None-Match）新版本清单来提交 TGB。如果版本名称已被占用，写入失败，生产者将其本地状态基于最新提交的清单进行重基（rebase），然后重试。这在没有生产者间通信的情况下线性化了全局批次序列。
去中心化自适应提交（DAC）：为了在清单增长时维持高吞吐量，Lakestream 采用 DAC 算法。生产者不再使用固定间隔，而是根据清单 I/O 时间和冲突率的实时估计动态调整其提交节奏。DAC 维护显式的“开销预算”和“冲突预算”，计算提交尝试之间的最佳等待间隔，以在最大化新鲜度的同时最小化浪费的重试。

生命周期管理

恰好一次语义：生产者状态（流偏移量）直接内联到清单的每生产者状态映射中。重启后，生产者可以恢复其确切位置而无需重新处理数据。
检查点对齐的回收：数据保留直接绑定到分布式检查点进度。全局水位线（ $W_{global}$ ）源自所有消费者的最小水位线。低于此水位线的任何 TGB 或清单版本均可被删除，确保存储成本保持有界，同时保证任何活动检查点所需的数据不会被过早回收。

主要贡献

无代理、原生对象存储架构：系统确立对象存储为唯一的协调介质。关键路径中不存在服务器端进程；新的训练运行仅需一个新的命名空间前缀。
事务性全局批次（TGB）：一种新颖的抽象，将数据可见性与训练步骤语义统一，通过对象存储原语提供原子性的全 Rank 可见性、全局排序和恰好一次交付。
去中心化自适应提交（DAC）：一种算法，能够在清单增长时维持稳定的摄入吞吐量，动态调整提交间隔而无需生产者间通信。
检查点对齐的生命周期：一种将数据保留绑定到分布式检查点进度的机制，实现了安全的回滚和有界的存储开销，而无需持久协调服务。

评估结果

作者在大规模多模态预训练和监督微调（SFT）工作负载上评估了 Lakestream，使用了多达 64 个 GPU（NVIDIA H200）。

吞吐量与共置流水线对比：Lakestream 在端到端吞吐量上比专家优化的共置流水线高出2.68 倍至 7.73 倍。这一增益归因于消除了预处理与训练之间的结构性资源争用（CPU/内存带宽共享）。
吞吐量与 Kafka 对比：Lakestream 在生产者摄入吞吐量方面显著优于 Apache Kafka，特别是在生产者数量扩展时。由于消息大小限制和代理背压，Kafka 无法为大型有效负载（例如视频）维持严格的 TGB 语义。
延迟：Lakestream 实现了比 Kafka 更低的消费者读取延迟。例如，在视频 SFT 工作负载中，Lakestream 将 P95 延迟从~~42.7 秒（本地）和~~9.5 秒（Kafka）降低至367 毫秒。
可扩展性：DAC 算法在 32 个生产者运行 5 小时的过程中，成功维持了高提交成功率（96.3%）和吞吐量（431.9 MB/s），而固定间隔和启发式基线（AIMD, INCR）随着清单增长显著退化。
读取放大：无论世界规模（world size）如何，Lakestream 均实现了接近1 倍的读取放大，因为每个 Rank 仅读取其特定数据切片。相比之下，Kafka 和密集读取基线表现出随 Rank 数量线性增长的放大（例如 128 倍）。
存储效率：与未进行物理删除的运行相比，检查点驱动的回收将峰值存储容量降低了72.0%（从 34.85 GiB 降至 9.76 GiB），证实了水位线有效地限制了存储成本。

意义

该论文声称，Lakestream 证明了当对象存储与版本化元数据和去中心化协调相结合时，它是训练感知数据平面的充分基础。通过将全局批次视为持久的事务性实体而非临时交付工件，Lakestream 解决了现有基于记录的流式系统无法满足的 LFM 训练特定语义需求——动态批次成员、检查点对齐和故障隔离。该系统证明，无代理架构可以在没有中央服务的开销和故障域的情况下，为大规模基础模型训练维持高吞吐量、低延迟的数据交付。