🔬 materials science

Atompack: A Storage and Distribution Layer for Read-Heavy Atomistic ML Training Datasets

本文介绍了 Atompack，这是一种面向追加（append-oriented）的存储格式与分发层，专为读密集型原子尺度机器学习训练进行了优化，通过提供更快的随机读取吞吐量并产生显著更小的数据集构件，其性能大幅超越了 ASE、LMDB 和 HDF5 等现有基准。

原作者： Ali Ramlaoui, Daniel T. Speckhard, Sagar Pal, Fragkiskos D. Malliaros, Alexandre Duval, Victor Schmidt

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ali Ramlaoui, Daniel T. Speckhard, Sagar Pal, Fragkiskos D. Malliaros, Alexandre Duval, Victor Schmidt

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位正试图训练机器人烹饪数百万种不同食谱的大厨。每次机器人进行练习时，它都需要抓取一个特定的食谱，阅读其配料，然后立即随机抓取另一个完全不同的食谱。

长期以来，科学家存储这些“食谱”（实际上是复杂的分子三维模型）的方式就像是一个巨大的图书馆，其中每一个成分（碳原子、能量级、作用力）都存储在不同的、庞大的书本中。为了获取一个完整的食谱，机器人必须跑去“碳原子书”找到第42页，再跑到“能量书”找到第42页，以此类推。如果机器人需要抓取100个随机食谱，它就必须在图书馆里来回奔波数千次，浪费大量时间在走路上面。

迎接 Atompack。

该论文的作者构建了一种新的方式来存储这些分子食谱，称为 Atompack。以下是它的工作原理，使用了简单的类比：

1. “食谱卡片” vs. “图书馆”

与其将配料拆分到不同的书中，Atompack 将一个分子的整个食谱放在一张单一的、自包含的卡片上。

旧方法 (HDF5/ASE)： 像是一个图书馆，你必须从五本不同的书中提取页面才能组装出一顿饭。
Atompack： 就像一叠索引卡，每张卡片都包含了这一道特定菜肴的完整配料表、烹饪说明和营养信息。

2. “洗牌后的牌组”问题

在训练 AI 时，计算机并不会按顺序（1, 2, 3...）阅读食谱。它会以随机、洗牌后的顺序（42, 7, 105, 3...）进行阅读。

旧有的问题： 由于旧的存储系统是按成分类型组织的，抓取随机食谱意味着计算机必须在硬盘上不断跳跃，就像一个人试图通过翻找书中的随机页面来寻找信息一样。
Atompack 的解决方案： Atompack 在文件末尾创建了一个“魔法地图”（索引）。当计算机想要第42号食谱时，它查看地图，看到那张卡片在堆栈中的确切位置，然后瞬间抓取。它不需要搜索，只需伸手一拿即可。

3. “单行道”

Atompack 是为特定的工作流设计的：构建一次，冻结，然后永久读取。

想象你在写一本书。你写完所有章节，把它们装进一个活页夹，然后封印这个活页夹。你再也不会更改其中的页面。
因为这本书是被封存的（不可变的），计算机可以极其快速地从中读取数据，而无需担心有人在它读取时更改页面。这对于只需要反复读取数据（而不是编辑数据）的 AI 训练来说非常完美。

结果：速度与体积

研究人员使用一个包含64个原子的分子数据集，测试了 Atompack 与旧的标准方法（如 HDF5 和 LMDB）的表现。结果非常惊人：

速度： 当计算机需要抓取随机分子（即“洗牌式”训练风格）时，Atompack 比旧的“ASE LMDB”方法快了 96 倍。它也比流行的 HDF5 格式快了 24 倍。
- 类比： 如果旧方法需要一整天时间来抓取一周训练所需的配料，那么 Atompack 只需要不到一小时。
体积： 尽管速度如此之快，但文件并没有变得巨大。事实上，Atompack 的文件比 ASE 创建的文件小了约 79%。
- 类比： 这就像打包行李时效率极高，既装下了所有东西，行李箱本身却几乎没有重量。

为什么这很重要？

目前，如果科学家想要使用大规模数据集来训练他们的 AI，他们通常必须花费数天或数周的时间，仅仅是为了将数据转换成计算机可以读取的格式。

Atompack 通过让数据**“即开即食”**解决了这个问题。

发布者可以创建数据集，将其封存，并进行分享。
用户可以下载它，并立即开始训练他们的 AI，无需重新构建存储系统或编写自定义代码来解码文件。

Atompack 不是什么

论文明确指出，Atompack 并不是一种适用于所有场景的神奇工具。

它不是为了编辑而设计的。你无法在不重写整个文件的情况下，去修改分子中的单个原子。
它不是为了回答复杂问题，例如“显示所有具有特定能量水平的分子”。它严格用于快速抓取完整的分子。

总而言之： Atompack 是一种专门的存储格式，它将分子视为一个完整的、不可更改的包裹。通过这种组织方式，它将向 AI 喂送数据这一缓慢且令人沮丧的过程，转变为一条快速、顺畅的高速公路，使科学家能够更轻松地共享和使用大规模数据集进行训练。

技术摘要：Atompack

问题陈述

原子级机器学习（ML）已从对小数据集的交互式分析转向对数百万个结构的基座模型训练。在这种模式下，存储层成为了训练系统不可或缺的一部分。然而，现有的存储解决方案往往与随机训练的特定访问模式不匹配：

工作负载不匹配： 训练流水线以打乱的顺序消耗完整的分子记录（几何结构、力、能量），而许多存储格式（如 HDF5）针对字段级（field-wise）或块级（chunk-wise）局部性进行了优化。
开销问题： 原子模拟环境（ASE）等格式优先考虑丰富的对象操作和策展，在重复进行对象实例化时会产生高昂的成本。
分发摩擦： 已发表的数据集通常要求下游用户重建项目特定的数据库或转换脚本，这阻碍了可复现性和重用性。
低效性： 带有通用负载（如 pickled 字典）的键值存储（如 LMDB）引入了序列化和重构开销，从而降低了打乱读取（shuffled-read）的吞吐量。

本文认为，存储系统应当针对原子级机器学习中“构建、冻结、训练”的特定生命周期进行优化，即数据集是不可变的、只读的，并通过随机索引进行访问。

方法论与系统设计

Atompack 是一种专门为不可变原子数据集设计的追加式（append-oriented）存储格式和分发层。

核心设计原则

全记录存储（Whole-Record Storage）： 与将字段分开存储的“结构体数组”（SoA）布局（如 HDF5）不同，Atompack 将整个分子或晶体结构作为一个单一的索引记录进行存储。这使存储单元与训练损失样本（ $x_i$ ）保持一致，确保打乱采样器在每次采样时只需进行一次直接查找，而不是从多个字段块中重建数据。
追加式生命周期： 数据在构建期间进行追加。一旦数据集定型，就会提交一个不可变的索引。该系统不支持任意更新或删除；任何修改都需要重写整个数据集。
内存映射服务（Memory-Mapped Serving）： 在训练时，Atompack 使用内存映射读取路径。这允许多个工作进程共享不可变的字节流，而无需进行全局扫描或元数据重新解析。
紧凑索引： 尾部索引将分子 ID 映射到字节偏移量和大小，实现了与数据集大小无关的 $O(1)$ 记录查找。

文件布局 (`.atp`)

文件结构由以下部分组成：

头部槽位（Header Slots）： 两个固定大小的槽位（各 4 KiB），用于存储元数据（版本、生成版本、索引偏移/长度、分子计数、校验和）。一种交替提交协议确保了索引更新时的原子性。
数据区域（Data Region）： 一个仅追加的区域，包含序列化的分子记录（几何结构、目标值、自定义字段）。记录可以通过单文件编解码器进行压缩。
尾部索引（Trailing Index）： 一个将分子索引映射到其字节偏移量、存储大小、解压后大小和原子数量的映射表。

模式（Schema）

模式是领域相关的，但并非模型相关的。它强制要求必要的几何字段，并支持可选的目标值（能量、力、应力等）和自定义属性。这在保证公共分发标准化与满足特定数据集需求灵活性之间取得了平衡。

评估方法

作者将 Atompack 与四类代表常见存储选择的基准进行了对比：

HDF5 SOA： 具有分块功能的紧凑型字段数组。
LMDB Packed： 带有自定义二进制负载的优化键值存储。
LMDB Pickle： 带有 Python 层序列化的键值存储（常见的便捷选择）。
ASE SQLite/LMDB： 使用 ASE 库进行面向对象的数据库访问。

基准测试 在以下方面进行：

工作负载： 顺序读取、打乱（随机）读取（单工作进程和多进程）、以及写入吞吐量。
数据集： 每个分子包含 12、64 和 256 个原子的合成数据集。
环境： 本地 NVMe SSD、NFS、GPFS 和 Lustre 文件系统。
指标： 吞吐量（分子/秒）、存储占用（制品大小）以及文件系统敏感度。

关键结果

在具有代表性的 64 原子工作负载下：

打乱读取吞吐量： Atompack 在随机访问方面显著优于所有基准，这对于训练至关重要。
- 对比 ASE LMDB： Atompack 快了 96 倍。
- 对比 LMDB Pickle： Atompack 快了 3.82 倍。
- 对比 HDF5 SOA： Atompack 快了 24.0 倍。
- 注： HDF5 在顺序读取方面表现良好，但在打乱过程中会遭受块局部性丢失的影响。
文件系统鲁棒性： Atompack 在本地 NVMe、NFS、GPFS 和 Lustre 上均保持了稳定的加速比（相对于 LMDB Pickle 为 3.82x 至 4.80x），证明了其在 HPC 集群训练中的适用性。
写入吞吐量： Atompack 实现了极高的写入速度（内置字段为 105k 分子/秒），与 HDF5（91k 分子/秒）相当，且明显快于 LMDB 和 ASE 基准。
存储占用：
- Atompack 的制品体积比 LMDB Packed/Pickle 约 小 79%。
- Atompack 略大于 HDF5 SOA（比例为 1.00x vs 0.96x），但提供了远为优越的打乱读取性能。

核心贡献

Atompack 设计： 一种用于不可变原子记录的文件/分片设计，旨在优化“完整分子”的访问模式。
全面的基准测试： 跨读取、写入、存储大小和文件系统敏感度的比较分析，强调了数组存储、键值存储和面向对象数据库之间的权衡。
开源实现： 发布了源代码、基准测试脚本和打包好的数据集，以促进可复现性和采用。

重要性与主张

论文声称 Atompack 解决了原子级机器学习中的一个特定瓶颈：即提供不可变、打乱数据集时的低效问题。通过将存储层视为训练系统的一部分而非仅仅是策展工具，Atompack：

提高了训练吞吐量： 直接提供完整的分子记录消除了从字段块重建对象或反序列化 pickled 字典的开销。
增强了可复现性： 它允许研究人员将数据集作为“可训练制品”发布，下游用户可以直接消费这些制品，而无需重建项目特定的数据库或转换脚本。
优化了分发： 其紧凑的格式和分片目录支持使得大规模数据集更容易在公共仓库中进行分发和管理。

作者也承认了局限性：Atompack 不适用于可变数据库、字段投影分析或图构建或特征生成占据运行时间的工作负载。它是专门为大规模原子级机器学习的“构建、冻结、训练”生命周期而设计的。