🤖 machine learning

Unifying Data, Memory, and Compute Efficiency in LLM training: A Survey

本综述采用以约束为中心的视角，将数据选择、内存管理和计算分配统一起来，认为实现最优效率需要将这三个相互耦合的瓶颈视为一个相互作用的系统，而非孤立地进行优化。

原作者： Vanessa Schmidt, Huy Hoang Nguyen, Cédric Jung, Shirin Salehi, Anke Schmeink

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Vanessa Schmidt, Huy Hoang Nguyen, Cédric Jung, Shirin Salehi, Anke Schmeink

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一个狭小、拥挤且预算极其有限的厨房里，烘焙出世界上最美味的蛋糕（即一个大型语言模型，或称之为 LLM）。你的食材、烤箱空间和电力供应都非常有限。

长期以来，面包师们一直认为，想要做出更好的蛋糕，唯一的办法就是购买更多的食材、使用更大的烤箱以及消耗更多的电力。但本文认为，我们已经撞到了墙：我们的厨房（计算机芯片）太小了，而我们的电费（能源成本）也太高了。我们不能仅仅通过规模扩张来解决问题。

相反，作者提出了一种新的思维方式：效率不在于做得更多，而在于对做什么、如何放置以及何时停止做出更聪明的选择。 他们将其称为“资源受限的生命周期”（Resource-Constrained Lifecycle），并将这一过程拆解为我们厨房故事中的三个角色。

1. 厨师（数据效率）：“碗里该放什么？”

问题所在： 你有一个巨大的储藏室，里面装满了面粉、糖和鸡蛋（数据）。但其中很多都是陈旧、冗余或纯粹糟糕的。如果你把所有东西都用进去，就会浪费时间和空间。
旧的方法： “把所有东西都扔进去，然后祈祷蛋糕能成功。”
新的方法： 本文建议做一个挑剔的厨师。

“少即是多”原则： 你不需要学习 10,000 个食谱才能学会烘焙；你可能只需要 1,000 个完美的食谱。
“试味”（梯度影响）： 厨师不再靠猜测哪些食材好用，而是使用一种特殊的工具在搅拌过程中进行“试味”。如果某种特定成分（数据点）让面糊的味道变好了，就保留它；如果它对味道几乎没有改变，就把它扔掉。
难点： 检查每一种食材都需要时间。论文指出目前存在一个差距：现在的厨师大多只在开始烘焙之前检查食材（静态）；未来的厨师则是在烘焙过程中进行试味和重新评估（动态），但如何在不耗尽操作台空间的情况下做到这一点，是其中的难点。

2. 仓库管理员（内存效率）：“如何把所有东西都放在台面上？”

问题所在： 即使你拥有最好的食材，你的厨房台面（GPU 显存）也太小了，无法同时放下搅拌碗、量杯和食谱书。
旧的方法： “如果台面满了，那就买个更大的台面。”（但我们并不总是能做到这一点）。
新的方法： 本文提出了三种缩小混乱程度的技巧：

“小批量”技巧（以数据为中心）： 不要试图一次混合一大碗面糊，而是混合能够代表整体的小型、高质量批次。
“一步一个脚印”技巧（以优化器为中心）： 想象你要搬运 1,000 个箱子。与其试图一次性搬走所有箱子，不如一次移动一排架子，放下箱子，清空架子后再移动下一排。这能保持台面整洁，即便这会多花一些趟数。
“压缩”技巧（量化）： 想象你用简短的速记笔记代替完整的句子来写食谱。这样可以节省大量的空间。论文表明，只要你有一种特殊的阅读速记的方式，你就可以在不破坏味道的前提下，对蛋糕原料（权重）进行这种压缩。

核心洞察： 你不能只用一种技巧。如果你缩小了食谱（压缩），却仍然尝试混合一大碗面糊，你依然会耗尽空间。你需要同时缩小食谱、缩小混合方法以及缩小食材规模。

3. 预算监督员（计算效率）：“什么时候停止？”

问题所在： 你的电力和时间都是有限的。如果你一直烤下去，可能会在蛋糕完美之前就耗尽了电量。
旧的方法： “烤足 2 小时”或者“等到计时器响为止”。
新的方法： 论文引入了一个“管理者（Governor）”——就像是你烤箱里的智能恒温器。

“边际收益”检查： 管理者不断询问：“下一分钟的烘焙真的让蛋糕变得更好了吗？”
决策过程：
- 如果蛋糕进步很快？继续烤。
- 如果蛋糕几乎没有变化？停止。 或者，切换到不同的策略（比如改变温度或添加不同的食材）。
- 如果钱或时间用完了？立即停止。
教训： 这不是为了达到一个完美的得分，而是在你拥有的预算内，尽可能做出最好的蛋糕。有时候，最好的蛋糕是你在额外的时间成本不划算时提前停止烘焙的那个。

宏大结论：“统一的厨房”

论文的核心观点是，长期以来，面包师们（研究人员）一直在各自为政。 “数据厨师”并不关心“仓库管理员”，而两者也不与“预算监督员”沟通。

厨师可能会挑选最好的食材，但如果管理员无法将它们放在台面上，那也无济于事。
管理员可能会清理台面，但如果监督员过早停止了烤箱，蛋糕就会是生的。

解决方案： 我们需要一个统一的系统，让三者协同工作。

动态选择： 厨师根据管理员能承载的容量以及监督员能负担的成本来挑选食材。
整体压缩： 管理员使用的技巧要能同时帮助厨师和监督员。
智能停止： 监督员根据下一步的“价值”而非仅仅根据计时器来决定何时停止。

底线： 为了让 AI 在小型设备（如手机或工业机器人）上运行并节省成本，我们不能仅仅制造更大、更强的计算机。我们必须成为更聪明、更高效的面包师，准确地知道该使用哪些食材，如何在狭小的厨房里摆放它们，以及准确地在何时将蛋糕从烤箱中取出。

技术摘要：统一 LLM 训练中的数据、内存与计算效率

1. 问题陈述

大语言模型（LLM）的快速规模化导致了在数据量、GPU 显存（VRAM）和计算预算（FLOPs）方面极高的资源需求。尽管在数据效率、内存优化和计算管理领域已存在大量研究，但这些领域大多是孤立地进行开发和评估的。这种碎片化造成了一个关键问题：优化单一维度往往会将瓶颈转移到另一个维度（例如，复杂的样本选择可能会产生过高的内存开销，而节省内存的策略可能会限制数据的适应性）。

目前的方法未能将效率视为一个耦合的系统。目前缺乏一个统一的框架来同时解决数据、内存和计算的“优化三难困境”，特别是在边缘设备等资源受限的环境中。此外，在静态、预过滤的数据选择方法与需要在训练过程中进行动态、影响感知（influence-aware）的方法之间也存在差距。

2. 方法论与框架

本文提出了一个资源受限生命周期框架，将其可视化为一个统一的系统，其中效率受三个耦合瓶颈的控制：

数据效率（基础）： 确定训练什么。
内存效率（约束）： 确定如何将训练纳入硬件限制内。
计算预算感知（调节器）： 确定何时停止或重新分配资源。

本综述并非按架构或任务组织现有文献，而是按照这一受限系统的逻辑决策流进行组织。它通过单位资源边际效用（即最大化每单位受限资源——如 GB VRAM、FLOPs 或运行时间——所带来的性能增益）这一共同原则，对多样化的技术进行了综合。

核心技术支柱

A. 数据效率：从静态过滤到动态边际效用

本文回顾了数据选择从简单的冗余消除到复杂的、基于梯度的影响估计的演进过程。

基础指标： 早期剪枝方法如 LIMA（证明了 1,000 个精选样本即可足够）以及 GraNd（梯度范数）和 EL2N（误差 L2 范数）等指标，能在训练早期识别出显著样本。
学习动力学与代理模型： SmallToLarge (S2L) 和 STAFF 等方法利用小型代理模型来估计样本对较大目标模型的影响力和难度，从而降低计算开销。
梯度影响： LESS（低秩梯度相似度）和 GREATS（贪婪近似泰勒选择）等技术利用梯度投影和泰勒展开来量化数据点对验证集损失的影响，从而实现高收益子集的选择。
多维选择： BIDS（平衡且有影响力的数据选择）和 DART（难度感知拒绝微调）解决了能力平衡和难度感知需求，超越了单纯的损失降低。
静态到动态的差距： 综述指出一个关键局限：由于重新评估影响的成本极高，最先进的方法（如 LESS）主要是静态的。本文主张转向动态系统，在训练过程中重新评估数据影响，这可能通过使用内存高效的代理（如 CoLM 式的核心集）来廉价地近似动态影响。

B. 内存效率：分解训练足迹

本文将总内存消耗 ( $M_{total}$ ) 分解为权重 ( $M_\theta$ )、优化器状态 ( $M_O$ ) 和激活值 ( $M_A$ )。它认为有效的扩展需要同时减少这三者，而非孤立优化。

以数据为中心的方法： CoLM（用于 LLM 训练的核心集）和 Addax 通过选择小型加权子集，或使用混合一阶（短序列）和零阶（长序列）优化，来避免存储激活图，从而减少激活内存。
以优化器为中心的方法： HiFT 和 BAdam 等技术利用分块更新（块坐标下降法）来逐个更新参数子集，从而大幅减少同时存储的优化器状态（动量和方差）。
无梯度近似： 零阶（ZO）方法如 SubZero 和 LOZO 通过前向传播估计梯度，消除了存储反向传播所需激活值的需求，尽管它们面临方差挑战。
量化中心方法：
- DQT（直接量化训练）： 直接在低比特（INT-n）格式下训练模型，而不维护 FP32 主权重，从而消除了主权重和优化器状态的开销。
- QLoRA/QA-LoRA/PEQA： 使用低秩适配器或缩放微调来适配冻结的量化骨干网络，在减少内存的同时保持部署效率。
综合： 本文强调，目前的解决方案通常会在约束之间进行权衡（例如，量化清除了静态内存，但暴露了激活值限制）。它提出结构化混合（例如，结合分块优化、量化权重和零阶正则化）是实现模型规模与 VRAM 限制解耦的路径。

C. 计算预算感知：调节器

本文引入了**“计算调节器”**的概念，即一个控制策略 $\pi(S_t, B_t)$ ，它将系统状态（损失动力学、当前策略）和剩余预算映射到动作（继续、重新分配、停止）。

边际增益信号： 调节器使用每 FLOP 的边际增益 ( $G_t = -\Delta L / \Delta \text{FLOPs}$ ) 作为反馈信号。当 $G_t$ 低于基于预算的阈值时，训练停止或重新分配。
计算感知的数据选择： CADS 和 收益最优选择 等框架将数据选择视为双层优化问题，其中最优子集取决于可用的计算预算。它们识别了“回本”阈值，即只有当昂贵的数据选择成本可以通过随后的训练得到摊销时，该方法才是合理的。
缩放法则： 综述重新审视了缩放法则（Kaplan, Chinchilla, Muennighoff 等），定义了不同阶段（参数密集型、数据密集型、数据受限型），并确立了“最优”训练涉及根据 FLOP 预算平衡模型大小和 Token 数量。
预算感知推理： KV Cache 管理（PagedAttention, KIVI）、分层计算分配（Duo-LLM, LayerSkip）以及投机采样（FrugalGPT, DistillSpec）将同样的边际效用原则应用于推理，根据延迟和成本约束决定何时跳过层或验证 Token。

3. 主要贡献

统一框架： 本文沿资源受限生命周期（数据 $\to$ 内存 $\to$ 计算）构建文献，将效率视为一个耦合的决策问题，而非孤立的优化。
识别“静态到动态”的差距： 它强调了当前领先的数据选择方法主要是静态的，并提出了一个研究路线图，旨在开发动态、影响感知系统，通过使用混合代理-验证流水线在训练过程中重新评估数据效用。
边际效用原则： 它在最大化单位受限资源性能增益的原则下综合了多种技术，区分了仅仅使训练“可行”的方法与使训练“计算最优”的方法。
计算调节器： 它为停止和重新分配资源的控制论视角提供了形式化定义，适用于预训练、微调和推理阶段。

4. 结果与发现

数据： 证据表明，“好数据”是依赖于阶段的；不同的资源预算下，数据质量的概念各不相同。静态过滤（如 LIMA）在对齐阶段表现良好，但基于梯度的影响方法（如 LESS）在计算成本较高的情况下能提供理论上的最优性。
内存： 在微调过程中，GPU 显存往往是主要的瓶颈，而非原始计算力。孤立的优化（例如仅量化权重）往往会将瓶颈转移到激活值或优化器状态。混合方法（例如结合量化与分块更新）在消费级硬件上运行大型模型方面展现了潜力。
计算： 计算最优缩放法则表明，许多现有模型规模过大但训练不足。其“最优”数据子集和停止准则并非固定不变，而是取决于可用的 FLOP 预算。推理效率正日益受到内存（KV Cache）而非计算的限制。

5. 意义与主张

本文主张，将数据、内存和计算视为一个单一且耦合的优化问题，对于提升 LLM 效率至关重要。

整体视角： 它认为孤立的优化往往只是转移了瓶颈，而非解决问题。真正的效率需要一种系统级的方案，在所有三个维度之间平衡权衡。
边缘兼容性： 通过统一这些原则，本综述为高效、边缘兼容的 LLM 奠定了基础，使之能够在移动、工业和可穿戴平台上实现可持续部署。
研究议程： 本文指出，从静态向动态数据选择的转变，以及开发统一的流水线（结合内存压缩技术），是关键的前沿领域。它呼吁建立新的算法抽象，以实现真正的“数据-内存-计算”协同设计，从而超越硬件无关的效率，迈向硬件感知的策略。

本文总结道，弥合“静态到动态”的差距并实施统一的、预算感知的治理框架，是使 LLM 在资源受限环境下实现可持续性和普及化的必要步骤。