Scaling Laws Meet Model Architecture: Toward Inference-Efficient LLMs

本文提出了一种融合架构信息的条件缩放定律及搜索框架，通过优化隐藏层大小、MLP 与注意力参数分配及分组查询注意力等关键因素，在相同训练预算下实现了比 LLaMA-3.2 更优的推理效率与准确率。

要点

这篇论文就像是在给大语言模型（LLM）做“身材管理”和“效率优化”。

想象一下，大语言模型就像一个超级大厨。

• 以前的做法（传统缩放定律）：为了让大厨做得更美味（更聪明），我们只是不停地给他加食材（增加训练数据）和扩大厨房（增加参数量）。这确实能让菜更好吃，但代价是：厨房变得巨大无比，每做一道菜（推理/回答问题）都要消耗大量的水电费（计算成本），而且上菜速度越来越慢。
• 这篇论文的问题：我们能不能在不增加厨房总面积（固定参数预算）的前提下，通过重新设计厨房的布局，让大厨既做得好吃，又上菜飞快，还省电？

核心发现：三个“厨房改造”秘诀

作者发现，决定大厨上菜速度的，不仅仅是厨房有多大，还在于厨房内部的具体布局。他们研究了三个关键因素：

1. 隐藏层大小（Hidden Size）：

   • 比喻：这是大厨的工作台宽度。
   • 发现：以前大家觉得工作台越宽越好，但这篇论文发现，如果工作台太宽，反而会让大厨在转身拿调料时浪费太多时间。适当调整宽度，配合其他因素，效率最高。

2. MLP 与 Attention 的比例（MLP-to-Attention Ratio）：

   • 比喻：这是切菜区（MLP）的空间分配比例。
   • 发现：以前大家倾向于把大部分空间留给“切菜”（MLP，处理复杂逻辑），只留一小块给“看菜谱”（Attention，关注上下文）。但作者发现，适当减少切菜区，增加看菜谱区（或者找到一个完美的平衡点），反而能让大厨反应更快，菜做得更香。这就好比，与其花大力气切一堆没用的菜，不如多花点精力看清菜谱，避免做错。

3. 分组查询注意力（GQA）：

   • 比喻：这是传菜员的数量。
   • 发现：以前每个“看菜谱”的环节都配一个传菜员（多头注意力），人太多反而拥堵。现在改成几个环节共用一个传菜员（分组查询），大大减少了沟通成本，上菜速度（吞吐量）瞬间提升。

他们是怎么做的？（“条件缩放定律”）

以前的规则是：“只要参数多，模型就强”。
这篇论文提出了一个新的规则："在参数固定的情况下，什么样的布局（架构）"

他们把这种新规则称为"条件缩放定律"。

• 旧地图：只告诉你往北走（增加参数）能到达宝藏。
• 新地图：不仅告诉你往北走，还告诉你：“如果你往北走，同时把路修得宽一点（调整隐藏层），把红绿灯设置得更合理（调整比例），你就能更快地到达宝藏，而且路上不堵车。”

实验结果：真的有效吗？

为了验证这个理论，作者像“疯狂科学家”一样，训练了200 多个不同大小、不同布局的小模型（从 8000 万参数到 30 亿参数），就像在厨房里试了 200 种不同的装修方案。

然后，他们利用这些数据画出了一张“最佳装修蓝图”，并用它指导训练了更大的模型（30 亿参数）。

结果令人震惊：

• 速度更快：在同样的硬件上，他们设计的模型（叫 Surefire 系列）比目前流行的 LLaMA-3.2 模型，上菜速度快了 42%。这意味着用户等待回答的时间大大缩短。
• 质量更好：在同样的训练成本下，新模型的准确率提高了 2.1%。这意味着菜不仅做得快，味道也更鲜美。

总结：这对我们意味着什么？

这就好比以前我们为了吃顿好饭，只能拼命建更大的餐厅（增加参数），导致排队时间长、电费贵。
而这篇论文告诉我们：其实只要重新设计一下餐厅的动线（架构）

一句话总结：
这篇论文不再盲目地追求“更大”的模型，而是教我们如何更聪明地设计模型，让它们在更省钱、更快速的同时，依然保持超级聪明。这对于让 AI 真正走进我们的日常生活（比如手机上的实时助手）至关重要。

技术摘要

这是一篇发表于 ICLR 2026 的会议论文，题为 《Scaling Laws Meet Model Architecture: Toward Inference-Efficient LLMs》（缩放定律遇见模型架构：迈向推理高效的大语言模型）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 现状： 现有的大语言模型（LLM）缩放定律（Scaling Laws，如 Chinchilla）主要关注通过增加参数量（$N$）和训练令牌数（$D$）来提升模型性能。
• 痛点： 随着模型部署规模扩大，**推理成本（Inference Cost）**已成为主要瓶颈。现有的缩放定律忽略了推理效率，导致在固定训练预算下，生成的模型可能性能优异但推理速度极慢。
• 现有局限：
  • 部分研究尝试将推理 FLOPs 纳入缩放定律，但需要预估模型全生命周期的总生成令牌数，这在现实中难以实现。
  • 另一项研究（Bian et al., 2025）虽然引入了架构因素，但仅考虑了“宽高比”（aspect ratio），忽略了隐藏层大小（hidden size）、MLP 与 Attention 的参数比例（mlp-to-attention ratio）以及分组查询注意力（GQA）等关键因素对推理效率的显著影响。
• 核心问题： 能否显式地捕捉大语言模型在推理效率与模型精度之间的权衡，并找到最优的架构配置？

2. 方法论 (Methodology)

作者提出了一套结合架构感知的条件缩放定律（Conditional Scaling Law）和架构搜索框架。

A. 架构变量分析

在固定层数（$n_{layer}$）和总非嵌入参数量（$N_{non-embed}$）的前提下，研究以下三个关键架构因素：

1. 隐藏层大小 ($d_{model}$)：影响注意力头的数量和维度。
2. MLP 与 Attention 的比例 ($r_{mlp/attn}$)：决定参数在 MLP 层和注意力层之间的分配。
3. 分组查询注意力 (GQA)：通过共享 KV 头来减少 KV Cache 大小，提升推理吞吐量。

实验发现：

• 在固定参数量下，更大的隐藏层大小和更高的 MLP/Attention 比例能显著提升推理吞吐量（Tokens/s）。
• 原因：这些配置减少了总 FLOPs（特别是注意力部分的计算量）并缩小了 KV Cache，降低了 I/O 开销。
• GQA 的增加也能显著提升吞吐量，但其对精度的影响是非单调的，难以通过连续函数建模。

B. 条件缩放定律 (Conditional Scaling Law)

为了在保持精度的同时优化效率，作者扩展了 Chinchilla 定律：

1. 基准点： 首先利用 Chinchilla 定律确定给定 $N$ 和 $D$ 下的理论最优损失 $L_{opt}(N, D)$。
2. 校准（Calibration）： 引入架构参数，构建条件损失函数 $L(d/\sqrt{N}, r | N, D)$。
   • 研究发现，训练损失与 $d_{model}/\sqrt{N}$ 和 $r_{mlp/attn}$ 均呈现U 型曲线关系（即存在一个最优中间值，过大或过小都会导致性能下降）。
   • 提出了乘法校准公式：
     $$L(d/\sqrt{N}, r | N, D) = (a_0 + a_1 \log(\frac{d}{\sqrt{N}}) + \frac{a_2 \sqrt{N}}{d}) \cdot (b_0 + b_1 \log r + \frac{b_2}{r}) \cdot L_{opt}$$
   • 该公式将架构因素对损失的影响与基础缩放定律解耦。

C. 架构搜索框架

基于上述定律，提出一个两阶段搜索算法（Algorithm 1）：

1. 全局搜索： 在固定 $N, D$ 和最大允许损失 $L_t$ 的约束下，求解最优的 $d_{model}$ 和 $r_{mlp/attn}$，以最大化推理效率。
2. 局部搜索： 针对 GQA 进行离散搜索（因为 GQA 必须是注意力头数的因子，且与损失关系不连续），在满足精度约束的前提下选择能最大化吞吐量的 GQA 值。

3. 实验设置 (Experiments)

• 模型规模： 训练了超过 200 个 模型变体，参数量范围从 80M 到 3B，训练令牌数从 8B 到 100B。
• 数据集： 使用 Dolma-v1.7 数据集。
• 评估指标：
  • 精度： 9 个下游任务（如 ARC, HellaSwag, LAMBADA 等）的零样本准确率。
  • 效率： 使用 vLLM 和 SGLang 框架在 NVIDIA A100 和 H200 GPU 上测量推理吞吐量（Tokens/s）。
• 验证策略： 采用渐进式拟合（在 80M, 145M, 297M 上拟合，预测 1B 和 3B 的表现），验证缩放定律的泛化能力。

4. 关键结果 (Key Results)

• 缩放定律的预测能力：
  • 提出的条件缩放定律能准确预测不同架构变体的训练损失（MSE 极低，Spearman 相关系数高达 0.89）。
  • 证明了在固定参数预算下，存在特定的 $d_{model}$ 和 $r_{mlp/attn}$ 组合能同时实现低损失和高效率。
• 模型性能提升 (Panda 系列 vs LLaMA-3.2)：
  • Panda-1B (3B 参数)： 在相同训练预算下，相比 LLaMA-3.2-1B，下游任务平均准确率提升 2.1%，同时推理吞吐量提升。
  • Panda-3B： 相比 LLaMA-3.2-3B，准确率提升 0.6%。
• 推理效率突破 (Surefire 系列)：
  • 通过搜索框架找到的 Surefire-1B 和 Surefire-3B 模型，在保持与 LLaMA-3.2 相当甚至更好的精度的同时，实现了高达 42% 的推理吞吐量提升（在 A100 上）。
  • 在 H200 GPU 和 SGLang 框架下，吞吐量提升甚至达到 47%。
• 架构洞察：
  • 最优架构倾向于更大的隐藏层大小（$d_{model}/\sqrt{N} \approx 0.08$）和较低的 MLP/Attention 比例（$r \approx 1.0 - 1.5$），这与 LLaMA-3.2 默认的高比例（4.8）形成鲜明对比。
  • 增加 GQA（如从 3 增加到 7 或 9）能显著提升效率而不牺牲精度。

5. 贡献与意义 (Significance)

1. 理论贡献： 首次将具体的架构超参数（隐藏层大小、MLP 比例、GQA）显式地整合进缩放定律框架，提出了“条件缩放定律”，填补了精度与推理效率之间权衡研究的空白。
2. 方法论创新： 提出了一套实用的架构搜索框架，能够自动找到在固定预算下兼顾精度和效率的最优架构，无需依赖昂贵的全量训练试错。
3. 实践价值：
   • 证明了现有的开源模型（如 LLaMA-3.2）在架构设计上并非最优，存在巨大的效率提升空间。
   • 为工业界部署 LLM 提供了具体的架构设计指南：在参数总量不变的情况下，通过调整 $d_{model}$、$r_{mlp/attn}$ 和 GQA，可以显著降低推理成本并提升服务吞吐量。
4. 可复现性： 开源了超过 200 个模型变体的训练数据和详细的架构配置，为后续研究提供了宝贵基准。

总结： 该论文表明，仅仅增加参数量或数据量已不足以解决 LLM 部署的瓶颈。通过深入理解架构因素对推理效率的影响，并利用条件缩放定律进行指导，可以在不增加计算成本的前提下，显著提升大语言模型的“性价比”（精度/推理成本比）。