💬 NLP

Hardware Co-Design Scaling Laws via Roofline Modelling for On-Device LLMs

本文提出了一种通过结合模型训练损失缩放定律（Scaling Laws）与 Roofline 模型推理延迟建模的硬件协同设计框架，能够针对特定端侧硬件（如 NVIDIA Jetson Orin）快速搜索并识别出精度与延迟最优的帕累托前沿架构，显著提升了端侧大模型部署的效率与性能。

原作者： Luoyang Sun, Jiwen Jiang, Yifeng Ding, Fengfa Li, Yan Song, Haifeng Zhang, Jian Ying, Lei Ren, Kun Zhan, Wei Chen, Yan Xie, Cheng Deng

发布于 2026-02-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Luoyang Sun, Jiwen Jiang, Yifeng Ding, Fengfa Li, Yan Song, Haifeng Zhang, Jian Ying, Lei Ren, Kun Zhan, Wei Chen, Yan Xie, Cheng Deng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

1. 核心矛盾：大胃王 vs. 小口袋

现在的 AI 模型（LLM）就像是一个**“超级大胃王”**，它非常聪明，但它需要消耗海量的“食物”（内存、算力、带宽）。

而我们的手机、汽车芯片，就像是一个**“小口袋”**。如果你把一个超级大胃王塞进小口袋，结果只有两个：要么它因为吃不下而“罢工”（运行太慢，卡顿）；要么它因为吃得太少而“变傻”（智商下降）。

以前的做法： 工程师们像是在“盲目试错”。先做一个模型，发现太慢了，再改改参数；发现太笨了，再加点参数。这就像是在旅行时，不停地装行李、发现超重、再扔东西、再装，非常浪费时间。

2. 这篇论文做了什么？（发明了“旅行规划公式”）

这篇论文不再让工程师“瞎试”，而是发明了一套**“硬件-软件协同设计定律”**。

他们做了一件非常硬核的事：

建立“智商公式”：通过训练大量的模型，总结出模型长什么样（深度、宽度、专家数量）和它有多聪明之间的数学关系。
建立“体力公式”（Roofline Model）：通过研究芯片的极限，总结出模型长什么样和它跑得有多快之间的数学关系。

把这两个公式合在一起，就变成了一个“超级规划器”。 你只要告诉它：“我有一个 4GB 内存的手机，我希望 AI 说话的速度每秒钟要达到 20 个字。”这个规划器就能直接算出：“你应该做一个多深、多宽、有多少个‘专家’的模型，才能在不超重的前提下，让智商达到最高。”

3. 论文里的“神级发现”：打破常规

通过这套公式，研究人员发现了一些颠覆直觉的规律，我们可以用**“厨师与食材”**来打比方：

发现一：不要“深而瘦”，要“宽而浅”
- 传统观念：觉得模型层数越多（越深）越聪明。
- 新发现：在小设备上，与其做一个“层数极多、但每层都很窄”的瘦长模型，不如做一个“层数适中、但每层都很宽”的模型。这就像与其请一个“读了 100 本书但每本只看了一页”的学者，不如请一个“读了 10 本书但每本都读得很透”的专家。
发现二：MoE（专家混合）是“省钱神器”
- 类比：以前的模型像是一个“全能厨师”，无论炒什么菜都要动用全身力气。而 MoE 模型像是一个“专家团队”，炒菜时只叫“炒菜专家”出场，不需要动用“烘焙专家”。
- 结论：在小设备上，用这种“按需叫人”的专家模式，能用极小的代价换取极大的智商。
发现三：量化（精度）的“边际效应”
- 类比：把模型从“高清”压缩到“标清”（量化），虽然文件变小了，速度快了，但并不是文件减半，速度就翻倍。因为有些“核心零件”还是得用高清的，否则模型会直接变傻。

4. 总结：它有什么用？

这篇论文把原本需要**“几个月”才能完成的模型设计工作，缩短到了“几天”**。

它给未来的意义在于：
以后当你买到一个搭载了“端侧大模型”的智能机器人或自动驾驶汽车时，你不需要担心它是一个“笨拙的巨人”或“聪明的废柴”。因为在它出厂前，工程师已经用这套“数学规划法”，为它量身定制了一套**“既能装进小口袋，又能保持高智商”**的最优大脑。

这是一篇关于端侧大语言模型（On-Device LLMs）硬件-软件协同设计（Hardware-Software Co-Design）的高水平研究论文。以下是对该论文的详细技术总结：

1. 研究问题 (Problem Statement)

在自动驾驶、机器人和智能空间等物理AI（Physical AI）场景中，视觉-语言-动作模型（VLA）需要部署在资源受限的端侧设备上。这些设备对内存容量、带宽、功耗和推理延迟有着极其严格的限制。

核心挑战在于：

架构与硬件的失配： 为云端GPU优化的架构在端侧往往不可行。例如，增加模型宽度会带来二次方增长的参数量和内存I/O，导致推理受限于内存带宽。
多目标权衡： 设计者必须在模型精度（Loss/Perplexity）与推理延迟（Latency）之间寻找最优平衡点。
搜索成本极高： 传统的神经架构搜索（NAS）在LLM领域面临搜索空间巨大、无法直接量化硬件约束、以及缺乏理论指导等问题。

2. 研究方法 (Methodology)

论文提出了一种名为 PLAS (Pareto-optimal LLM Architecture Search) 的框架，通过建立“硬件协同设计定律”来解决上述问题。其核心思想是将**精度建模（Scaling Laws）与性能建模（Roofline Model）**相结合。

A. 精度建模：基于 Scaling Laws 的损失预测

研究者通过在 170 个不同的架构配置上进行大规模预训练（每个训练 10B tokens），拟合出了一个显式的验证损失（Validation Loss）预测函数。该函数将 Loss 表示为架构超参数（深度 $l$ 、宽度 $d$ 、MoE 激活率 $\rho$ 、FFN 扩展比 $r$ 等）的函数。这使得无需实际训练即可预测任何架构的精度。

B. 性能建模：基于 Roofline 的延迟预测

利用 Roofline 模型，研究者根据硬件的峰值计算能力（FLOPS）和内存带宽（Bytes/s），将算子分类为“计算密集型”或“内存密集型”。通过推导 Prefill（预填充）和 Decode（解码）阶段的 FLOPs 和内存访问量，构建了精确的端到端延迟数学模型。

C. 协同设计与帕累托优化 (Pareto Optimization)

通过将上述两个模型结合，研究者将架构搜索转化为一个双目标优化问题：在满足硬件延迟和内存预算的约束下，最小化预测损失。通过构建 Pareto 前沿（Pareto Frontier），可以为不同的应用场景（如自动驾驶需 $<100\text{ms}$ 延迟，智能家居可接受 $>500\text{ms}$ ）直接匹配最优架构。

D. 理论框架 (Theoretical Framework)

论文不仅停留在经验搜索，还通过拉格朗日乘子法推导出了不同硬件约束场景下的闭式解（Closed-form solutions），包括最优的激活率 $\rho^*$ 、深度 $l^*$ 、FFN 比例 $r^*$ 和 GQA 比例 $gqa^*$ 。

3. 核心贡献 (Key Contributions)

首个协同设计定律： 提出了首个将精度 Scaling Laws 与硬件 Roofline 模型结合的端侧 LLM 协同设计框架。
高效的搜索能力： 将架构选择的时间从数月缩短至数天。
发现关键设计模式： 通过大规模实验和理论推导，揭示了端侧 LLM 的最优架构特征。
理论指导实践： 提供了针对不同硬件约束（延迟受限、内存受限、双重受限）的参数配置指南。

4. 主要实验结果 (Key Results)

MoE 的统治地位： 在端侧 Batch-1 推理场景下，MoE（混合专家模型）架构在所有延迟区间内均占据了 Pareto 最优解。因为 MoE 能在保持低计算量（激活参数少）的同时，提供巨大的模型容量。
“宽而浅”的设计偏好： 与云端模型偏向“深而窄”不同，端侧最优架构倾向于增加宽度并保持相对较浅的深度。
FFN 扩展比优化： 发现端侧最优的 FFN 扩展比远小于传统的 $4\times$ ，甚至在某些配置下低于 $1\times$ ，通过重新分配参数权重来提升效率。
精度提升验证： 在 NVIDIA Jetson Orin 硬件上，在与 Qwen2.5-0.5B 相同的延迟下，该协同设计的架构在 WikiText-2 上的 Perplexity（困惑度）降低了 19.42%。
量化效应： INT8 量化能显著提升 Pareto 前沿，但由于非线性算子（如 Softmax）和精度转换开销，提升幅度呈亚线性增长。

5. 研究意义 (Significance)

该研究为端侧 AI 的落地提供了工程化与理论化并重的解决方案。它改变了以往“先设计模型，再看硬件跑不跑得动”的被动模式，转向了“根据硬件特性直接设计模型”的主动模式。这对于自动驾驶、移动机器人等对实时性要求极高的物理 AI 领域具有重大的工业应用价值。