🤖 machine learning

Efficient, VRAM-Constrained xLM Inference on Clients

本文介绍了流水线分片，这是一种新颖的 CPU-GPU 混合调度技术，可显著提升客户端系统上大型语言模型和视觉语言模型的推理速度并降低显存需求，与激进基线相比，吞吐量提升高达 30 倍，显存占用减少 10 倍。

原作者： Aditya Ukarande, Deep Shekhar, Marc Blackstein, Ram Rangan

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Aditya Ukarande, Deep Shekhar, Marc Blackstein, Ram Rangan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对这篇论文的解读。

核心难题：“小行李箱”困境

想象你有一座庞大且极其聪明的图书馆（大型语言模型或 AI），你想把它装进背包随身携带。问题是，你的背包（计算机的显存或视频内存）非常小。

如果你试图把整座图书馆塞进背包，根本装不下。如果你把图书馆留在家里，只带几页纸出门，AI 就会变得缓慢或愚蠢，因为它必须来回跑回家获取更多信息。

目前的解决方案往往迫使你丢弃图书馆的一部分（导致 AI 准确性下降），或者要求你拥有一个大多数人都不拥有的巨大且昂贵的背包。

解决方案：“流水线分片”（智能搬运队）

作者们（供职于 NVIDIA）创建了一个名为Pipelined Sharding（流水线分片）的新系统。你可以把它想象成一个组织严密、超级聪明的搬运队，他们知道如何在你家（CPU或主内存）和背包（GPU或显存）之间打包和搬运图书馆，而无需你亲自动手。

其工作原理分为三个简单步骤：

1. “试驾”（性能分析）

在搬运队开始工作之前，他们会针对你的特定计算机进行一次快速的“试驾”。他们会检查：

你的 CPU 有多快？
你家和背包之间的“走廊”（PCIe连接）有多宽？
你的背包里实际有多少空间？

他们不是靠猜测，而是靠测量。这会生成一份关于你计算机独特优势和劣势的“档案”。

2. “三套方案”策略（规划）

基于“试驾”结果，系统会为每种可能的情况准备三种不同的搬运策略：

方案 A（短跑选手）： 如果你有一个巨大的背包和一条快速的走廊，搬运队会把所有东西都放进背包，然后全速奔跑。
方案 B（接力赛）： 如果背包很小，但你有很多强壮的帮手（CPU 线程），搬运队就会拆分工作。有些书留在家里由帮手阅读，另一些则在背包里。他们高效地来回传递书籍。
方案 C（重叠执行）： 如果走廊很宽，搬运队会在当前批次书籍被阅读的同时，开始搬运下一批书籍。这掩盖了搬运所需的时间。

系统不会永远只选一种方案。它会观察你当前在做什么。你是在阅读短句（交互模式）还是整章内容（批量模式）？它会为那个确切时刻选择最佳方案。

3. “子层”打包（分片）

搬运队不是整章整章地搬运，而是将图书馆分解成微小的部分（子层）。

VIP 区域： 最重要的部分（如帮助 AI 聚焦重点的“注意力”机制）始终保留在背包中，因为它们被持续需要。
存储区域： 不太关键的部分留在家里，只有在绝对必要时才带出来。

这种“子层”方法使得系统能够将巨大的模型装入那些以前根本无法容纳它们的微小背包中。

视觉升级："VLMOpt"（相机镜头）

该论文还解决了视觉语言模型（VLMs）的问题，即能够“看”懂图片的 AI。

问题： 高分辨率照片就像巨大且沉重的画作。试图将 4K 图像加载到小背包中会导致系统崩溃。
修复： 他们添加了一个名为VLMOpt的特殊技巧。
1. 卸载： 他们将沉重的“绘画工具”（权重）留在家里，只带走当前时刻所需的特定笔触。
2. Flash Attention： 他们采用了一种查看图片的新方法，不需要一次性记住每一个像素，从而节省了巨大的空间。
3. 无重叠： 他们确保 AI 的“绘画”部分和“阅读”部分不会同时试图挤进背包。它们轮流进行，这样背包永远不会太满。

结果：实际发生了什么？

该论文在从笔记本电脑到高端台式机的真实计算机上，使用各种 AI 模型进行了测试。以下是他们发现的严格基于其声明的结果：

速度： 对于交互用途（如与 AI 聊天），该系统使 AI 开始说话的速度快了6.7 倍，生成单词的速度比之前的方法快了30 倍。
容纳无法容纳之物： 他们能够在仅有2GB显存的计算机上运行一个巨大的 77GB AI 模型。这就像把一座 77 层的大楼塞进鞋盒里。
批处理： 当同时处理多个请求（批量模式）时，系统速度提高了8.2 倍。
游戏： 当在运行视频游戏（如《赛博朋克 2077》）的同时运行 AI 时，系统找到了一个“甜蜜点”，游戏和 AI 都能流畅运行而互不干扰。
视觉： 对于查看图像的"Cosmos-Reason1"AI，他们将所需内存减少了10 倍，使得以前无法处理高分辨率图像分析的设备也能胜任。

总结

这篇论文介绍了一种“智能调度器”，它充当计算机资源的总指挥。它不会降低 AI 的准确性（它是“无损”的）；相反，它会找出在主内存和显存之间交换数据的最有效方式。

通过这样做，它允许开发者在普通的笔记本电脑和游戏电脑上运行巨大且聪明的 AI，即使这些计算机的显存非常有限。它通过不断适应计算机的当前状况，将“太大装不下”的问题变成了“刚刚好”的解决方案。

以下是论文《高效、显存受限的客户端 xLM 推理》的详细技术总结。

1. 问题陈述

本文解决了在显存（VRAM）有限的客户端系统（台式机和笔记本电脑）上运行高精度、大规模 AI 模型（统称为xLM，包括密集型大语言模型、混合专家（MoE）大语言模型以及视觉 - 语言模型（VLM））的关键挑战。

约束条件： 客户端 GPU 的显存通常远少于现代高精度模型所需的总内存（例如，在 16GB 显存的 GPU 上运行 77GB 的模型）。
现有方案的局限性：
- 量化/剪枝： 这些技术虽然能减小模型规模，但会牺牲精度，这对于高保真应用是不可接受的。
- 静态卸载： 现有的混合调度方案（如 llama.cpp 中的方案）通常依赖手动配置（例如指定 GPU 层数），无法动态适应变化的系统条件（CPU 线程数、PCIe 带宽）或推理阶段（预填充 vs. 解码）。
- 缺乏通用性： 没有任何单一现有产品能在严格的显存预算下，同时高效处理交互模式、批量处理、高分辨率 VLM 以及密集型/MoE 架构。

2. 方法论

作者提出了一种新颖的、基于基准测试分析的混合调度技术，称为流水线分片（Pipelined Sharding），并结合了一套针对视觉的优化方案，称为VLMOpt。

A. 流水线分片（核心创新）

这是一种完全自动化的调度技术，它在子层级别（例如，拆分 Attention 和 FFN 块）而非仅在层级别中断推理图。它分为三个阶段运行：

安装阶段（性能分析）：
- 基准测试套件在特定的客户端硬件上运行，以分析不同张量大小、量化级别和 CPU 线程数下的内核性能（FLOPS）。
- 关键的是，它在并发负载下进行分析（模拟 PCIe 流量和内存控制器争用），以生成混合 CPU-GPU 执行的准确时间估算。
- 这创建了一个小型的性能分析数据库（约 170KB），用于成本估算。
规划阶段（调度生成）：
- 系统定义了一组**“令牌层级”（Token Tiers）**（例如，每次迭代 1、4、16、64 个令牌），代表不同的推理负载。
- 对于每个层级，系统根据当前的显存预算和系统条件生成三种不同的调度计划：
  - 仅 GPU： 所有未固定的子层在 GPU 上运行；权重通过 PCIe 流式传输。适用于高计算负载（大批次/大上下文），此时 PCIe 延迟被计算时间掩盖。
  - 静态： 高优先级子层（Attention、KV 缓存）固定在显存中；低优先级子层（FFN）在 CPU 上运行。最小化 PCIe 流量，但依赖 CPU 计算。
  - 动态： 一种混合方法，GPU 子层的权重从系统内存（sysRAM）流式传输，同时 CPU 执行先前的子层。这将 PCIe 传输与计算重叠。
- 基于Roofline 模型的时间估算器利用性能分析数据库预测每个计划的延迟，并为特定的令牌层级选择最优计划。
推理阶段（执行）：
- 在推理过程中，系统确定当前批次的“新令牌”数量。
- 它查找该令牌层级对应的预计算最优调度并执行。
- 这使得系统能够在交互模式（批次大小=1，令牌数少）和批量模式（批次大小>1，令牌数多）之间无缝切换。

B. VLMOpt（视觉 - 语言优化）

为了支持高分辨率 VLM（特别是 Cosmos-Reason1 模型），作者在 llama.cpp 中实现了三项优化：

视觉张量 CPU 卸载： 视觉模型权重固定在 CPU 内存中，仅在需要时流式传输到 GPU，从而减少显存占用。
视觉 Flash Attention： 在视觉编码器中实现 Flash Attention，以降低高分辨率图像注意力分数的 $O(N^2)$ 内存复杂度。
显存重叠避免： 重构执行流程，确保视觉编码完成并释放显存后，语言解码才开始，从而确保峰值显存使用量是两部分中的最大值，而非它们的总和。

3. 主要贡献

流水线分片算法： 一种新颖的、自动化的混合调度器，能够适应系统条件（CPU 线程、PCIe 带宽）和推理状态（上下文 vs. 解码），无需手动调整。
VLMOpt 实现： 一套优化方案，使得在客户端硬件上运行高分辨率 VLM 成为可能，并大幅降低了显存需求。
开源 C++ 实现： 该方案在 llama.cpp（一个以 C++ 为主的框架）中实现，使其对游戏开发者和物理 AI 工程师具有可访问性。
全面评估： 在多样化的客户端硬件（从笔记本电脑到高端台式机）上，针对密集型大语言模型、MoE 大语言模型和 VLM 进行了严格测试。

4. 结果

评估表明，与激进的基线（手动调优的 llama.cpp 和 vLLM）相比，性能显著提升：

交互模式（批次大小 = 1）：
- TTFT（首令牌时间）： 最高提升 6.7 倍。
- TPS（每秒令牌数）： 最高提升 30 倍（例如，对于 77GB 的 Qwen235B 模型）。
- 可行性： 使得超大规模模型（例如 77GB）能够在显存低至 2GB 的 GPU 上交互式运行（实现 >5 TPS，即人类阅读速度的阈值）。
批量模式（批次大小 > 1）：
- 与基线相比，吞吐量最高提升 8.2 倍。
- 随着批次大小增加，调度器有效地将工作负载转移到 GPU，避免了 CPU 瓶颈。
VLM 性能（Cosmos-Reason1）：
- 显存减少： 显存需求降低了 10 倍（从约 20GB 降至约 2GB），使得在以前无法实现的客户端系统上进行高分辨率（1440p）推理成为可能。
- 延迟： 在同等显存预算下，端到端延迟（E2EL）相比基线最高加速 1.78 倍。
协同执行： 在同时运行游戏（《赛博朋克 2077》）和大语言模型的场景中，该方案允许游戏在显存中保留更多资源，通过避免资源争用，同时提高了游戏帧率（FPS）和大语言模型的 TPS。

5. 意义

这项工作弥合了现代 AI 对高精度的需求与消费级客户端设备硬件限制之间的差距。

无损推理： 它证明了高精度模型可以在客户端硬件上运行，而无需通过量化或剪枝牺牲模型保真度。
民主化： 通过在标准笔记本电脑和台式机上启用高分辨率 VLM 和大型 MoE 模型，它赋予开发者构建高级“物理 AI"和游戏内 AI 助手的能力，而无需依赖昂贵的云基础设施。
适应性： 基于令牌层级和性能分析驱动的方法为未来的硬件演进提供了稳健的框架，确保推理性能随可用资源（CPU 线程、PCIe 带宽）扩展，而不是静态绑定到固定配置。

总之，该论文提出了一种生产就绪的、自动化的解决方案，使下一代客户端侧 AI 变得可行、高效且无损。