🤖 machine learning

SelectInfer: Selective Neuron Loading and Computation for On-Device LLMs

SelectInfer 是一个神经元层级的优化框架，它通过使用离线分析器来识别并选择性地加载和计算最重要的神经元，从而实现高效的设备端大语言模型推理，在不损害任务性能的情况下显著降低内存和计算成本。

原作者： Huzaifa Shaaban Kabakibo, Eric Schniedermeyer, Artem Burchanow, Lin Wang

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Huzaifa Shaaban Kabakibo, Eric Schniedermeyer, Artem Burchanow, Lin Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的知识图书馆，它博大精深，几乎包含了你能问到的任何问题的答案。这就是科学家们所说的“大语言模型”（LLM）。你可以把它想象成一个超级聪明的机器人大脑，它读过了互联网上几乎所有的书。但问题在于：这个大脑如此庞大且沉重，通常需要一个拥有强大超级计算机的大型、昂贵的数据库中心才能运行。这就像是试图把一整个图书馆装进你的背包里；它根本装不下。

最近，人们希望将这个“图书馆”放入更小的设备中，比如你口袋里的智能设备或自动驾驶汽车中的计算机。这些被称为“边缘设备”。问题是，这些小工具的空间和电池电量都非常有限。如果你试图把整个图书馆强行塞进去，设备就会崩溃，或者运行得极其缓慢，变得毫无用处。科学家们曾尝试通过“挤压书籍”（让它们变小但难以阅读）或“扔掉整个书架”（这会让机器人遗忘事物）来缩小图书馆。但这些旧方法往往会破坏机器人的思考能力。大问题在于：我们能否在不损失天才智慧的前提下，让这个巨大的大脑装进一个小背包？

于是，来自帕德博恩大学（Paderborn University）的研究人员提出了一个名为 SelectInfer 的新颖想法，它为解决这个谜题提供了一个聪明的方案。SelectInfer 并没有尝试缩小整个图书馆或随机扔掉书籍，而是像一位非常聪明的图书管理员，精准地知道你“此时此刻”需要哪些书。

以下是它的工作原理，我用一个简单的故事来解释。想象你的机器人大脑是一个拥有数千名工人（称为“神经元”）的巨大工厂。在普通的工厂里，每一位工人每天都会准时到岗，即使他们无事可做。这既浪费空间又浪费能源。研究人员发现，这些工人实际上可以分为两组：一些是“全才”（Generalists），无论什么工作都会出现——就像那些负责维持照明和咖啡机运转的人；另一些是“专家”（Specialists），他们只在特定任务出现——比如修理水管的团队或粉刷墙壁的团队。

论文表明，对于任何给定的任务，你并不需要所有的专家，也绝对不需要那些今天没活干的人。SelectInfer 使用了一个两步走的“魔术技巧”，让这个工厂能在微型设备上高效运转：

选择性加载（背包技巧）： 在机器人开始工作之前，研究人员使用一个“离线分析器”（一种侦察兵）来确定哪些“全才”和“专家”是最重要的。然后，当机器人准备就绪时，它只将这些特定的工人和书籍装进它的背包（内存）里。它把剩下的留在了后面。这就像是在去露营时只带上你需要的工具，而不是带上整个五金店。这使得机器人能够适配那些此前容量过小的设备。例如，在一个只有 8 GB 内存（如 NVIDIA Jetson Orin Nano）的设备上，原本需要 9 GB 空间的模型现在可以挤进去了，因为它只携带了 70% 的核心员工。
选择性计算（按需技巧）： 即使背着更轻的背包，机器人仍然需要要求每一位工人去做他们的工作，这需要时间。SelectInfer 增加了第二条规则：一旦机器人开始工作，它只要求与当前时刻“最相关”的工人进行数学运算。如果机器人在写诗，它不需要水管工团队来计算韵律。它只会唤醒诗人。这让机器人的思考速度大幅提升。

研究人员在三个不同的机器人大脑（Llama3.2-3B, Llama3.2-1B, 和 Qwen2.5-3B）上对这种微型芯片进行了测试。他们发现，通过使用这种方法，他们可以让这些庞大的模型在以前无法使用的设备上运行。对于 30 亿参数的模型，SelectInfer 的运行速度比目前主流的“挤压数据”（4-bit 量化）方法快了约 1.53 倍，比直接从缓慢的磁盘中提取数据的速度快了 13 倍以上。

至关重要的是，论文指出这种方法并不会让机器人变得“更笨”。事实上，在翻译和摘要等许多任务中，SelectInfer 甚至比其他试图节省空间的方法表现得更准确。研究人员发现，虽然其他方法要么节省了内存但运行缓慢，要么运行飞快但会遗忘事物，而 SelectInfer 成功平衡了这三者：它既节省了内存，又加快了思考速度，还保持了答案的准确性。

论文明确排除了“必须丢弃整个模型或从头开始重新训练”的观点。它还证明了仅仅随机挑选工人留下（随机加载）会导致机器人彻底失效，这证明了你需要一张“智能地图”来了解该保留谁。虽然该方法需要一个一次性的“侦察”阶段来确定哪些工人是重要的，但结果表明，这是将超智能 AI 带入我们口袋里的微型设备中，而无需依赖云端的超级计算机的一种切实可行且强大的方式。

技术摘要：SelectInfer

问题陈述

由于高内存和高计算需求，大型语言模型（LLMs）在部署到资源受限的边缘设备（如 NVIDIA Jetson Orin Nano）时面临显著障碍。现有的优化策略无法同时解决边缘部署的三个关键维度：内存占用、推理速度和输出精度。

量化（Quantization） 减少了内存，但往往会降低解码吞回吐率，且仅提供粗粒度的控制（例如 4-bit 与 8-bit 之间的选择）。
剪枝（Pruning） 需要高昂的重训成本，并且会永久移除权重，缺乏运行时适应性。
卸载（Offloading）（例如卸载至磁盘）受限于 I/O 带宽，并且通常与边缘 SoC 中发现的统一内存架构不兼容。
运行时稀疏性方法（Runtime Sparsity methods）（例如 CoreInfer）通过跳过不活跃的神经元来提高速度，但要求完整的模型必须驻留在内存中，这阻碍了在内存受限硬件上部署更大模型的可能性。

方法论

SelectInfer 是一个神经元级优化框架，通过由离线分析阶段引导的选择性加载（selective loading）和选择性计算（selective computation）来实现高效的 LLM 推理。其核心洞察在于，LLM 神经元具有双重结构：由在各类任务中普遍激活的模型特定型（通用型）神经元构成的稳定核心，以及驱动特定输入性能的任务特定型神经元。

1. 离线阶段：LLM 分析器（LLM Profiler）

在部署之前，SelectInfer 利用离线分析器在多样化的数据集（如问答、翻译、摘要）上分析神经元激活情况。

评分（Scoring）： 对于每个神经元 $n$ ，根据在一组 Token $T$ 上的绝对激活值之和计算得分 $s_n$ ： $s_n = \sum_{t \in T} |a_n(t)|$ 。
分类（Classification）： 将神经元分为两组：
- 基础神经元（Base Neurons）： 通过合并特定任务内提示词（prompts）的得分来识别的任务特定型神经元。
- 次级神经元（Secondary Neurons）： 通过跨不同任务合并得分来识别的模型特定型神经元。
输出： 分析器生成排名后的神经元文件，识别对特定任务和通用模型行为最重要的神经元。

2. 在线阶段：优化

在边缘设备运行期间，SelectInfer 应用两种机制：

选择性加载（内存优化）：
与其加载整个模型，SelectInfer 仅将一部分神经元加载到内存中。它优先加载基础神经元（任务特定型），并在定义的加载阈值 $\gamma$ 范围内，使用次级神经元（模型特定型）填补剩余的内存预算。这使得原本会超过设备内存限制的模型（例如在 8GB 设备上运行 3B 模型）能够通过完全丢弃无关权重来运行。
选择性计算（速度优化）：
即使内存占用减少了，计算所有加载的神经元也可能很慢。SelectInfer 进一步将计算限制在已加载神经元的子集（ $\epsilon < \gamma$ ）中。
- 静态神经元（Static Neurons）： 对应于基础神经元；无论输入如何，它们始终被计算。
- 动态神经元（Dynamic Neurons）： 在预填充（prefill）阶段于运行时进行选择。系统计算所有加载神经元的激活值，对其进行排序，并为每个 Token 选择前 $\alpha$ 个神经元。随后，系统聚合这些结果以找到针对该 Prompt 最频繁出现的前 $\beta$ 个神经元。
- 总计算比例 $\phi = \delta + \epsilon$ 是用户可配置的，允许在速度和精度之间进行权衡。

核心贡献

离线分析器： 一种识别和对模型特定型及任务特定型神经元进行排名的机制，建立了 LLM 激活的“双重结构”。
选择性加载： 一种仅加载相关神经元的部署策略，实现了在可用内存小于模型大小的情况下执行更大规模的模型。
选择性计算： 一种运行时机制，动态计算最相关的神经元（静态 + 动态），在不显著损失精度的情况下加速推理。
可调框架： 该系统将内存、速度和精度视为独立的可调参数，提供了比量化或剪枝更细粒度的控制。

评估结果

该框架在 NVIDIA Jetson Orin Nano（8 GB 共享内存）上使用 Llama3.2-1B、Llama3.2-3B 和 Qwen2.5-3B 模型，针对问答、翻译和摘要任务进行了评估。

可行性： SelectInfer 通过仅加载 70% 的神经元，使 3B 规模的模型（原生需要 ~8.5–9.5 GB）能够在 8 GB 的 Jetson 设备上运行。
内存占用： 与原始模型相比，SelectInfer 使 Llama3.2-3B 的内存使用量减少了约 13.2%（从 6.88 GB 降至 5.97 GB），且与 CoreInfer（需要完整模型加载）相比减少更为显著。虽然 4-bit 量化实现了更低的绝对内存使用量，但 SelectInfer 对加载权重保持了更高的精度。
精度： SelectInfer 保持了极具竞争力的精度。在翻译任务（WMT16）中，SelectInfer 使 Llama3.2-3B 达到了 ~~25–26 BLEU，显著优于 CoreInfer（~~4–5 BLEU）以及采用随机加载的 CoreInfer。它在翻译和摘要任务上通常优于或匹配 4-bit 量化。
速度： SelectInfer 在 Llama3.2-3B 上实现了 ~9.85 tokens/s 的解码吞吐量。这代表了相对于 4-bit 量化的 1.53 倍提升，以及相对于磁盘卸载（disk-offloading）方法的 13 倍提升。
对比： SelectInfer 在精度（得益于离线分析）和内存效率（得益于选择性加载）方面均优于 CoreInfer。它在翻译任务上提供了比量化更好的速度和精度，同时避免了低精度算子的硬件限制。

意义与主张

论文声称 SelectInfer 是向在边缘设备上部署 LLM 迈出的务实一步，解决了内存、速度和精度之间的“三难困境”。不同于仅优化一两个维度的先前工作，SelectInfer 提供了一个平衡且可调的运行点，涵盖了这三个维度。

作者强调，他们的方法：

无需重训，这使其区别于剪枝和蒸馏。
与统一内存架构兼容，这使其区别于卸载方法。
提供细粒度控制，允许用户调整加载和计算神经元的百分比，以匹配特定的设备约束和应用需求。
泛化于不同模型家族，在 Llama 和 Qwen 架构上均展示了有效性。

这项工作将 SelectInfer 定位为超越粗粒度压缩的必要演进，使得在以往被认为无法胜任此类任务的硬件上执行更强大、更具能力的模型成为可能。