🤖 machine learning

Kilobyte Models: Neural Networks as a Seed and a Quantized Latent

本文介绍了“千字节模型”（Kilobyte Models），这是一种将神经网络存储为紧凑的量化潜向量和一个可复现的整数种子，而非完整权重的压缩技术，在实现极端存储效率的同时，保持了与激进权重量化相当的准确度。

原作者： Sahil Rajesh Dhayalkar

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Sahil Rajesh Dhayalkar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图给远在世界另一端的的朋友发送一份极其庞大且复杂的机器人蓝图。这份蓝图如此巨大，以至于邮寄可能需要好几天时间，而你朋友的信箱又非常小。在人工智能的世界里，这些“蓝图”被称为神经网络，它们是驱动从照片滤镜到自动驾驶汽车等一切事物的“大脑”。通常情况下，要发送一个大脑，你必须发送构成它的每一个数字——其中包含数百万甚至数十亿个数字。对于像智能手表或手机这样存储空间有限或网络连接缓慢的设备来说，这是一个巨大的难题。

长期以来，科学家们一直试图通过缩小数字本身（降低其精度）或剔除那些看似不重要的数字来解决这个问题。但有一种不同的思考方式：与其发送整份蓝图，如果只发送一个微小的“食谱”或一段秘密代码呢？如果你的朋友拥有一套标准的工具（一个随机生成器）和这份食谱，他们就能在自己的厨房里重建出完全相同的机器人。这个想法依赖于这样一个事实：这些人工智能大脑实际上并不需要数十亿个独特的数字就能运作；它们通常隐藏在一个更小、更简单的空间里。一个大问题是：我们能否将一个巨大的 AI 大脑缩小到只有几条短信大小，却又不损失它的智慧？

这篇论文介绍了一种名为“千字节模型”（Kilobyte Models）的巧妙新方法，试图实现这一目标。作者提议，与其存储实际的权重（即让 AI 进行思考的数字），不如只存储两样极小的东西：一个随机“种子”（就像游戏中的起始数字）和一个非常短的、压缩过的“潜变量”（一组微小的指令列表）。当 AI 需要运行时，设备使用该种子来重新生成它所需的庞大随机“脚手架”，然后使用这组微小的指令列表来微调该脚手架，从而形成最终的大脑。

研究人员发现，这种方法的效果出奇地好。在实验中，他们成功将一个神经网络缩小到了仅有几千字节——大约相当于一条短短信的大小——同时仍保持了与原模型几乎相当的智能。例如，他们将一个识别手写数字的模型（MNIST）压缩到仅 2 KB，而其准确率仍高达 98.6%。更令人印象深刻的是，他们展示了这种方法在处理极端压缩时比传统方法表现得更出色。虽然标准的 AI 模型如果在尝试将其缩小到 4 位（极小的数据量）时可能会崩溃并变得毫无用处，但他们的“千字节模型”依然保持了强大且准确。

论文还探讨了将其作为预训练 AI 的“增量”（delta）或微小更新的使用场景。想象一下，你有一个对动物了如指掌的超级聪明 AI，现在你想让它专门学习关于猫的知识。你不需要发送整个新大脑，只需发送一个 4 KB 的“补丁”（即种子和微小的潜变量），告诉那个庞大的大脑如何转移注意力。这个补丁比完整模型小了数千倍，但仍能让 AI 有效地学习新任务。

然而，作者也谨慎地指出，这并不是解决所有问题的万灵药。该方法在“食谱”（潜变量）足够大以承载必要指令时效果最好；如果任务太难或食谱太小，AI 就会变得有些困惑。此外，虽然你发送的文件非常小，但计算机在运行时仍需在内存中重建完整的大脑，因此它并不会让计算机运行得更快，只是让传输变得更容易。最后，这种技巧目前适用于标准的 AI 网络，但尚未在驱动聊天机器人的大规模“大语言模型”上进行测试。

简而言之，这篇论文表明，通过用一个微小的种子和一份简短的指令列表取代存储数百万个数字，我们可以将强大的 AI 大脑装进仅有几千字节的空间里。这就像是意识到你不需要把整座图书馆都寄给朋友，你只需要寄给他们一个特定的图书编号和一些笔记，他们就能利用自己的打印机印出那本完全相同的书。

技术摘要：千字节模型 (Kilobyte Models)

问题陈述

训练后神经网络的存储与传输成本随其参数量线性增长，这为带宽受限的部署场景（如边缘设备、空中下载更新以及大规模适配器）制造了关键瓶颈。虽然标准的压缩技术（剪枝、量化、低秩分解、蒸馏）减少了权重张量的描述，但它们仍需存储原始参数集的大部分内容。作者指出，需要一种极端的压缩范式，即可部署的产物不再是权重本身，而是一个用于再生权重的紧凑“配方”。

方法论

本文引入了千字节模型 (Kilobyte Models)，该框架将神经网络表示为一个确定的整数种子和一个短的量化潜向量。这种方法建立在映射网络 (Mapping Networks) (Sen and Mukherjee 2026) 的基础之上，后者将网络权重表示为紧凑的可训练潜向量与固定随机基底的一个非线性函数。

核心机制

重参数化 (Reparameterization)： 模型不再直接优化权重 $\theta$ ，而是优化一个潜向量 $z \in \mathbb{R}^d$ （其中 $d \ll P$ ，且 $P$ 为总参数量）。权重通过一个固定的映射 $g(z)$ 生成：
$g(z) = \sigma(W_0 z + \alpha \|z\|_2^2 \mathbf{1} + b_0)$
此处， $W_0$ 是一个固定的投影矩阵， $b_0$ 是一个固定的初始化中心， $\sigma$ 是非线性函数 (tanh)。
基于种子的再生 (Seed-Based Regeneration)： 固定组件（ $W_0$ 和 $b_0$ ）并不进行存储。相反，它们通过一个可重复的、分块式的随机基底，从一个整数种子 $s$ 确定性地再生。这使得接收方能够在拥有种子的情况下重建完整的投影矩阵，而无需存储该矩阵。
产物组成 (Artifact Composition)： 可部署的产物 $A$ $A$ 由以下部分组成：
- 种子 ( $s$ )： 一个 64 位整数（8 字节），用于再生基底。
- 量化潜向量 ( $Q_b(z^*)$ )： 量化为 $b$ 位（bits）的训练后的潜向量。
- 归一化参数 ( $\theta_{norm}$ )： 一组较小的归一化仿射参数（缩放/偏移），按原样存储，因为它们位于生成映射的范围之外。
可扩展基底生成 (Scalable Basis Generation)： 为了处理投影矩阵超过设备内存的情况，作者采用了分块生成策略。矩阵通过逐行构建的方式生成，利用由主种子和块索引组合而成的伪随机生成器，从而避免了全矩阵实例化。
作为增量的微调 (Fine-Tuning as a Delta)： 该框架通过将潜向量视为压缩的适配器来扩展到微调领域。该映射生成相对于冻结预训练基底的位移（ $\theta_{ft} = \theta_{pre} + W_0 z$ ），仅需传输种子和量化的增量。

训练方案

单潜向量训练 (SLVT)： 由单个潜向量生成所有参数。
层级训练 (LWT)： 为每一层分配独立的潜向量，从而实现更精细的控制，并根据各层的难度比例分配潜预算。
量化策略： 本文评估了训练后量化 (PTQ) 和量化感知训练 (QAT)，在后者中，通过模拟舍入对潜向量进行微调，以在激进的位宽缩减下生存。

核心贡献

形式化千字节模型： 作者定义了一个其大小由潜维度 $d$ 和位宽 $b$ 而非参数量 $P$ 决定的可部署产物，形式化了存储与容量之间的权衡。
可扩展种子基底： 引入了一种分块式的、可重复的随机基底，使得在大规模网络中无需将投影矩阵驻留在内存中即可实现权重再生。
微调适配： 将参数化扩展为预训练模型的千字节级适配器，为参数高效型微调方法提供了一种超压缩的替代方案。
实证验证： 证明了千字节模型可以在占用极小存储空间的同时，达到与激进量化网络相当的准确率。

实验结果

作者在卷积神经网络 (CNN)、长短期记忆网络 (LSTM) 和多层感知机 (MLP) 上针对各种数据集（MNIST, FashionMNIST, Beijing Air Quality, HIGGS, Covertype, Oxford-IIIT Pets）进行了评估。

极端压缩： 一个 4-bit 映射模型在仅使用 2 KB 存储空间的情况下，在 MNIST 上达到了 98.6% 的准确率（相比量化基准实现了 26 倍的缩减）。
回归任务： 在一项时间序列回归任务中，一个 4-bit QAT 模型仅用 140 字节 就实现了 0.00061 的 MSE，约为全精度模型的 1/370。
微调效率： 在 Oxford-IIIT Pets 数据集上对 ResNet-50 进行微调时，一个 4-bit QAT 适配器仅需 4 KB 空间就达到了 88.4% 的准确率。相比之下，被压缩至 4-bit PTQ 的完整 ResNet-50 准确率降至 2.9%。
与 SOTA 对比： 在严格的千字节预算下（4 KB 对比 13.9 KB 的相似准确率），千字节适配器的表现优于 VeRA（一种参数高效方法）。虽然 Lo-RA 和 VeRA 在较大的存储预算（高达 0.6 MB）下能实现更高的准确率，但千字节模型在超低存储区间保持了卓越的性能。
量化影响： 研究发现，量化感知训练 (QAT) 对于在低位宽（4-bit）下保持准确率至关重要，而训练后量化 (PTQ) 则会出现显著的性能下降。

重要性与主张

本文声称，千字节模型通过将存储规模与参数量解耦，为带宽受限的部署提供了一种强大的策略。通过完全转向紧凑的潜空间并利用可重复的随机基底，作者展示了模型可以在保持高准确率的同时，以千字节级的规模进行存储和传输。

作者将这项工作定位为标准压缩技术的补充，而非替代品。标准方法缩小的是权重张量，而千字节模型则在整个优化过程中完全避免了对完整权重集的表示。该框架对于存储容量作为核心约束的场景（例如边缘设备的空中下载更新）具有重要意义，与全量微调或标准的参数高效型方法相比，它实现了 5 到 160 倍的产物尺寸缩减，尽管在复杂数据集上存在轻微的准确率权衡。

承认的局限性：

推理计算： 该方法并未压缩推理延迟或内存使用，因为权重在推理前会被重新生成为稠密的浮点值。
容量瓶颈： 准确率受限于潜维度 $d$ ，导致在处理更难的数据集时，与全量网络相比存在性能差距。
依赖性： 微调要求部署设备上必须已存在基础预训练模型。
架构范围： 目前的实现尚未扩展到 Transformer 或大语言模型 (LLM)。