🤖 AI

NanoFLUX: Distillation-Driven Compression of Large Text-to-Image Generation Models for Mobile Devices

NanoFLUX 是一个拥有 2.4B 参数的文本生成图像模型，它通过一个包含 Transformer 修剪、基于 ResNet 的 Token 下采样以及视觉信号引导的文本编码器蒸馏的渐进式压缩流水线，从 17B 的 FLUX.1-Schnell 中蒸馏而成，从而实现在移动设备上约 2.5 秒内生成高质量图像。

原作者： Ruchika Chavhan, Malcolm Chadwick, Alberto Gil Couto Pimentel Ramos, Luca Morreale, Mehdi Noroozi, Abhinav Mehrotra

发布于 2026-02-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ruchika Chavhan, Malcolm Chadwick, Alberto Gil Couto Pimentel Ramos, Luca Morreale, Mehdi Noroozi, Abhinav Mehrotra

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位顶级大厨 FLUX.1-Schnell，他能烹饪出你能想象到的最美味、最复杂且视觉效果最震撼的佳肴（图像）。这位大厨是个天才，但他也非常庞大：他的体重有 170 亿个“单位”（参数），并且需要一个巨大的、工业级的厨房（强大的云端服务器）来运作。你无法把这位大厨带回家放在你的小公寓里（手机），因为厨房太大了，电费太高，而且大厨动作太慢，没法快速出餐。

NanoFLUX 就是解决方案。它就像是创造了一位超级高效的小型学徒大厨，他能烹饪出几乎与大师一模一样的美味佳肴，而且能装进你的口袋，并在几秒钟内完成烹饪。

以下是该论文解释他们是如何打造这位“微型大厨”的，他们使用了三个妙招：

1. “清理杂物”（剪枝冗余部分）

大师级大厨拥有一个拥有 120 亿个“神经元”（扩散 Transformer）的大脑。研究人员发现，其中许多神经元只是在重复同样的工作，或者根本没做什么贡献。

类比： 想象一个拥有 1200 万本书的图书馆，但其中 1000 万本书只是同一三页内容的复印件。
解决方法： 他们使用了一个智能扫描仪来寻找并扔掉这些重复的图书。他们还发现，有些“大厨”（注意力头）在做完全相同的工作，因此解雇了多余的人。他们还将其他执行类似任务的大厨合并成了一个“超级大厨”。
结果： 他们将大脑从 120 亿个单位缩减到了仅 20 亿个，且没有丧失烹饪美味佳肴的能力。

2. “先远观，再近看”策略（Token 下采样）

当大厨观察一张图片进行重构时，他们通常会在整个过程中以全分辨率观察每一个像素（或“Token”). 这既慢又累。

类比： 想象你正在画一幅风景画。在最开始的时候，你不需要看到树上每一片叶子的细节；你只需要看到森林和山的轮廓。只有当你准备添加精细细节时，才需要放大并描绘叶子。
解决方法： NanoFLUX 使用了一个特殊的“ResNet”镜头。在创建图像的早期阶段，它会从远处观察图片（低分辨率），这非常快。只有在需要添加精细细节时，它才会切换到高分辨率的近距离观察模式。
结果： 大厨减少了盯着整张图片看的时间，更多地专注于真正重要的部分，从而使过程变得更快。

3. “聪明的小助手”（文本编码器蒸馏）

大师级大厨还拥有一部巨大的百科全书（一个 50 亿单元的文本编码器）来理解你的指令。如果你说“一只戴着帽子的猫”，百科全书需要准确理解这意味着什么。

类比： 大师大厨拥有一本 50 亿页的字典。而学徒只需要一本 3.3 亿页的字典。
解决方法： 他们并没有仅仅给学徒一本更小的字典，而是教会了学徒如何“阅读”大师的笔记。他们向学徒展示了大师在阅读指令时所看到的视觉线索。通过这种方式，即使字典变小了，学徒也能像理解巨型字典一样，很好地理解词语的“意境”和含义，而不需要那么多额外的页面。
结果： 模型中负责理解文本的部分从 50 亿个单位缩减到了 3.3 亿个，但它依然能完美理解你的提示词。

最终成果

通过结合这三个妙招，研究人员创造了 NanoFLUX。

规模： 它从一个庞大的 170 亿 参数模型变成了一个微小的 24 亿 参数模型（缩小了约 7 倍）。
速度： 在手机上，它可以在大约 2.5 秒 内生成一张高质量图像（512x512 像素）。
质量： 论文声称，其生成的图像与由那个昂贵的云端巨型版本制作的图像几乎一模一样。

简而言之，他们不仅仅是让模型变小了，而是让它在“工作方式”上变得更聪明了，这证明了你不再需要超级计算机也能生成美丽的 AI 艺术。

技术摘要：NanoFLUX

问题陈述

大规模文本生成图像（T2I）扩散模型，例如 FLUX 系列（规模高达 17B 参数）和 Qwen-Image（20B 参数），已经实现了顶尖的视觉质量。然而，其庞大的规模为设备端部署制造了显著障碍，需要昂贵的 GPU 基础设施或基于云端的推理。现有的设备端解决方案通常依赖于较小的模型，这些模型缺乏同等的质量，或者采用的压缩技术（剪枝、量化、步数缩减）未能完全解决大规模扩散 Transformer（DiT）及其相关文本编码器的架构冗余问题。挑战在于如何在保持生成质量的同时，将这些巨型模型压缩至适用于移动设备的大小，并最小化推理延迟。

方法论：NanoFLUX

作者引入了 NanoFLUX，这是一个由 17B FLUX.1-Schnell 教师模型蒸馏而来的 2.4B 参数 T2I 模型。这种压缩是通过一个针对两个最重组件——12B 扩散 Transformer (DiT) 和 5B T5-XXL 文本编码器——的渐进式、蒸馏驱动流水线实现的。

1. Transformer 压缩 (12B $\to$ 2B)

作者采用了一个四阶段渐进式压缩策略来减小 DiT 的规模：

阶段 C1：注意力头剪枝 (12B $\to$ 5B)：
- 分析： 对注意力头输出进行奇异值分解（SVD）显示，并非所有的头都是独立的；许多头包含冗余信息。
- 操作： 注意力头数量 ( $H$ ) 从 24 个统一减少到 16 个。
- 蒸馏： 引入了特征级损失，以确保剩余的头能够共同保留被剪枝掉的头的信息。学生模型使用教师模型的前 16 个头进行初始化。
阶段 C2：头维度缩减 (5B $\to$ 3B)：
- 分析： 再次对 5B 模型的特征应用 SVD。
- 操作： 头维度 ( $d_H$ ) 从 128 减少到 96，保留了前排的奇异分量。这产生了一个 3B 参数的模型。
阶段 C3：通过块合并进行的深度剪枝 (3B $\to$ 2.5B)：
- 分析： 计算了 Transformer 块的输入-输出余弦相似度。单流（Single-Stream, SS）块表现出高度相似性（>0.85），表明存在功能冗余。
- 操作： 作者没有删除这些块，而是通过平均它们的参数，将 15 个冗余的 SS 块合并为一个块。这使 Transformer 的深度从 38 个块减少到 24 个块。
阶段 C4：静态层归一化 (2.5B $\to$ 1.8B)：
- 分析： 模型预测的自适应层归一化（AdaLN）系数在不同样本间表现出低方差，表明来自 CLIP 投影的动态调节具有冗余性。
- 操作： 使用预计算的平均值替换动态 AdaLN 系数（Static-LN）。这移除了约 0.7B 参数。模型经过短暂的微调，在冻结系数的情况下恢复质量。

2. 渐进式 Token 下采样

为了在不牺牲细节的情况下解决自注意力的二次方复杂度问题：

机制： 在 Transformer 中插入了一个基于 ResNet 的下采样模块 ( $D$ ) 和上采样模块 ( $U$ )。
混合策略： 模型运行在混合分辨率方案上。早期扩散步数（捕捉全局结构）处理下采样的 token（减少 4 倍 token 数量），而后期步数（细化细节）则处理全分辨率的 token。
训练： 使用了“渐进式 Token 下采样”（PTD）策略来稳定训练。模块被增量式地插入并训练，随着迭代过程，下采样点在网络中逐渐提前。
结果： 43 个 Transformer 块中有 23 个在下采样的 token 上运行，这显著降低了延迟，同时在必要时保持了高分辨率处理能力。

3. 文本编码器蒸馏 (5B $\to$ 330M)

目标： 将 5B T5-XXL 编码器蒸馏为 330M 的 T5-Large 模型。
方法： 一个两阶段蒸馏过程：
1. 嵌入匹配： 在学生模型中添加一个 MLP 以匹配教师模型的输出维度，从而最小化提示词嵌入之间的 MSE。
2. 逐块蒸馏： 学生模型被训练以匹配教师模型在特定 Transformer 层中的提示词隐藏状态。关键在于，该方法利用来自去噪器早期层的视觉信号（通过联合注意力）来引导文本编码器，从而减轻误差累积。
3. 稳定性： 在高噪声时间步长（ $t < \hat{t}$ ）时分离梯度，以避免不稳定的监督，将蒸馏重点放在后期时间步长和前三个 Transformer 层上。

关键结果

模型大小： 最终的 NanoFLUX 模型为 2.4B 参数（2B DiT + 330M 文本编码器），相比 17B FLUX.1-Schnell 教师模型实现了 7 倍缩减。
性能：
- 在移动设备上，NanoFLUX 生成 512 $\times$ 512 图像的时间约为 2.5 秒。
- 定量基准测试（One-IG, DPG, GenEval, HPDv3）显示，NanoFLUX 保持了与教师模型相当的性能，仅在特定指标（如 HPSv3 从 11.45 降至 10.41）上有轻微下降。
- 定性结果表明，该模型保持了与原始 17B 模型相当的图像质量和提示词遵循能力。
效率： 渐进式 Token 下采样策略成功平衡了推理延迟和生成质量，使模型能够在资源受限的硬件上高效运行。

重要性与主张

论文声称 NanoFLUX 是第一个全面研究用于 T2I 生成的大规模模型压缩的框架，特别针对像 FLUX 这样的模型。其重要性在于：

设备端生成的可能性： 证明了无需依赖云端基础设施，在移动设备上实现高质量 T2I 生成是可行的。
架构洞察： 通过识别并利用特定的架构冗余（注意力头、块深度、归一化动态），而非仅仅依赖通用的量化或步数缩减，为缩减大型生成模型提供了一条切实可行的路径。
泛用性： 提供了一种渐进式蒸馏流水线，该方法可能适用于未来的大规模生成模型。

作者将这项工作定位为：向着为计算资源有限的用户拓宽高质量生成式 AI 可及性迈出的重要一步。