💻 computer science

MixCompress: Mixture of Experts for Variable Rate Learned Image Compression

MixCompress 是一个统一的可变速率图像压缩框架，它通过集成稀疏混合专家（Mixture-of-Experts）路由、用于可扩展容量的动态深度混合（Mixture-of-Depths）扩展以及条件辅助变换，克服了特征纠缠和计算瓶颈，实现了足以媲美或超越单独优化的单速率模型的性能。

原作者： Calvin-Khang Ta, Praneet Singh, Tong Shao, Peng Yin

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Calvin-Khang Ta, Praneet Singh, Tong Shao, Peng Yin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图给朋友发送一张照片，但你的数据传输量受到严格限制。如果你想发送一张极小的、模糊的缩略图，你可以对文件进行高度压缩。如果你想发送一张晶莹剔透、高清大片的杰作，你就需要发送更多的数据。在“学习型图像压缩”（Learned Image Compression）的世界里，计算机使用智能 AI 模型来寻找在不损失过多质量的情况下缩减照片体积的最佳方法。可以将这些 AI 模型想象成超级聪明的厨师，他们知道如何精确地切碎、搅拌并包装食材（像素），以便将它们装进便当盒（文件）中。

长期以来，这些 AI 厨师面临着一个重大问题：他们需要为每一种尺寸的便当盒配备一个完全独立的厨师。如果你想要一个微小的缩略图，你需要“小巧厨师”；如果你想要一张巨大的海报，你需要“巨型厨师”。这意味着你的手机或服务器需要存储数十本不同的“食谱书”（模型），这既占空间又难以管理。科学家们曾尝试通过教导一位“超级厨师”同时应对所有尺寸来解决这个问题，方法是给这位厨师一个可以调高或调低风味的旋钮。但问题在于，试图同时为一个小碗和一场盛大的宴会烹饪完美的汤品，往往会让厨师感到困惑。那些关于“制作平滑简单”（针对小尺寸）的指令与“保持细节锐利”（针对大尺寸）的指令发生了冲突，导致最终的成品在两者方面表现都不佳。

这就是新论文 MixCompress 出场拯救局面之处。杜比实验室（Dolby Laboratories）的研究人员意识到，与其强迫一位厨师拙劣地处理所有事情，不如建立一个拥有专业专家团队的厨房，让他们在需要时随时介入。他们创建了一个系统，让 AI 不仅仅是转动旋钮，而是根据照片所需的大小，实际更换其大脑的部分。

以下是他们的神奇厨房是如何运作的：

专家团队（混合专家模型，Mixture of Experts）
想象一下一个学校的小组项目，你有一群朋友。对于一张简单的海报，你只需要两个人来绘制背景。但对于一张复杂的、细节丰富的地图，你需要整个团队，包括那个擅长处理微小细节的人。MixCompress 使用了“混合专家模型”（MoD）。它有一个处理基础任务的主脑，同时还配备了一支由专门的“专家”子网络组成的团队。当计算机需要为小文件大小压缩照片时，它只会激活那些擅长平滑处理的专家。当它需要处理巨大的、细节丰富的图像时，它会激活那些痴迷于保留每一根发丝和纹理的专家。至关重要的是，这些专家不会同时工作；系统会挑选最适合当前任务的专家。这阻止了那种“指令冲突”——即用于模糊图像的指令干扰了用于清晰图像的指令。

深化的团队（混合深度，Mixture of Depths）
有时，仅仅挑选正确的专家是不够的；对于最困难的任务，你可能需要更多的脑力。作者增加了一个名为“混合深度”（MoD）的功能。把它想象成一个梯子。对于简单的任务，数据会通过一条简短、快速的路径穿过厨房。对于最困难、细节最丰富的任务，数据会被路由到一条更长、更深的路径，经过更多的步骤和更多的处理能力。这使得系统能够恰好在需要时增长其脑力，而不会在处理简单照片时浪费能量。

动态调味（条件辅助变换，Conditional Auxiliary Transforms）
最后，团队加入了一个特殊的工具，叫做“条件辅助变换”（CAT）。想象一下，在主厨烹饪的同时，一位副厨正在不断品尝汤的味道，并根据碗的大小加入恰到好处的盐或胡椒。在计算机的情况下，这个工具会根据目标文件大小，调整图像不同部分（例如平滑的天空与粗糙的草地）的能量。它帮助系统决定保留什么和丢弃什么，更加高效，就像一个能自动调整设置的智能过滤器。

结果
研究人员在数千张图像上测试了这个新系统。他们发现，MixCompress 不仅解决了拥有过多模型的难题，而且实际上让图片变得更好了。通过使用这个专门的专家团队，该系统可以在单个模型中处理所有不同的文件尺寸，而不会出现以往方法中的“混乱”。事实上，单一的 MixCompress 模型表现得如此出色，以至于它经常击败那种为每种尺寸单独训练不同厨师的旧方法。

论文表明，通过让 AI 在不同的专业化“大脑”之间切换并调整自身的深度，我们可以获得任何尺寸下的高质量图像，而无需存储庞大的不同模型库。这是一种更聪明、更灵活的打包数字照片的方式，证明了有时，拥有一支专家团队远比试图成为一个样样通样样不精的“全才”要好得多。

技术摘要：MixCompress

问题陈述

学习型图像压缩（LIC）通过联合优化非线性变换和熵模型，实现了高性能。然而，最先进的 LIC 模型通常需要为每个率失真操作点分别训练独立的网络。这导致了显著的存储开销、增加的训练成本以及部署复杂性。

现有的可变比特率（VBR）方法试图通过将共享的稠密骨干网络对率参数进行调节（例如，通过潜变量增益缩放或仿射变换），将这些操作点统一在单个模型中。本文指出这种“稠密参数调制”策略存在一个根本性的缺陷：梯度冲突。

冲突点： 低比特率优化需要进行激进的平滑处理以降低比特率，而高比特率优化则需要保留高频纹理细节。
后果： 强迫共享的骨干网络去逼近这些迥异的映射会导致“特征纠缠”。来自低速率样本的梯度会与高保真重建所需的参数产生破坏性干扰，导致性能并非最优，无法达到单独优化的单速率模型的水平。

方法论

作者提出了 MixCompress，这是一个统一的 VBR 框架，它用**稀疏结构特化（sparse structural specialization）**取代了稠密参数调制。该架构集成了三个核心组件：

1. 稀疏结构路由（MoE 与 MoD）

MixCompress 不再调制所有参数，而是将分析变换、合成变换和超先验网络中的瓶颈层替换为**混合专家（Mixture-of-Experts, MoE）**模块。

机制： 门控网络仅以率嵌入（ $\lambda_e$ ）为条件，将输入特征路由到 $N$ 个总专家中的 $K$ 个子集专家。
共享专家： 一个全局共享专家（ $E_{global}$ ）始终处于激活状态，以确保通用特征的信息流稳定。
梯度缓解： 通过将不同速率的优化轨迹隔离到不同的专家子空间中，该框架减轻了梯度干扰。冲突速率之间的梯度内积被严格限制在活跃专家的交集内，从而使优化动力学向正交性偏移。
混合深度（Mixture-of-Depths, MoD）： 为了应对更高比特率带来的表示需求，作者引入了 MoD 扩展。在这种变体中，专家不仅在参数上实现特化，还在深度上实现特化。高比特率样本会被路由到更深、更复杂的专家网络（堆叠的 Bi-RWKV 或卷积块），从而根据目标速率动态扩展模型容量。

2. 条件辅助变换（CAT）

为了补充结构路由，作者引入了条件辅助变换（Conditional Auxiliary Transforms, CAT），这是对基于小波的快捷路径（AuxT）的扩展。

功能： CAT 对中间特征执行二维 Haar 离散小波变换（DWT），将其分解为频率子带（LL, LH, HL, HH）。
率自适应性： 与静态快捷路径不同，CAT 使用一个 FiLM（特征线性调制）头，根据率嵌入 $\lambda_e$ 生成缩放参数（ $\gamma_\lambda, \beta_\lambda$ ）。
效果： 这允许对子带能量进行动态调制。低速率阶段受益于更强的能量压缩，而高速率阶段则保留更精细的细节，且无需改变主熵模型或算术编码流水线。

3. 推理效率

一个关键的设计约束是，门控网络和 CAT 调制严格依赖于率嵌入 $\lambda_e$ ，而 $\lambda_e$ 与输入图像 $x$ 无关。

零开销： 因此，专家选择和调制参数可以在推理前预计算并缓存到查找表中。这在实际的编码/解码过程中引入了零路由开销，因为网络参数不需要针对每张图像进行重新计算。

核心贡献

统一的 VBR 框架： MixCompress 在计算高效的图像编码方面达到了新的帕累托前沿（Pareto frontier），在匹配或超越单独优化的单速率基准模型的同时，仅使用单个统一模型。
解决梯度冲突： 本文证明了稀疏结构路由（MoE/MoD）能有效解决稠密调制方法中固有的梯度干扰，这一点通过层级梯度余弦相似度分析向正交性偏移得到了证实。
动态容量扩展： MoD 扩展允许模型通过深度动态扩展表示容量（针对高比特率任务），解决了固定容量 MoE 模型的局限性。
部署效率： 该框架显著降低了存储开销。例如，单个 MixCompress-MoD 模型覆盖的率失真曲线与六个独立训练的单速率模型相同，但其总参数量仅需约 156M（每次传递激活约 120M），而对比单速率模型组成的集成模型则需要约 397M 参数。

实验结果

作者在 Kodak、CLIC（专业验证/测试集）和 Tecnick 数据集上，将 MixCompress 与最先进的单速率模型（LALIC, LIC-TCM, FAT）以及稠密 VBR 基准（QRAF, CondConv）进行了评估。

相对于单速率基准的性能： MixCompress 各变体始终能匹配或超越经过单独优化的单速率检查点。值得注意的是，MixCompress-LALIC-MoD 相对于 VTM-23.1 分别实现了 -25.73% (CLIC Valid)、-28.71% (CLIC Test) 和 -28.88% (Tecnick) 的 BD-rate 降低，大幅超越了单速率 LALIC 锚点。
相对于稠密 VBR 的性能： 稠密调制基准（QRAF, CondConv）遭受了实质性的性能下降（比单速率 LALIC 差 3.7–12.0 个百分点）。MixCompress 有效地缩小了这一差距，其 MoD 变体甚至超过了单速率对应模型。
视觉质量： 视觉对比显示，由于低速率梯度干扰导致的过度平滑，稠密方法在高比特率下无法重建高频细节（如细电缆）。MixCompress 则成功保留了这些细节。
效率： 尽管支持多种速率，MixCompress 的训练总时长与单个单速率模型相同。推理延迟仅有轻微增加，且全模型的内存使用量相对于存储多个检查点而言仍处于可控范围内。

重要性与主张

本文声称，对于可变速率学习型图像压缩而言，条件结构分配在根本上比稠密权重调制更有效。通过利用稀疏门控和动态深度自适应，将竞争速率点的优化轨迹解耦，MixCompress 解决了长期以来限制统一 VBR 模型的“特征纠缠”问题。

作者断言，这种方法为实用的神经图像压缩建立了新标准，在不按比例增加推理成本的情况下，实现了卓越的表示密度。这项工作表明，未来的 VBR 系统应优先考虑结构特化而非简单的参数调节，以充分发挥学习型压缩在不同操作点下的潜力。