⚡ electrical engineering

MoECodec: Image Compression for joint human and machine perception via Mixture-of-Experts

MoECodec是一个具有Token感知能力的图像压缩框架，它将混合专家（Mixture-of-Experts）架构与稳定路由策略以及轻量级组洗牌多层感知机（Group Shuffle MLP）相结合，根据输入内容和任务目标动态调整计算，从而在单一统一模型中实现人类感知和机器感知任务性能的全面提升。

原作者： Jiancheng Zhao, Xiang Ji, Yifan Zhan, Zunian Wan, Yinqiang Zheng

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiancheng Zhao, Xiang Ji, Yifan Zhan, Zunian Wan, Yinqiang Zheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你拥有一个巨大的照片库。传统上，当我们想要缩小这些照片以节省空间（压缩）时，我们使用一种“一刀切”的方法。我们对图像中的每一个像素都采用完全相同的方式进行处理，无论是在平滑草地、天空，还是在处理路标上的文字，都使用同样程度的细致度。

但问题在于：人类和机器看世界的方式不同。

人类关注平滑的色彩和自然的纹理。
机器（比如自动驾驶汽车或识别疾病的 AI）关注特定的形状、边缘和语义细节。它们并不在乎草地是否完美平滑，它们在乎的是“停止”标志是否清晰可辨。

这篇论文介绍了 MoECodec，这是一种全新的图像压缩方式，它不像单一、僵化的工人那样工作，而是像一个智能、动态的专家团队。

核心理念：“专家团队”（混合专家模型）

把标准的图像压缩模型想象成一位试图烹饪盛大宴会的单一厨师。他切每种蔬菜的方式都完全一样，无论是娇嫩的香草还是坚硬的土豆。这既低效，也往往达不到预期效果。

MoECodec 用一个由**四位专业厨师（专家）**组成的团队取代了那位单一的厨师，他们在同一个厨房里工作。

专家 1 可能擅长保留锐利的边缘（非常适合机器视觉）。
专家 2 可能擅长平滑色彩（非常适合人类眼睛）。
专家 3 和 专家 4 则拥有各自独特的技能。

神奇之处不仅在于拥有这个团队，更在于管理者（路由/Router）。
在旧系统中，管理者强迫每一个像素都由同一个厨师来切割。在 MoECodec 中，管理者观察图像的每一个微小部分（称为“Token”），并询问：“这个特定的部分现在需要什么？”

如果这个 Token 是汽车车牌的一部分，管理者就会把它交给“锐利边缘专家”。
如果这个 Token 是模糊天空的一部分，管理者就会把它交给“平滑色彩专家”。

这意味着计算机只使用该特定部分所需的“厨师”，从而节省了能量和时间。

解决“混乱”问题

作者意识到，如果仅仅让这些专家随机挑选自己的工作，结果看起来会像旧电视上的静电噪声（充满噪点且破碎）。一个专家可能抓取这里的像素，而另一个专家可能抓取紧挨着的像素，从而创造出一个杂乱无章的拼凑物。

为了解决这个问题，他们引入了两个聪明的规则：

“专家选择”规则（Expert-Choice Rule）： 并不是由像素去挑选专家，而是由专家来挑选像素。想象一下，“锐利边缘专家”扫描整个图像并说道：“我声明所有的边缘！” 这确保了所有的边缘都由同一个专家处理，从而创造出一个平滑、连贯的方案，而不是一个混乱的方案。
“邻域”规则（Neighborhood Rule）： 他们增加了一条规则，即：“如果你正在处理一个像素，你可能也应该处理你的邻居。” 这防止了“椒盐噪声”现象，并确保整个区域（如一棵树）由同一个专家进行处理。

“轻量化”技巧

通常情况下，拥有一个专家团队会让系统变得庞大且缓慢，因为你必须存储所有专家的脑力。作者通过 Group Shuffle MLP 解决了这个问题。

你可以把它想象成一个轮班制系统。他们并没有给每个专家一个完整的、独立的“大脑”（这很昂贵），而是给了他们一个共享的、模块化的工具箱。他们将工作分解成小组，在组之间轮换工具，让专家们高效工作，而不需要庞大的内存。这使得系统足够小，可以在真实设备上运行，同时依然强大。

他们发现了什么？

他们从两个方面测试了这个系统：

人类视觉： 当尝试让图像对人类看起来效果更好时，MoECodec 的表现实际上比以往的方法更好，它在保持图像清晰的同时节省了更多空间。
机器视觉： 当他们测试物体识别或车辆检测等任务时，机器的表现显著优于以前。因为系统能够精确知道图像中哪些部分对机器来说是重要的，因此不会在无关的细节上浪费空间。

总结

MoECodec 就像是从工厂流水线升级到了定制化工作室——在流水线上，每辆车都会涂上同样的漆；而在工作室里，每一辆车都能得到专属的处理。

它观察图像的每一个微小部分。
它决定哪个专家最适合该特定部分。
它以一种保持团队组织有序且工具轻量化的方式进行操作。

其结果是一个单一、智能的系统，可以完美地为人类眼睛和机器大脑压缩图像，而无需为每种任务分别构建一套昂贵的独立系统。

技术摘要：MoECodec

问题陈述

面向机器的图像压缩已成为支持分类、检测和分割等下游计算机视觉任务的关键研究领域。然而，现有方法面临显著局限性：

任务特定设计： 针对特定任务的端到端优化通常需要专门的编码器-解码器对或多分支架构，这导致了大量的参数开销和部署复杂度。
基于迁移的适配： 通过少量可训练参数（如适配器/adapters）适配面向人类的基础编解码器的方法，仍然是外部附加的，且依赖于任务特定的启发式方法，而非在统一模型内进行内在学习。
静态计算模式： 这两类工作在很大程度上都对所有图像标记（tokens）应用统一的变换。这未能考虑到不同图像区域对于机器感知而言具有截然不同的语义重要性和复杂度，从而导致资源分配效率低下。

方法论

作者提出了 MoECodec，这是一个将基于 token 的混合专家（MoE）机制集成到基于 Transformer 的学习型图像压缩（LIC）模型中的统一图像压缩框架。其核心创新在于将 Transformer 块中的标准前馈网络（FFN）层替换为 MoE 层，从而实现基于输入内容和任务目标的动态、token 级计算。

核心架构组件

Token 级 MoE 集成：
- MoECodec 在基于 Transformer 的 LIC 主干网络（如 TIC、TinyLIC、TCM）的编码器和解码器中均替换了 FFN 层。
- 输入 token 被自适应地路由到专门的专家网络，使模型能够在单个统一模型中支持异构的感知目标。
路由策略（专家选择 + 空间正则化）：
- 挑战： 标准的基于 Transformer 的 LIC 模型通常使用细粒度的 token 化（例如 1×1 patch）。由于缺乏空间上下文，朴素的 Token-Choice (TC) 路由会导致噪声多、破碎的专家分配（产生椒盐噪声伪影）。
- 解决方案： 作者采用了 Expert-Choice (EC) 路由，即每个专家从整个序列中主动选择其偏好的前 $k$ 个 token。这种方式反转了决策视角，使专家能够考虑全局上下文，并在无需辅助负载均衡损失的情况下确保利用率平衡。
- 空间全变分（TV）正则化： 为了进一步解决 EC 路由中的局部空间不一致问题，在训练损失中添加了空间 TV 正则化项。该项惩罚专家亲和力图中的高频变化，从而鼓励实现分段平滑且连贯的专家分配。
轻量化专家架构（Group Shuffle MLP）：
- 挑战： 将 FFN 替换为 $E$ 个独立的专家通常会引入 $E\times$ 的参数开销，这对于 FFN 占据主导参数量的压缩模型来说是难以承受的。单纯减小专家规模会降低通道聚合能力。
- 解决方案： 作者提出了 Group Shuffle MLP (GShMLP)。该架构将输入通道划分为 $G$ 个组，并在每个组内应用独立的线性投影。在两个投影层之间插入一个无参数的通道洗牌（channel shuffle）操作，以恢复跨通道交互。这种设计在保持有效通道聚合的同时，显著降低了参数复杂度。

核心贡献

统一框架： MoECodec 是第一个将 token 级 MoE 集成到基于 Transformer 的编解码器中的统一 LIC 框架，使单个模型能够共同优化重建质量和多种机器下游任务。
解决 LIC 特有挑战： 本文识别并解决了将 MoE 引入 LIC 时的两个特定挑战：
- 空间不连续性： 通过结合专家选择（Expert-Choice）路由与空间全变分（Spatial TV）正则化得到解决。
- 参数开销： 通过轻量化 Group Shuffle MLP (GShMLP) 架构得到解决。
动态计算分配： 该框架建立了一种动态计算范式，通过内在方式容纳异构的任务目标，使模型能够将计算资源集中在与任务相关的区域。

实验结果

广泛的实验证明，在重建和机器任务方面，MoECodec 较强基准模型均有持续改进。

图像重建： 应用于三种基于 Transformer 的主干网络（TIC、TinyLIC、TCM），MoECodec 在 Kodak 数据集上分别实现了 11.54%、8.12% 和 6.42% 的 BD-Rate 提升（PSNR），同时减少了总参数量。
机器下游任务： 以 TIC 为基础，MoECodec 优于 Full Finetune、TransTIC 和 AdaptICMH 等基准模型：
- 分类（ImageNet-1K）： 7.74% 的 BD-Rate 提升。
- 目标检测（COCO）： 8.98% 的 BD-Rate 提升。
- 实例分割（COCO）： 9.72% 的 BD-Rate 提升。
效率： MoECodec 将激活参数从 7.51M 减少到 6.25M，并在 RTX 4090 上实现了 142ms 的推理延迟，性能优于原始 TIC（155ms）约 8.4%。
消融实验：
- 从 Token-Choice 切换到 Expert-Choice 路由，使 BD-Rate 从 19.57% 提升至 15.90%。
- 添加空间 TV 正则化进一步将 BD-Rate 降至 15.44%。
- GShMLP 比降低 FFN 扩张比例提供了更好的效率-性能权衡。
- 在编码器和解码器中同时放置 MoE 层可获得最佳性能。

重要性与主张

本文声称 MoECodec 提供了一种端到端多任务编解码器训练的新颖方法，摆脱了静态、特定任务的定制训练范式。通过实现稀疏激活的动态计算分配，该框架允许单个模型自适应地将计算资源集中在对特定任务具有语义重要性的区域。作者断言，这种方法成功平衡了模型成本（参数和延迟）与性能之间的关系，涵盖了人类感知（重建）和机器视觉任务，证明了 token 级粒度对于多任务图像压缩中的异构计算是有效的。