⚡ electrical engineering

Progressive Learned Image Compression for Machine Perception

本文介绍了 PICM-Net，一种用于机器感知的渐进式学习图像压缩框架，该框架利用三平面编码、专门的适配器以及自适应解码控制器，在保持强大的下游分类性能的同时，实现了高效且细粒度的可扩展性。

原作者： Jungwoo Kim, Jun-Hyuk Kim, Jong-Seok Lee

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Jungwoo Kim, Jun-Hyuk Kim, Jong-Seok Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

机器之眼

想象一下，你正在给朋友发送一张照片。为了让他们能清晰地看到整张图片，你会发送高分辨率文件，即使下载需要很长时间。这就是当今大多数图像压缩的工作方式：它是为人类眼睛设计的，试图让每一个像素看起来都尽可能完美。但如果这张照片不是发给人的呢？如果它是发给机器人、自动驾驶汽车或监控摄像头，而它们只需要知道：“那是狗还是猫？”

对于机器来说，看到每一个微小的细节并不总是必要的。机器人可能只需要看到狗的轮廓就能做出决策，而不需要看到它毛发的纹理。这就是“机器感知”的世界。最近，科学家们开始构建专门针对机器（而非人类）优化的图像编解码器（即把图像压缩成小文件的软件）。这些编解码器丢弃了那些“漂亮”的细节，保留了“重要”的细节，从而节省了大量数据。但问题在于：大多数这类机器编解码器都是“全有或全无”的。你要么发送整个文件，要么什么都不发。

这引出了一个聪明的想法，叫做“渐进式压缩”。把它想象成一位素描画家。首先，他画出一个粗略的轮廓（极少的数据）。然后，他添加一些阴影（稍多一点的数据）。最后，他添加精细的细节（大量的数据）。这让你可以在识别出主题时立即停止绘画。直到现在，还没有人找到如何将这种“从草图到完成”的风格与面向机器的压缩结合起来。这就是这篇论文要解决的核心问题：我们能否构建一个系统，只向机器发送足够做出决策的信息，并在机器足够自信的那一刻停止发送数据？

PICM-Net 的故事

论文作者说：“是的，我们可以！”并构建了一个名为 PICM-Net 的新系统来实现这一目标。它是同类系统中首个专门设计用于让机器以渐进、逐步方式接收图像的系统。

以下是他们“魔术表演”的三个简单步骤：

1. “三层平面”谜题 (The "Trit-Plane" Puzzle)
想象你有一个巨大的拼图，但你不是一个接一个地拼凑碎片，而是按重要程度对它们进行分类。PICM-ന്റ് 将图像数据分解为称为“三层平面”（trit-planes）的层级。把它们想象成蛋糕的层次。底层是最重要的——它包含了图像的基本形状和“大意”。顶层只是些华丽的糖粒和额外的细节。系统先发送底层。如果机器已经能分辨出图像是什么，那就太好了！如果不能，它就会请求下一层，以此类推。这被称为“细粒度可扩展性”，这只是一个高级说法，意思就是“你可以随时停止”。

2. 教会机器如何聚焦
棘手之处在于，原始的拼图碎片是为人类设计的，人类关心漂亮的颜色和光滑的边缘。然而，机器关心的是有助于识别物体的特定形状和模式。作者采用了一个面向人类的系统，并利用两个特殊工具为其进行了“大脑移植”：

SFMA 适配器： 这就像是机器的荧光笔。它扫描图像并告诉系统：“嘿，忽略无聊的背景天空，但放大关注狗的耳朵！”它将焦点从“看起来好看”转向“看起来有用”。
HSLoRA 适配器： 这是系统的内部会计师。它确保当系统决定发送什么内容时，能够正确计算数据，以免机器被新的焦点搞混。

通过使用这些工具，系统学会了优先考虑“狗耳朵”而不是“天空”，即使天空面积巨大且色彩丰富。

3. 智能“停止”按钮
这是最酷的部分。过去，如果你想发送渐进式图像，你必须预先决定：“我要发送 50% 的数据。”但如果机器在 20% 的时候就识别出来了呢？你就浪费了 30% 的数据。PICM-Net 有一个智能停止按钮（称为自适应解码控制器）。

随着图像层级的到达，一个小助手会检查机器的置信度。它会问：“你确定那是狗吗？”

如果机器说：“是的，我有 90% 的把握！”（而你告诉它 70% 就足够了），控制器就会按下停止按钮。不再发送更多数据。
如果机器说：“我不确定，它看起来像只狐狸，”控制器会说：“好吧，发送下一层！”

这意味着简单的图像会以极少的数据实现超快速传输，而复杂的图像则会得到完整的处理。系统并不靠猜测，它是在实时测量机器的置信度。

研究发现

研究人员将他们的新系统与现有的最佳方法进行了测试。他们发现 PICM-Net 是一个明显的赢家。

优于面向人类的系统： 与为人类制作的渐进式编解码器相比，PICM-Net 在帮助机器识别物体方面表现得更好。它在保持高准确度的同时，节省了海量的数据。事实上，他们发现，通过使用这个“智能停止”按钮，与没有此功能的系统相比，可以在不损失任何准确性的情况下，减少约 21.6% 的数据需求。
优于静态机器系统： 他们还将它与不使用渐进层级的机器编解码器（即“全有或全无”类型）进行了比较。PICM-Net 的表现与它们一样出色，但拥有了能够提前停止的超能力。
“简单” vs. “困难” 测试： 他们发现该系统非常擅长识别简单的图像。对于容易识别的图像，系统在仅发送总数据量的约 4% 后就停止了。对于非常困难的图像，它会持续进行直到发送了约 67% 的数据。这证明了该系统不仅仅是在猜测，它实际上是在根据图像的难度进行调整。

总结

论文表明，我们不需要向机器发送每一个像素就能获得良好的结果。通过先发送“重要”的部分，并在机器产生置信度的瞬间停止，我们可以节省大量的带宽。作者认为，这种方法对于自动驾驶汽车或监控摄像头等领域可能是一个颠覆性的变革，因为在这些领域，快速且高效地发送数据至关重要。虽然该系统是在图像分类（辨别物体是什么）任务上进行的测试，但作者指出，未来的工作可以将其扩展到更复杂的任务，例如寻找场景中的多个物体或理解整个视频。目前，他们已经证明了这种由智能停止按钮引导的“少即是多”的方法在机器视觉领域效果显著。

技术摘要：PICM-Net —— 面向机器感知的渐进式学习图像压缩

1. 问题陈述

传统的图像压缩标准（如 JPEG、VVC）以及近期的学习型图像编解码器（LIC）都是针对人类视觉感知进行优化的，优先考虑感知保真度指标，如 MSE、MS-SSIM 或 LPIPS。虽然基于深度学习的编解码器在率失真性能上已经超越了传统方法，但其目标仍然集中在人类视觉质量上。

与此同时，机器视觉应用（自动驾驶、监控、遥感）的兴起，催生了对面向机器的编解码器的需求，这类编解码器优化的是下游任务性能（如分类准确率），而非像素级的重建。然而，现有的面向机器的编解码器通常以单次、非渐进的方式运行。它们缺乏细粒度可扩展性（FGS）——这是在面向人类的压缩中已非常成熟的一项特性，允许单个比特流在多个质量水平下进行解码。这一差距导致机器视觉系统无法在不重新编码或重新传输数据的情况下，动态适应波动的网络带宽或变化的置信度需求。

2. 方法论

作者提出了 PICM-Net，这是首个专门为机器感知设计的渐进式学习图像压缩编解码器。该框架构建在冻结的、面向人类的基于超先验（hyperprior）的自编码器骨干网络（TransTIC）之上，并引入了三个核心组件来实现自适应、任务驱动的渐进式传输。

2.1 渐进式三进制平面编码（Progressive Trit-Plane Coding）

为了实现从单个比特流中的由粗到精的解码，潜变量表示被分解为三进制数（trits）而非二进制位（bits）。

三进制平面分解（Trit-Plane Decomposition）： 潜系数被量化并分解为一系列三进制数（ $d \in \{0, 1, 2\}$ ）。
平面长度分配（Plane-Length Allocation）： 每个系数分配到的三进制平面数量由其预测的尺度参数（ $\hat{\sigma}$ ）决定。分布较宽的系数会获得更多的平面。
符号优先级排序（Symbol Prioritization）： 在每个平面内，符号根据其尺度参数进行排序（基于 $\sigma$ 的排序策略）。这种策略计算效率高，且在实验证明比基于期望方差的排序策略在处理此类任务时更为有效。
解码： 比特流可以在任何三进制平面层级 $\ell$ 被截断，从而允许解码器在不同的保真度水平下重建图像。

2.2 面向机器的渐进式适配

由于骨干网络是针对人类感知训练的，作者引入了轻量级适配模块，使编解码器能够与机器视觉任务对齐，而无需重新训练整个网络：

空间-频率调制适配器（SFMA）： 插入编码器和解码器中，在空间域和频率域同时对特征进行调制。它抑制了对视觉重要但对任务无关的信息，同时放大具有语义辨别性的特征。
超合成低秩适配器（HSLoRA）： 一种仅应用于超合成网络（ $h_s$ ）的轻量级 LoRA 模块。它重新对齐了熵模型的均值和尺度参数，使其与受 SFMA 影响而偏移的潜变量分布保持一致，从而确保熵编码依然有效，且不会干扰固定的超先验密度模型。
渐进式解码感知训练（Progressive Decoding-Aware Training）： 适配模块使用通过在训练期间采样随机三进制平面前缀（ $\ell$ ）的损失函数进行训练。这确保了率-精度权衡不仅在全量重建时得到优化，而且在整个渐进式解码轨迹中都得到了优化，从而鼓励早期三进制数携带更具辨别性的语义内容。

2.3 自适应解码控制器

为了解决人类感知与机器感知之间的不对称性（即机器在达到可靠推理点后，不再从额外的比特中获益），作者引入了一个自适应解码控制器。

机制： 一个轻量级的逻辑回归模型通过分析每一层级 $\ell$ 的分类器输出统计数据（logits、softmax 概率、熵）来进行工作。
功能： 控制器预测当前部分重建图像的“适用性”（正确分类的概率）。
推理： 在推理过程中，系统进行渐进式解码。如果预测的适用性 $S(\ell)$ 超过了用户定义的置信度阈值 $\tau$ ，则停止解码，并丢弃剩余的比特。这动态地确定了每张图像所需的最小比特率。

3. 核心贡献

PICM-Net 架构： 首个面向机器感知的渐进式图像编解码器，利用三进制平面编码实现了来自单个比特流的多级解码。
任务感知适配： 一种结合了 SFMA 和 HSLoRA 以及渐进式解码感知训练的新颖适配策略。该策略将比特流中的符号优先级转向任务判别性区域（如物体边界），而非均匀的空间分布。
自适应解码控制器： 一种根据预测的下游适用性动态选择解码层级的机制，消除了为“简单”样本传输不必要比特的行为，同时为“困难”样本分配更多比特。
实验验证： 通过综合实验证明，在率-精度性能方面，该方法优于现有的面向人类的渐进式编解码器，并且在与非渐进式面向机器的编解码器对比中也具有竞争力。

4. 实验结果

实验在 ImageNet-1K 验证集上使用 ResNet-50 和 ConvNeXt 作为下游分类器进行。

率-精度性能： PICM-Net 在所有比特率下均一致优于现有的面向人类的渐进式编解码器（如 PLONQ、DPICT、DeepHQ）。在实际运行区域（准确率 $\ge$ 70%）内，它相比于不带自适应控制器的静态解码器，实现了 −21.6% 的 BD-rate 降低。
自适应效率： 自适应控制器成功地重新分配了比特。对于“简单”图像（分类器能很早就达到高置信度），控制器在利用约 4% 的渐进轨迹后便停止了解码。对于“困难”图像，解码会持续进行直至约 67% 的轨迹。
比特率节省： 在 70%、73% 和 75% 的固定置信度阈值下，控制器分别减少了 18.7%、23.9% 和 26.4% 的平均比特率。
消融研究：
- 去除渐进式解码感知训练会导致各比特率下的平均准确率显著下降（从 66.5% 降至 54.1%），证实了其必要性。
- SFMA 贡献了最大的性能增益（−66.9% BD-rate），而 HSLoRA 提供了微小但必要的精细化改进（−1.9%）。
- 基于 $\sigma$ 的符号优先级排序优于基于期望方差的排序，其优先级排序速度提升了 20.7 倍，且性能损失可以忽略不计。

5. 重要性与主张

本文声称 PICM-Net 弥合了渐进式压缩的灵活性与面向机器优化的高效性之间的鸿沟。通过为机器视觉提供细粒度可扩展性，该框架允许系统在动态带宽约束下高效运行，且不牺牲任务性能。

作者强调，与人类感知（即更多比特总是带来更好的视觉质量）不同，机器感知存在一个饱和点，超过该点后额外的比特不再产生效用。PICM-Net 的自适应控制器利用了这一点，通过动态截断比特流，为网络资源有限的实际部署场景提供了切实可行的解决方案。这项工作为未来研究分类器无关的适配以及将渐进式压缩扩展到检测和分割等密集型机器任务奠定了基础。