Every Packet Counts: Dispersing Information for Loss-Resilient Learned Image Compression

技术摘要：每一包都至关重要：为高丢包容忍度的学习型图像压缩实现信息分散

1. 问题陈述

学习型图像压缩（Learned Image Compression, LIC）已在率失真性能方面达到了最先进水平，但在面对丢包时表现得极其脆弱，而这在卫星、应急及远程通信中是一个关键问题。现有的 LIC 方法在有损环境下表现不佳，主要由于以下两个瓶颈：

• 非均匀信息分布： 当前的打包策略通常将关键信息集中在极少数数据包中。这些特定数据包的丢失会导致灾难性的重建失败，即使后续数据包接收完整也无济于事。
• 顺序解码依赖： 熵编码（尤其是自回归模型）创建了长依赖链，使得比特流段的解码依赖于之前所有的比特。单个数据包的丢失可能导致剩余流无法解码，或引发级联估计误差，从而显著降低图像质量。

近期旨在解决这些问题的尝试，如 LossResilientLIC 和 ResiComp，显示出了局限性。LossResilientLIC 通过尾部丢弃训练（tail-drop training）将关键数据集中在领先的数据包中，未能解决打包环节的脆弱性。ResiComp 在低比特率下依赖层级自回归依赖，当高层数据包丢失时，错误会向下传播。

2. 方法论

作者提出了一种端到端的抗丢包压缩框架，旨在分散信息并最小化丢包的影响。该架构（如图 2 所示）集成了三个核心组件：

A. 跨通道重分布 (ICR) 与逆向 ICR (Inv-ICR)
为了防止关键信息集中在特定通道，作者在编码器中引入了 ICR 模块。该模块利用基于通道的注意力机制、分组重排和自适应融合，将通道能量在潜在表示 ($\hat{y}$) 中进行重新分布。这确保了在打包前实现更均匀的能量分布。在解码器端，Inv-ICR 模块通过逆转这些操作来恢复原始通道排列，从而在特定通道（及对应数据包）丢失时仍能实现稳定的重建。

B. 交错通道分组 (ICG)
为了符合实际的数据包大小限制（例如 900 或 1500 字节）并确保数据包重要性的平衡，潜在通道采用步进式交错策略进行划分。

• 潜在空间被切分为若干切片，通道按索引进行分组（例如，偶数索引与奇数索引）以形成独立的组（$y_1, y_2, y_3, y_4$）。
• 每个组根据比特率限制进一步划分为多个数据包。
• 该策略确保每个数据包都包含比例相当的信息混合，防止单个数据包的丢失导致不成比例的质量下降。

C. 两层双分支自回归结构
为了在不牺牲熵建模能力的前提下减轻顺序依赖的级联效应，作者采用了两层双分支架构：

• 第一层： 包含主要信息（$y_1, y_2$），并进行独立编码。
• 第二层： 包含次要信息（$y_3, y_4$），并依赖第一层进行分布估计。
• 依赖管理： 依赖链被缩短为两个层级。至关重要的是，训练策略将低关键性信息分配给第二层。因此，如果第一层的某个数据包丢失，由此产生的第二层估计误差对整体重建质量的影响微乎其微。

D. 训练策略
模型使用结构化掩码策略进行训练，该策略模拟了数据包级的丢包。与以往在通道层面模拟丢包的方法不同，此方法应用二进制掩码将丢失数据包内的所有通道置零，从而准确反映现实世界的传输行为。此外，第一层的掩码会触发依赖项在第二层中的掩码，以模拟自回归依赖失效。模型使用率失真目标函数（$L = R + \lambda \cdot D$）进行优化。

3. 核心贡献

本文概述了三项主要贡献：

1. 信息分散机制： ICR 机制和 ICG 策略的设计有效地重新分配了通道能量和数据包信息，使得重建质量对特定数据包的丢失不再敏感。
2. 鲁棒的自回归架构： 采用两层双分支结构消除了第一层的流内依赖，并限制了跨层级联效应，从而在丢包情况下实现鲁棒的熵解码。
3. 最先进的性能： 大量实验证明，该方法在多种丢包率和传输环境下均具有卓越的抗丢包性能。

4. 实验结果

该方法在 Kodak 和 CLIC 数据集上进行了评估，测试环境包括均匀丢包（5%、10%、20%）以及由 Gilbert–Elliott (GE) 信道模拟的突发性丢包。

• 均匀丢包性能： 在 20% 的丢包率下，该方法比 LossResilientLIC 的平均 PSNR 提升了 1.84 dB。更显著的是，它将 PSNR 方差降低了一个数量级（例如，竞争对手的方差 > 0.1，而本方法 < 0.012），表明无论丢失哪些数据包，其稳定性都极高。
• 比特率效率： 与 ResiComp 和 LossResilientLIC 相比，该方法在较低比特率下实现了更高的 PSNR。例如，在 10% 丢包率的中等比特率下，它在消耗更少带宽的同时，比 ResiComp 的 PSNR 高出 0.33 dB。
• 对突发丢包的泛化能力： 值得注意的是，该模型仅在均匀随机丢包下进行训练。尽管如此，它在 GE 信道模拟的突发丢包条件下依然表现出有效的泛化能力，甚至优于专门针对此类条件进行训练的方法（如 LossResilientLIC）。这表明，通过 ICR 和 ICG 实现的均衡信息分布提供了内在的鲁棒性。
• 视觉质量： 视觉对比显示，当早期数据包丢失时，竞争方法会产生灰色伪影或损坏的纹理，而本方法则能生成视觉清晰、失真极小的重建图像。

5. 意义与主张

本文的主旨在于解决学习型图像压缩中的双重挑战：信息集中和顺序依赖。通过分散信息并缩短依赖链，所提出的方案在率失真性能与抗丢包能力之间取得了卓越的平衡。

作者强调，其方法无需针对特定的突发丢包模型进行显式训练即可实现鲁棒性，并将这种泛化能力归功于信息分散的基本设计。作者承认，该方法与基于超先验（hyperprior）的 LIC 方法存在共同的局限性：即超先验比特流必须被完整接收。然而，他们指出，通过标准的向前纠错（FEC）保护这部分极小比例的流（占总比特率不足 8%）是一种实用且开销极低的解决方案。

总之，本文通过确保没有单一数据包持有不成比例的关键性，实现了“每一包都至关重要”的目标，从而将学习型图像压缩转化为可靠通信环境下的可行方案。