Improving Image Compression Ratio Using the mUMamba Image Restoration Network

每天，大约有三十亿张图像在数字世界中穿梭，从手机传向服务器，又从服务器传回手机。这种视觉数据的洪流需要大量的存储空间和强大的互联网连接才能实现无延迟传输。为了维持这一系统的运行，工程师们长期以来一直依赖压缩技术，即通过移除人类眼睛不易察觉的信息来缩小文件体积。传统方法通过对整张图像应用一套统一的规则来工作，对平滑的天空和复杂的森林采用相同的数学处理方式。虽然有效，但这些标准技术往往难以在追求小文件体积与渴望清晰锐利图像之间取得平衡。它们可能会忽略简单背景与复杂前景之间的细微差别，从而导致文件过于臃肿或图像变得模糊。

一种新的方法试图通过对图像的不同部分进行差异化处理来解决这个问题，就像一位知道哪些书很少被阅读、哪些书每天都被借阅的图书管理员一样。研究人员开发出一种系统，能够识别照片中哪些部分是必不可少的，哪些可以暂时搁置以节省空间。其目标是在传输过程中删除不必要的部分，并在图像到达目的地时将其重建。这要求解码器不仅仅是一个被动的接收者，而是一个能够高精度（尽管并非完美）猜测缺失细节的主动修复者，因为仍会存在一定的重建误差。

在最近的一项研究中，来自伊朗塞姆南大学的研究人员引入了一种名为 mUMamba 的系统来应对这一挑战。他们的方法结合了对图像内容的智能分析与一种专为修复设计的强大新型人工智能。该过程首先将图像分解成小的正方形块。随后，系统会在三个不同的细节层级上检查这些方块，分别将其视为 16x16、8x8 和 4x4 的大小。在每个层级，系统都会判断一个方块是否足够简单到可以被移除。如果一个方块包含平滑、不变的区域，它会被标记为待删除；如果它包含锐利的边缘或复杂的图案，则会被保留。这种分层处理方式使得系统在处理简单区域时可以更加激进，同时又能小心地保留定义图像特征的复杂细节。

一旦确定了可移除的方块，系统并不会简单地丢弃它们。相反，它会在剩余的图像数据中附带发送少量的“线索”。对于因过于平滑而被移除的方块，系统会发送一个表示颜色变化方向的简单箭头；对于因包含边缘而被移除的方块，它会发送一张显示该边缘位置的地图。至关重要的是，图像中被保留的部分并非未经过压缩，而是使用标准的 JPEG 压缩进行编码后再传输。现在的原始图像体积大大减小，但并不完整。缺失的部分必须由接收设备利用剩余的 JPEG 压缩像素和这些微小的线索来进行重建。

为了执行这种重建，研究人员使用了一种基于 U-Net 结构的神经网络，这是一种受人类大脑启发的计算机程序。该网络呈 U 型，包含一条压缩图像信息的路径和另一条将其还原至原始大小的路径。mUMamba 的独特之处在于它处理网络深层信息的引擎。与大多数图像软件使用的标准工具不同，研究人员集成了一个基于名为 Mamba 的新架构的组件。该组件在理解数据中的长程连接方面表现极其出色，使其能够观察图像的远端以寻找填补空白所需的上下文信息。它就像一位技艺精湛的艺术家，能够通过观察缺失拼图块的边缘，瞬间根据周围的画面推断出中心部分应该是什么样子。

该方法的测试结果基于大量的标准测试图像集。系统实现了 46.5% 的压缩率，表明数据量显著减少，同时保持了极高的视觉质量。当使用比较修复图像与原始图像的标准指标进行衡量时，该系统获得了表明两者高度匹配的分数，其 PSNR 为 25.15 dB。更重要的是，该系统的速度明显更快，且所需的计算能力更低。它仅使用了 850 万个参数（即计算机在训练期间学习的内部设置），而竞争对手的系统则拥有超过 4000 万个参数。这种高效性意味着该系统可以在移动电话或偏远地区传感器等较小设备上运行，而无需强大的超级计算机。

研究人员还将他们的方法与 BPG 和 VVC 等行业现行标准进行了对比。他们发现，mUMamba 可以在更低的数据速率下达到相同的视觉质量，有效地节省了这些标准所需的 18.2% 的带宽。在与其他现代基于 AI 的压缩工具的直接对比中，该系统将图像的结构相似度提升了近 23%，并将清晰度提升了 7%。这些提升是在将图像处理时间缩短近三分之一的同时实现的。

这项研究强调，成功的关键不仅在于使用强大的神经网络，还在于将其与经典的方块移除法相结合的具体方式。通过将任务分为两个截然不同的部分——首先是决定移除哪些内容并使用标准 JPEG 进行压缩的逻辑决策，其次是重建缺失部分的创意任务——研究人员创造了一个既高效又有效的系统。通过在不同尺寸的方块上进行检查的分层策略，系统能够在不牺牲最终图像质量的前提下，找到更多的压缩机会。

尽管该系统展现出了巨大的潜力，但研究人员指出，它目前最适用于固定尺寸的图像，并且对于保留部分的处理仍依赖于标准压缩。未来的工作旨在使系统能够处理任何尺寸的图像，并用完全由 AI 驱动的组件取代现有的标准组件。目前，mUMamba 框架是迈向更快、更高效图像传输的重要一步，它证明了通过深度理解图像内容，我们可以用更少的资源传递更多信息。