Loop-Mamba: A Loop Mamba with Degradation-Aware and Shared Memory for Old Photo Restoration

想象一下你是一名考古学家，你挖掘的不再是陶器碎片，而是翻遍尘封的阁楼去寻找曾祖父母的结婚照。这些影像都是珍宝，承载着早已逝去的容颜与时光。但时间是一位残酷的编辑；它划伤了表面，褪去了色彩，使乳胶层开裂，甚至在最重要的部分撕出了空洞。修复这些照片不仅仅是为了让它们看起来重新变得“漂亮”；这是为了在不发明从未发生过的“新篇章”的前提下，重构一个破碎的故事。这就是**老照片修复（old photo restoration）**所面临的挑战。

长期以来，计算机试图通过观察整张照片并猜测缺失部分应该是什么样来修复照片，这有点像试图通过一次性猜测所有拼图块的形状来解决一个巨大的拼图游戏。但老照片是杂乱无章的；它们在不同位置有着不同类型的损伤。有些地方只是模糊，而有些地方则是破损。为了修复这些问题，科学家们开始使用状态空间模型（State Space Models, SSMs）。把这些想象成一种超级聪明、高效的方式，让计算机在移动经过图像时，能够记住它目前所看到的内容，而不是试图一次性记住整张照片。这就像读一本书，一次读一页，记住情节，并利用记忆来理解下一页，而不是试图一口吞下整本书。这篇论文深入探讨了我们如何利用这些智能记忆系统，来细致地修复我们最珍贵的、受损的记忆。

论文：Loop-Mamba

这项研究背后的研究人员（由 Runci Bai 及其同事领导）开发了一个名为 Loop-Mamba 的新工具。他们意识到，旧的修复方法——试图通过一次性的大规模、混乱的跃迁来重建整个图像——并不适用于复古照片中那种复杂的、多层级的损伤。相反，他们决定将修复视为一个渐进式的循环（progressive loop），有点像雕塑家从一块石头中一点点凿去多余的部分，不断精炼形状，直到雕像显现出来。

“一键式”修复的问题
大多数以往的方法试图通过一次处理来修复照片。作者认为，这就像是在不检查裂缝深度的前提下，试图用胶水一次性粘好一个破碎的花瓶。老照片遭受着“异质退化（heterogeneous degradations）”，这是一个高级说法，意思是指损伤分布极不均匀且各处各异。有些区域只是落了灰，而有些地方则是被撕裂了。如果你用同样的方式对待整张照片，你可能会过度修复干净的部分，而对破损的部分修复不足。

Loop-Mamba 的解决方案
Loop-Mamba 通过将修复转变为一个**状态演化（state evolution）**过程，改变了游戏规则。想象一支修复团队正在循环往复地处理一张照片。他们不是每次都从头开始，而是将一个“修复状态”（即关于照片应有模样的心理地图）从一轮传递到下一轮。

以下是他们实现这一目标的三个巧妙技巧：

1. “损伤侦探”（语义引导的退化估计器，Semantic-Guided Degradation Estimator）： 在修复团队开始工作之前，他们需要准确知道问题出在哪里。Loop-Mamba 使用一个名为 SGDE 的特殊模块来充当侦探。它不只是猜测；它会创建一个详细的地图，展示每一个像素点的损伤程度（局部损伤），并给出一个关于整张照片修复难度系数的分数（全局分数）。这张地图会告诉系统的其余部分：“嘿，这个角落撕裂了，所以把精力集中在那里”，确保计算机知道在哪里需要格外小心。

2. “共享记忆库”（共享结构记忆 Mamba，Shared Structural Memory Mamba）： 这是循环的核心。在许多旧方法中，计算机会忘记它在上一步修复了什么，并尝试重新构建它，这会导致混乱或模糊的结果。Loop-Mamba 使用了共享结构记忆（S2M）。你可以把它想象成一个团队成员之间传递的共享笔记本。每当他们做出一点改进时，他们就会将其记录在笔记本上。下一轮的工作并不是从零开始；它会拿起笔记本，阅读已经修复好的内容，并在此基础上进行构建。这确保了照片的结构（如脸部的线条或建筑的轮廓）保持一致，不会在过程中丢失。

3. “多向扫描”： 为了确保不遗漏任何细节，系统会同时从多个方向扫描照片。这就像同时从左、右、上、下四个方向观察一幅画作，以捕捉每一处裂痕。这有助于系统跨越图像中的长距离连接点，确保中间断裂的线条能与两端正确连接。

结果：更快、更聪明、更准确
团队在名为 SynOld 的公开基准测试集上测试了 Loop-Mamba，该数据集包含 700 对受损照片和清晰照片。结果令人印象深刻。Loop-Mamba 不仅效果出色，而且效率极高。

• 速度： 它在高清 1080P 图像上的运行速度为 1.86 FPS（每秒帧数），比许多其他复杂的算法要快得多。
• 效率： 它仅使用了 119 G FLOPs（计算量衡量指标）和 59 G MACs，这显著低于那些通常需要大型计算机才能运行的高能耗方法。
• 质量： 它达到了 30.13 PSNR 和 0.93 SSIM 的顶尖分数，击败了之前的顶级方法。

但作者并没有止步于标准指标。他们意识到，标准测试无法完全捕捉到“损伤”究竟是被真正移除了，还是仅仅被涂抹得“漂亮”了。因此，他们发明了一个新的评分标准，叫做老照片损伤恢复得分（Old Photo Damage Recovery Score, ODRS）。这个分数专门衡量系统在恢复受损部分以及忠实重建结构方面的表现。Loop-Mamba 在这一新指标上获得了 0.9495 的高分，证明了它是在真正修复损伤，而不仅仅是在上面涂抹。

为什么这很重要
论文指出，通过将修复视为连续的状态更新循环而非单次的沉重重建，我们可以用更少的计算能力和更高的准确度来修复老照片。他们发现，运行 3 次 循环是最佳平衡点；运行更多次并不会带来太大帮助，反而会降低速度。

他们还展示了这个系统足够轻量，可以在智能手机（具体为小米 10 Lite Zoom）上运行，这意味着你未来可能直接在手机上修复家人的老照片，而无需依赖超级计算机。作者总结道，这种“渐进式状态演化”的方法是处理老照片这种复杂、混乱现实的一种强大的新方式，为以更小的代价、更清晰的画质来保存我们的视觉历史提供了路径。