Progressive Split Mamba: Effective State Space Modelling for Image Restoration

该论文提出了渐进式分裂 Mamba(PS-Mamba)框架,通过几何一致的分区策略和对称跨尺度捷径,有效解决了现有状态空间模型在处理图像恢复任务时面临的拓扑失真与长程信息衰减问题,从而在保持线性复杂度的同时实现了局部细节与全局一致性的高质量恢复。

Mohammed Hassanin, Nour Moustafa, Weijian Deng, Ibrahim Radwan

发布于 Wed, 11 Ma
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇论文介绍了一种名为 PS-Mamba 的新图像修复技术。为了让你轻松理解,我们可以把“图像修复”想象成修复一幅被弄脏、模糊或撕裂的古老名画

1. 核心问题:以前的修复师遇到了什么麻烦?

在修复名画时,以前的两种主流方法(CNN 和 Transformer)各有缺点:

  • CNN(卷积神经网络)像“拿着放大镜的工匠”
    他非常擅长处理画布上局部的细节(比如花瓣的纹理),因为他只看眼前的一小块区域。但是,他记性不好,看不清整幅画的全局布局。如果要把远处的山和近处的树联系起来,他很难做到,导致修复后的画虽然局部清晰,但整体结构可能很乱。
  • Transformer(注意力机制)像“拥有上帝视角的指挥官”
    他能一眼看到整幅画,知道山和树的关系,全局视野极好。但是,为了看清全局,他必须把整幅画拆成无数个小碎片,然后像拼拼图一样重新排列。这个过程非常耗时耗力(计算量大),而且因为把画拆得太碎,原本紧挨着的邻居(比如花瓣和花蕊)被强行分开了,导致局部细节变得模糊或失真

Mamba(最新的模型) 出现时,它像是一个既快又聪明的学徒,能处理长距离的信息,而且速度很快。但是,如果直接把 Mamba 用在 2D 图片上,它也会遇到两个大麻烦:

  1. 强行拉直(Locality Distortion):它习惯把 2D 的图片像卷地毯一样卷成一条长长的 1D 线。结果,原本紧挨着的像素点(邻居)被拉到了很远的地方,导致它搞不清谁挨着谁,局部结构被破坏了
  2. 记忆衰减(Long-range Decay):Mamba 像是一个在传递秘密消息的人。消息传得越远,越容易变味或丢失。在修复整张图时,远处的信息传到近处时,已经变得很微弱了,导致全局一致性变差

2. PS-Mamba 的解决方案:聪明的“切蛋糕”策略

为了解决上述问题,作者提出了 PS-Mamba(渐进式分割 Mamba)。我们可以把它想象成一位高明的修复大师,他不再把整幅画卷成一条线,而是采用了以下三步走策略:

第一步:切蛋糕(Progressive Split)—— 保持邻居关系

大师不会把整幅画卷起来,而是像切蛋糕一样,把画分成几块:

  • 先切成两半(Halves);
  • 再切成四块(Quadrants);
  • 最后切成八块(Octants)。

关键点:在切的时候,他非常小心,确保每一块里的邻居依然挨在一起

  • 比喻:想象你在整理一桌乱放的积木。以前的方法是把所有积木倒进一个长管子(卷成 1D 线),结果积木顺序全乱了。PS-Mamba 的做法是把积木分成几个小盒子,每个盒子里的积木依然保持着原本的排列顺序。这样,Mamba 在处理每一小块时,依然能看清局部的纹理和结构。

第二步:多尺度推理(Multi-scale Modelling)

大师不仅切蛋糕,还分层处理

  • 他先看大的块(全局),再看小的块(细节)。
  • 比喻:就像看地图,先看国家边界(大尺度),再看城市街道(中尺度),最后看具体的门牌号(小尺度)。这种“渐进式”的分割,让模型既能看清细节,又能理解整体,而且计算起来依然很快(线性复杂度)。

第三步:建立“高速公路”(Symmetric Cross-scale Shortcuts)—— 解决记忆衰减

为了解决“消息传太远就变味”的问题,大师在每一层之间建立了直达的高速公路

  • 比喻:想象一个接力赛。以前,信息必须从第 1 棒传到第 100 棒,传到后面时,接力棒可能都丢了。现在,PS-Mamba 在起点和终点之间,以及中间的关键节点之间,直接架起了传送带
  • 这样,全局的低频信息(比如画面的整体色调、大轮廓)可以直接“瞬移”到需要的地方,不需要经过漫长的传递,从而保证了整幅画的整体协调性,不会因为传得太远而模糊。

3. 最终效果:既快又好

通过这种“切蛋糕”保持局部结构,加上“高速公路”保持全局联系,PS-Mamba 实现了:

  • 局部细节:像拿着放大镜的工匠一样,把纹理、边缘修复得锐利清晰。
  • 全局结构:像指挥官一样,确保整幅画的透视、光影协调一致。
  • 速度:依然保持了 Mamba 原本的计算速度优势,没有因为变聪明而变慢。

总结

简单来说,PS-Mamba 就是给图像修复模型装上了一个智能的“切片刀”和“传送带”

  1. 切片刀:把大图片切成小块处理,保证邻居不分离,细节不丢失。
  2. 传送带:让重要信息直达,防止传太远就变味

实验结果表明,在超分辨率(把小图变清晰)、去噪(把脏图变干净)和去 JPEG 压缩伪影(修复压缩后的马赛克)等任务上,PS-Mamba 都比之前的先进模型(包括 MambaIRv2 和 Transformer 类模型)表现更好,而且参数更少、效率更高。它就像是一位既懂局部细节、又懂全局大局,还手脚麻利的顶级修复大师。