💻 computer science

Dual-Branch Remote Sensing Infrared Image Super-Resolution

本文针对 NTIRE 2026 红外图像超分辨率挑战赛，提出了一种结合 HAT-L 与 MambaIRv2-L 的双分支系统，通过测试时局部转换、八向自集成及图像空间融合策略，有效利用了局部 Transformer 恢复能力与全局状态空间建模的互补性，在合成与真实场景下均显著提升了红外图像的重建质量。

原作者： Xining Ge, Gengjia Chang, Weijun Yuan, Zhan Li, Zhanglu Chen, Boyang Yao, Yihang Chen, Yifan Deng, Shuhong Liu

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xining Ge, Gengjia Chang, Weijun Yuan, Zhan Li, Zhanglu Chen, Boyang Yao, Yihang Chen, Yifan Deng, Shuhong Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述的是如何解决一个非常具体的难题：如何让模糊的红外热成像照片变清晰。

想象一下，你正在看一张夜视仪拍到的模糊照片，或者卫星拍到的地面热图。照片里的人或车轮廓不清，温度分布也看不太明白。这篇论文的作者们（来自杭州电子科技大学、合肥工业大学等高校）参加了一个名为"NTIRE 2026"的超级比赛，他们想出了一个聪明的“双管齐下”的办法，把模糊的红外图变得既清晰又真实。

为了让你更容易理解，我们可以用**“两位性格迥异的画家”**来打比方：

1. 核心难题：红外图太“平滑”了

普通的照片（可见光）有很多细节，比如树叶的纹理、衣服的褶皱。但红外热成像图不一样，它主要靠“温度”成像。

比喻：想象红外图就像一块刚抹平的奶油蛋糕，表面很光滑，没有太多花纹。
问题：如果你想把这块蛋糕放大（超分辨率），普通的“修图软件”可能会胡乱加一些花纹（纹理），导致蛋糕看起来不像蛋糕了，或者把边缘画得歪歪扭扭。红外图需要的是轮廓清晰，而不是乱加纹理。

2. 他们的解决方案：两位“画家”联手

作者没有只找一个“全能画家”，而是请了两位特长完全不同的画家，让他们分别作画，最后把画拼在一起。

第一位画家：HAT-L（“细节狂魔”）

特长：他非常擅长画边缘和轮廓。就像一位拿着精细刻刀的工匠，能把模糊的物体边缘切得非常锐利。
缺点：有时候他太追求细节，可能会让画面看起来有点“躁动”，或者在整体大结构上不够稳。
独门秘籍（TLC）：作者在让他作画时，用了一种特殊的“局部校准”技巧（Test-Time Local Conversion），相当于让他先在小块区域练习，确保每一笔都精准，再画整张图。

第二位画家：MambaIRv2-L（“大局观大师”）

特长：他非常擅长把握整体氛围和结构。就像一位经验丰富的建筑师，他知道整栋楼应该是什么样，不会让某个窗户突然飞出去。他能保证整张图的温度分布（辐射一致性）是自然、稳定的。
缺点：他画的边缘可能不够锐利，稍微有点“肉”。
独门秘籍（自集成）：作者让他对着镜子（翻转、旋转）画了 8 遍，然后取平均值。这就像让他多试几次，把那些不稳定的笔触都抹平，只留下最稳的结构。

3. 最后的魔法：1+1 > 2

这两位画家画完后，作者没有让他们互相争论谁画得更好，而是做了一个简单的动作：把两张画叠在一起，各取 50% 的权重，平均一下。

结果：
- 从“细节狂魔”那里，我们得到了锐利的边缘（物体轮廓清晰）。
- 从“大局观大师”那里，我们得到了稳定的背景（温度分布不乱跳）。
- 最终成品：既清晰又稳定，比任何一位画家单独画的都要好。

4. 比赛成绩

他们在两个地方测试了这个方法：

官方比赛：拿到了很高的分数（54.23 分）。
自己造的测试集：用公开的卫星热图数据做了模拟测试，结果发现，“双人组合”的成绩总是比“单人作战”要好。

总结

这篇论文的核心思想就是：不要试图用一个模型解决所有问题，而是利用两个不同特长的模型互相补位。

就像**“一个负责把字写工整（HAT），一个负责把文章逻辑理顺（Mamba）”**，最后合起来就是一篇完美的文章。
对于红外热成像这种特殊的图像，这种**“局部锐利 + 全局稳定”**的组合拳，是恢复图像质量的最佳策略。

简单来说，他们通过**“分工合作，简单平均”**，成功地把模糊的红外热图变清晰了，而且没有引入复杂的额外计算，非常实用。

以下是基于论文《Dual-Branch Remote Sensing Infrared Image Super-Resolution》的详细技术总结：

1. 研究背景与问题 (Problem)

任务定义：遥感红外图像超分辨率（Super-Resolution, SR）旨在从低分辨率输入中恢复更清晰的热成像观测，同时保持目标轮廓、场景布局的完整性以及辐射稳定性。
核心挑战：

纹理差异：与可见光图像不同，红外热图像通常缺乏丰富的纹理（弱纹理），且对局部过度锐化非常敏感。
建模难点：红外图像的内部通常平滑，梯度微弱。此时，边界质量的微小变化比激进的纹理生成更为重要。
单一模型的局限：
- 擅长局部细节的模型（如 Transformer）可能有助于恢复热轮廓，但可能导致局部不稳定。
- 擅长长距离信息传播的模型（如状态空间模型）能保持场景稳定性，但可能在局部细节恢复上不够激进。
目标：需要一种能够平衡“局部强恢复能力”与“全局稳定性”的解决方案，而非单纯追求单一模型的锐度。

2. 方法论 (Methodology)

本文提出了一种双分支系统（Dual-Branch System），专门针对 NTIRE 2026 红外图像超分辨率挑战赛设计。该系统结合了两种不同架构的优势，并通过特定的测试时增强策略进行融合。

2.1 双分支架构

系统包含两个独立优化、仅在推理阶段融合的分支：

HAT-L 分支（局部强恢复）：
- 基础模型：基于 HAT-L（Hybrid Attention Transformer），窗口大小为 32。
- 特性：利用混合注意力机制激活更多输入像素，擅长热边缘锐化、轮廓恢复和小结构增强。
- 测试时增强：应用测试时局部转换（Test-Time Local Conversion, TLC）。这解决了基于 Patch 训练与全图推理之间的分布差异，使推理路径在局部更一致。
MambaIRv2-L 分支（全局稳定建模）：
- 基础模型：基于 MambaIRv2-L（Large 配置），采用选择性状态空间建模。
- 特性：擅长长距离信息传播，能在大尺度上保持结构一致性，抑制不稳定的局部伪影，维持场景级的辐射相干性。
- 测试时增强：应用八向自集成（Eight-way Self-ensemble）。通过对水平翻转、垂直翻转和转置等几何变换进行集成，在不修改参数的情况下提高预测的鲁棒性。

2.2 融合策略

图像空间融合：两个分支的输出在图像空间进行固定等权融合（Fixed Equal-Weight Fusion）。
- 公式： $I_{SR} = 0.5 \times I_{HAT} + 0.5 \times I_{Mamba}$
设计哲学：
- 避免特征级交互或学习到的融合头（Learned Fusion Heads），保持分支完全解耦。
- 这种设计确保了最终预测是确定性的，且易于部署和解释。
- 利用两个分支的互补性：HAT 提供激进的局部轮廓恢复，MambaIRv2 提供保守的全局稳定性。

3. 关键贡献 (Key Contributions)

提出双分支框架：针对 NTIRE 2026 挑战赛，构建了结合 HAT-L 和 MambaIRv2-L 的解决方案，显式利用了 Transformer 的局部建模能力和状态空间模型的全局建模能力。
分支特定的测试时优化：
- 为 HAT 分支定制了 TLC 以解决训练 - 测试偏差。
- 为 MambaIRv2 分支定制了八向自集成以增强状态空间预测的稳定性。
- 这种非对称设计充分利用了各分支的特长。
全面的评估验证：不仅在官方隐藏测试集上取得了成绩，还在基于 Caltech 航空 RGB-热成像数据集构建的可复现评估集（12 个合成 4 倍样本）上进行了验证，证明了融合输出在各项指标上均优于单一分支。

4. 实验结果 (Results)

4.1 定量结果

官方挑战赛：在 NTIRE 2026 隐藏测试集上，最终得分为 54.23（指标为 PSNR + 20 × SSIM）。
Caltech 评估集：
- 基线对比：双分支融合方法在 PSNR、SSIM 和综合得分（Score）上均显著优于双三次插值（Bicubic）基线。
- 分支对比：融合输出（Fusion）的表现优于单独的 HAT 分支和 MambaIRv2 分支。
  - 融合后 PSNR: 37.8699 (HAT: 37.8657, Mamba: 37.8274)
  - 融合后 SSIM: 0.9321
  - 融合后 Score: 56.5128
- 结论：尽管单一分支已具有竞争力，但融合带来的额外增益证实了两者捕捉的是红外恢复中互补而非冗余的特征。

4.2 定性结果

HAT 分支：生成的局部轮廓更锐利，能恢复小热目标周围的精细边界过渡。
MambaIRv2 分支：生成的图像更平滑，空间相干性更好，能更好地保持全局辐射分布。
融合输出：结合了 HAT 的锐利边界和 MambaIRv2 的全局一致性，在边缘清晰度和结构稳定性之间取得了最佳平衡。对于红外图像，这种“忠实结构恢复”比激进的纹理合成更有价值。

5. 意义与总结 (Significance)

范式转变：该研究表明，对于红外超分辨率任务，显式地利用局部强 Transformer 恢复与全局稳定状态空间建模之间的互补性，比单纯优化单一骨干网络更为有效。
工程价值：提出的方案无需复杂的融合网络训练，仅通过推理时的策略调整（TLC、自集成）和简单的等权平均，即可实现性能提升。这种“解耦 + 确定性融合”的设计思路为遥感图像处理提供了可复现、易部署的参考方案。
领域启示：强调了在红外图像恢复中，保持辐射稳定性和场景布局的重要性往往优于单纯追求高频纹理的生成。