💻 computer science

The First Challenge on Remote Sensing Infrared Image Super-Resolution at NTIRE 2026: Benchmark Results and Method Overview

本文介绍了 NTIRE 2026 遥感红外图像超分辨率挑战赛的设计、数据集、评估协议、最终结果及参赛队伍的代表性方法，旨在推动红外图像超分辨率研究并促进其在真实遥感场景中的应用。

原作者： Kai Liu, Haoyang Yue, Zeli Lin, Zheng Chen, Jingkai Wang, Jue Gong, Jiatong Li, Xianglong Yan, Libo Zhu, Jianze Li, Ziqing Zhang, Zihan Zhou, Xiaoyang Liu, Radu Timofte, Yulun Zhang, Junye Chen, Zhenm

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kai Liu, Haoyang Yue, Zeli Lin, Zheng Chen, Jingkai Wang, Jue Gong, Jiatong Li, Xianglong Yan, Libo Zhu, Jianze Li, Ziqing Zhang, Zihan Zhou, Xiaoyang Liu, Radu Timofte, Yulun Zhang, Junye Chen, Zhenming Yan, Yucong Hong, Ruize Han, Song Wang, Li Pang, Heng Zhao, Xinqiao Wu, Deyu Meng, Xiangyong Cao, Weijun Yuan, Zhan Li, Zhanglu Chen, Boyang Yao, Yihang Chen, Yifan Deng, Zengyuan Zuo, Junjun Jiang, Saiprasad Meesiyawar, Sulocha Yatageri, Nikhil Akalwadi, Ramesh Ashok Tabib, Uma Mudenagudi, Jiachen Tu, Yaokun Shi, Guoyi Xu, Yaoxin Jiang, Cici Liu, Tongyao Mu, Qiong Cao, Yifan Wang, Kosuke Shigematsu, Hiroto Shirono, Asuka Shin, Wei Zhou, Linfeng Li, Lingdong Kong, Ce Wang, Xingwei Zhong, Wanjie Sun, Dafeng Zhang, Hongxin Lan, Qisheng Xu, Mingyue He, Hui Geng, Tianjiao Wan, Kele Xu, Changjian Wang, Antoine Carreaud, Nicola Santacroce, Shanci Li, Jan Skaloud, Adrien Gressin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是一份**“超级侦探大赛”的赛后总结报告**。

想象一下，你手里有一张模糊不清、颗粒感很重的红外热成像照片（就像是从很远的地方用老式望远镜看夜晚的城市，只能看到一团团模糊的热气）。你的任务是：把这张模糊的照片，通过电脑算法，变成一张清晰、锐利、细节丰富的“高清大片”。

这就是NTIRE 2026 红外图像超分辨率挑战赛的核心内容。

下面我用几个简单的比喻来拆解这篇论文讲了什么：

1. 比赛背景：为什么要玩这个游戏？

现状：红外相机（比如卫星或无人机上的）因为硬件限制，拍出来的照片往往很“糊”。这就好比你在雾天看路，看不清前面的小石头或行人。
目标：让电脑学会“脑补”，把模糊的红外图变清晰。这对于搜救、军事侦察、环境监测非常重要。如果看不清，可能就找不到失踪的人，或者发现不了隐藏的敌人。
规则：大家用同一套模糊图片（训练集）去训练自己的“脑补”模型，然后在一张大家没见过的高清图（测试集）上比谁还原得最像。

2. 比赛评分：怎么算赢？

这就好比**“既要像，又要真”**。

PSNR（像素相似度）：就像比谁画的颜色更准。
SSIM（结构相似度）：就像比谁画的轮廓和纹理更像。
特殊规则：这次比赛有个“偏心眼”的公式：总分 = 像素分 + 20 × 结构分。
- 比喻：这意味着，结构清晰（SSIM）比颜色稍微准一点（PSNR）重要得多。哪怕颜色差一点点，只要轮廓清晰、边缘锐利，就能拿高分。这很符合红外图像的特点——我们更关心热源的形状，而不是具体的颜色深浅。

3. 谁是冠军？（前三名）

这次比赛有 115 人报名，最后 13 支队伍交卷。

🥇 冠军：WHU-VIP 团队
- 绝招：“质量感知” (Quality-Aware)。
- 比喻：他们发现，有些高清原图本身就很烂（有噪点、有压缩痕迹），就像给画家一张本来就有污渍的参考图。如果画家死板地照着画，就会把污渍也画进去。
- 做法：他们的模型像个**“挑剔的质检员”**。在开始画画前，先看一眼原图哪里脏、哪里模糊，然后告诉主画家：“这块地方原图很烂，你画的时候要小心，别把脏东西也画上去。”这样画出来的图更干净、更真实。
🥈 亚军：XJRes 团队
- 绝招：“双剑合璧” (Hybrid Ensemble)。
- 比喻：他们不信任单一的方法，而是派了4 个不同的画家同时作画。
- 做法：前两个画家擅长用“注意力机制”（Transformer）抓大轮廓，后两个画家擅长用“卷积网络”（CNN）抠小细节。最后把这 4 幅画平均一下，取长补短，得到一幅完美的作品。
🥉 季军：FengFans 团队
- 绝招：“旋转木马” + “双保险” (TTA + Ensemble)。
- 比喻：他们用了两个超级强大的画家（HAT-L 模型），但训练方法完全不同。一个画家练的是“结构美”，另一个练的是“像素准”。
- 做法：在考试时，他们把题目旋转、翻转 8 次，让两个画家分别画 8 次，最后把 16 幅画全部叠在一起取平均。这就好比一个人蒙着眼猜拳很难，但如果蒙眼猜 8 次再取平均，猜对的概率就大大增加了。

4. 大家用了什么高科技？（技术总结）

虽然大家方法不同，但核心思路可以归纳为以下几点：

Transformer 是主力：就像**“全局视野”**。红外图里的热源分布往往是大范围的，Transformer 擅长看大局，能抓住整体的热分布规律。
Mamba 模型是黑马：这是一种新的“状态空间模型”，就像**“高效的流水线”**。它能在不消耗太多算力的情况下，处理长距离的依赖关系，特别适合红外图这种平滑、连贯的数据。
混合架构是王道：大家发现，光看大局不行，光抠细节也不行。所以**“Transformer 看大局 + CNN 抠细节”**成了最流行的组合拳。
频率学习：红外图通常缺乏高频细节（边缘不锐利）。大家特意训练模型去**“强化边缘”**，就像给照片做锐化处理，让模糊的边界变清晰。
分阶段训练：就像**“先练基本功，再练实战”**。先在小图、简单的图上练，再慢慢加大难度，让模型更稳健，不容易“过拟合”（死记硬背）。

5. 总结：这对我们意味着什么？

这篇论文不仅仅是一堆冷冰冰的数据，它告诉我们：

红外图像变清晰不再是魔法，而是可以通过**“聪明的算法组合”**实现的。
未来的方向：不再是单纯堆砌参数，而是要**“懂数据”（比如识别原图质量）、“懂结构”（结合 Transformer 和 CNN）以及“懂策略”**（多模型融合、测试时增强）。

简单来说，这次比赛就是一群顶尖的“图像修复师”，通过比拼谁更懂红外图像的脾气，最终让模糊的热成像照片变得像高清照片一样清晰，为未来的卫星侦察和夜间监控打下了坚实的基础。

这是一份关于 NTIRE 2026 遥感红外图像超分辨率（×4）挑战赛 的技术总结报告。该论文详细记录了挑战赛的背景、数据集、评估协议、参赛队伍的方法论以及最终的比赛结果。

以下是该论文的详细技术总结：

1. 问题背景与挑战 (Problem)

核心任务：从低分辨率（LR）的红外遥感图像中恢复高分辨率（HR）图像，放大倍数为 4 倍（×4）。
输入生成：LR 图像是通过双三次插值（Bicubic downsampling）从高质量 HR 图像下采样生成的。
难点：
- 硬件限制：红外传感器通常分辨率较低，导致细节（如小目标、纹理、细微热变化）丢失。
- 数据特性：红外图像存在噪声，热辐射与像素强度呈非线性关系，且不同地物间的热对比度需要保持。
- 泛化性：大气条件和传感器特性的变化使得模型在实际场景中的泛化变得困难。
- 高频信息缺失：与可见光图像不同，红外图像往往缺乏强高频分量，导致重建时容易过度平滑。
目标：开发能够有效恢复结构一致性和热辐射保真度的模型，服务于目标检测、环境监测等下游任务。

2. 数据集与评估协议 (Dataset & Evaluation)

数据集 (InfraredSR)：
- 由 Spark Transmission (Beijing) Co., Ltd. 提供。
- 训练集：包含多种分辨率（如 320×256, 120×120 等）的图像对。
- 验证集：100 张图像，5 种分辨率。
- 测试集：222 张图像，3 种分辨率（包含 1280×1024 等大尺寸图像）。
- 特点：单通道红外数据。
评估指标：
- 采用单一赛道（Single-track）设置。
- 综合评分公式： $\text{Score} = \text{PSNR} + 20 \times \text{SSIM}$ 。
- 该公式极大地放大了结构相似性（SSIM）的权重，强调结构保真度。
- 所有计算均在单通道上进行。

3. 主要参赛队伍与方法论 (Methodology)

本次挑战共有 115 名注册者，13 支队伍提交有效方案。前几名队伍的方法代表了当前的 SOTA 水平，主要技术路线包括：

3.1 冠军队伍：WHU-VIP (QAHAT)

核心架构：基于 HAT (Hybrid Attention Transformer) 的改进版。
创新点：质量感知混合注意力 Transformer (QAHAT)。
- 问题洞察：训练集中的 HR 图像质量参差不齐（有的来自真实卫星，有的来自低分辨率源或含噪声/压缩伪影）。
- 解决方案：
  - 全局质量分支 (Global Quality Branch)：估计输入图像的整体退化特征。
  - 局部质量分支 (Local Quality Branch)：捕捉空间变化的伪影。
  - 质量估计模块 (QEM) 和 源质量适配器 (SQA)：将质量向量注入骨干网络，动态调整特征响应以适应不同的退化条件。
  - 局部质量感知模块 (LQAM)：通过下采样路径提取伪影特征，引导退化区域的重建。
训练策略：结合了官方数据与公开数据集 SatVideoIRSDT，使用 EMA 稳定训练，损失函数直接对齐官方评分（ $-PSNR - 20 \cdot SSIM$ ）。

3.2 亚军队伍：XJRes (模型融合)

核心架构：PFT (Progressive Focused Transformer) 与 HAT 的加权集成。
策略：
- 构建 4 个并行分支：2 个基于 PFT，2 个基于 HAT。
- PFT 分支：利用渐进式注意力聚焦机制，通过注意力继承和稀疏选择增强相关特征。
- HAT 分支：结合通道注意力和窗口自注意力，捕捉局部纹理和全局依赖。
- 融合：四个分支输出进行加权平均（权重均为 0.25），并结合自集成（Self-ensemble）技术。
训练细节：不同分支使用不同的损失函数（RBSFormer, L1, CharbonnierL1 + SSIM）以捕捉互补特征。

3.3 季军队伍：FengFans (加权集成 + TTA)

核心架构：两个 HAT-L (Large) 模型的加权集成。
策略：
- 双模型策略：
  - 模型 1 (S1)：强调结构保真，使用 $L1 + SSIM$ 损失，低学习率，短训练。
  - 模型 2 (BSR)：强调像素精度，使用纯 $L1$ 损失，高学习率，长训练（100k 迭代）。
- 测试时增强 (TTA)：对每个输入应用 8 种几何变换（4 旋转×2 翻转），分别重建后逆变换并平均。TTA 带来了显著的分数提升（+2.54 分）。
- 加权融合：两个模型的预测结果按 $0.45 : 0.55$ 的比例加权融合。
关键发现：由于红外图像是单通道，将其复制为 3 通道以利用预训练的 HAT-L 权重，并避免了颜色空间的增强（如 MixUp），因为红外图像的强度分布与 RGB 自然图像不同。

3.4 其他队伍的通用趋势

混合架构：结合 Transformer（全局建模）和 CNN（局部细节/去噪）。
状态空间模型 (Mamba)：部分队伍尝试使用 Mamba 替代 Self-Attention，以降低计算开销并建模长程依赖。
频域感知：引入频域监督以增强微弱的高频信号，减少过度平滑。
课程学习：采用多阶段训练策略（从小 patch 到大 patch，或从简单分布到复杂分布）以提高鲁棒性。

4. 比赛结果 (Results)

冠军：WHU-VIP (PSNR: 35.96 dB, SSIM: 0.9236, Total Score: 54.4361)。
竞争态势：前 5 名队伍的分数差距极小（PSNR 差异在 0.15 dB 以内），表明主流方法已收敛至相似的精度水平。
趋势：SSIM 值普遍很高，说明结构保真度是当前的关键指标，且总评分趋势与 PSNR 高度一致。

5. 关键贡献与意义 (Contributions & Significance)

基准建立：提供了首个针对遥感红外图像（×4 倍）的标准化挑战赛基准，填补了该领域公开基准的空白。
方法学洞察：
- 验证了 Transformer 与 CNN 混合架构 在平衡全局热结构与局部细节方面的有效性。
- 证明了 质量感知机制（针对 HR 标签质量不均）和 测试时增强 (TTA) 对于提升红外 SR 性能至关重要。
- 揭示了 状态空间模型 (Mamba) 在红外数据平滑特性建模上的潜力。
实际应用推动：挑战赛的成果直接服务于目标检测、环境监测等实际遥感任务，推动了红外成像技术在复杂环境下的应用发展。
开源资源：提供了官方数据集、评估代码、预训练模型及参赛队伍的详细方法，促进了社区的研究交流。

总结

NTIRE 2026 红外超分辨率挑战赛展示了深度学习在红外图像重建领域的最新进展。获胜方案普遍采用了混合注意力机制、多模型集成以及针对红外数据特性的定制化训练策略（如质量感知、频域增强）。该挑战赛不仅确立了当前的性能基准，也为未来解决红外图像中高频信息缺失和噪声干扰问题指明了方向。