💻 computer science

HATIR: Heat-Aware Diffusion for Turbulent Infrared Video Super-Resolution

本文介绍了 HATIR，这是一种新型的热感知扩散框架，它通过相位导引流估计器和热感知解码器联合建模湍流退化与分辨率损失，并创建了首个 FLIR-IVSR 数据集以推动红外视频超分辨率的发展。

原作者： Yang Zou, Xingyue Zhu, Kaiqi Han, Jun Ma, Xingyuan Li, Zhiying Jiang, Jinyuan Liu

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Yang Zou, Xingyue Zhu, Kaiqi Han, Jun Ma, Xingyuan Li, Zhiying Jiang, Jinyuan Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《HATIR：面向湍流红外视频超分辨率的热感知扩散模型》的通俗解释，辅以生动的类比。

问题：“热浪”效应

想象你在夏日看着一条滚烫的马路。沥青上方的空气在扭动、波动，让远处的汽车和树木看起来像是在融化或跳舞。这种现象被称为大气湍流。

现在，想象你试图用热成像相机（一种感知热量而非光线的设备）拍摄这段画面。这更加困难，因为热成像相机本身就面临边缘模糊和对比度低的问题。当你再加上湍流带来的“热浪”干扰时，视频就会变成一团令人困惑的、形状晃动、色彩漂移的混乱画面。

挑战所在：
现有的视频工具试图分两步解决这个问题：

首先，它们试图消除晃动（去除湍流）。
然后，它们试图让模糊的图像变清晰（超分辨率）。

这篇论文认为，这就像试图先粘好桌腿、再打磨桌面来修复一张摇晃的桌子。如果粘桌腿不够完美，打磨桌面反而会让桌子变得更糟。错误会层层累积，最终结果依然模糊或失真。

解决方案：HATIR（“热智能”AI）

作者们创建了一个名为HATIR的新系统。你可以把 HATIR 想象成一位超级聪明的厨师，他不仅仅是先切菜再分别烹饪，而是完全理解热量如何在烹饪过程中影响食材，并实时调整食谱，以做出完美的菜肴。

HATIR 使用了一种名为扩散（Diffusion）的技术（这就像是将一幅模糊的素描慢慢变成清晰的画作），但为其添加了一种特殊的“热感知”能力。

以下是 HATIR 使用的三个主要“秘密配方”：

1. “相位导引流”（热侦探）

标准的视频工具试图通过寻找边缘和纹理（比如汽车的轮廓）来追踪运动。但在热成像视频中，边缘往往很微弱，而且“热浪”会让物体看起来在移动，即使它们实际上是静止的。

类比： 想象你试图在雾气弥漫的房间里跟随一位舞者。你看不清他们的衣服，但你能看到他们身体散发出的热量。
工作原理： HATIR 关注的是热模式，而不仅仅是形状。它知道热的物体（如汽车引擎或人）会随时间保持热量和一致性，即使周围的空气在扭动。它利用这种“热一致性”来确定物体的实际位置，忽略由闪烁空气引起的虚假运动。

2. “湍流感知解码器”（智能编辑器）

一旦 AI 知道了物体的位置，它就必须重建图像。但视频中的某些部分扭曲得太严重，无法信任。

类比： 想象一群编辑试图拼凑一幅拼图。有些拼图块来自真实的画面，但另一些则被热量扭曲了。普通的编辑可能会试图强行将扭曲的拼图块拼入原位，从而毁掉整幅画面。
工作原理： HATIR 拥有一个特殊的“守门人”。它审视视频并判断：“这部分晃动太厉害，不可信；让我们忽略那里的运动”，同时又说：“这个边缘很稳定；让我们把它锐化。”它选择性地修复那些可以挽救的部分，并停止尝试修复那些损坏太严重的部分，从而防止“错误”扩散。

3. “热感知引导”（指南针）

在将模糊视频转化为清晰视频的过程中，AI 需要一个指南针来保持方向。

类比： 如果你在雾气弥漫的森林中行走，可能会偏离路径。HATIR 为 AI 提供了一个指向“热稳定性”的指南针。
工作原理： 它不断检查：“这个新生成的清晰图像看起来仍然像一个稳定的热源吗？”如果 AI 开始创造出奇怪、不稳定的形状，这些形状在物理上说不通，指南针就会将其推回至现实、热一致的图像。

新游乐场：FLIR-IVSR

为了证明他们的方法有效，作者们不能仅仅使用旧视频，因为从未有人为这个特定问题制作过数据集。

他们做了什么： 他们构建了FLIR-IVSR 数据集。
类比： 这就像专门为那些必须戴着厚重模糊护目镜跑步的运动员建造了首个“奥林匹克训练场”。
细节： 他们使用高端热成像相机拍摄了 640 个不同的场景。有些场景中有移动的相机，有些有移动的物体，有些则是静止的。他们同时捕捉了“坏”的（低质量、晃动）视频和“好”的（高质量）视频，用于训练他们的 AI。

结果

当他们测试 HATIR 与其他方法时：

两步法（先修复湍流，再修复分辨率）生成的视频仍然晃动，或带有“鬼影”伪影。
标准 AI 方法（专为普通相机设计）失败了，因为它们被热成像图像中缺乏纹理的特点搞糊涂了。
HATIR 生成了最清晰、最稳定的视频，成功去除了“热浪”，同时保持了细节的锐利。

总结

HATIR 是一种清理因热空气而失真的热成像视频的新方法。它不是分别修复晃动和模糊，而是利用热物理学作为指南，将两者结合起来进行修复。这就像教导 AI 通过信任热量本身，而不是模糊的形状，来“看穿”热浪的闪烁。

以下是论文《HATIR：面向湍流红外视频超分辨率的热感知扩散模型》的详细技术总结。

1. 问题陈述

红外（IR）视频对于自动驾驶和监控等应用至关重要，但在开放大气环境中，由于大气湍流的影响，其图像质量会遭受严重退化。这种湍流是由炎热地面与较冷上层大气之间的热梯度引起的，它会产生扭曲折射率的湍流涡旋。这导致：

几何畸变：物体的随机扭曲。
热模糊与噪声：边缘定义和纹理的丢失。
灰度漂移：强度随时间波动。

当前局限性：
现有的视频超分辨率（VSR）方法在该领域失效，主要归因于两个问题：

模态差距：标准 VSR 模型是在 RGB 数据上训练的，并假设存在强纹理和清晰边界，而这些在低对比度、以热辐射为主的红外图像中往往缺失。
湍流忽视与误差传播：现有解决方案通常将湍流抑制（TM）和超分辨率（VSR）视为分离的级联步骤。这种解耦方法导致误差累积，即 TM 步骤无法恢复结构细节，而随后的 VSR 步骤则会放大这些误差。

2. 方法论：HATIR 框架

作者提出了HATIR（面向湍流红外视频超分辨率的热感知扩散模型），这是一个统一的生成框架，同时建模湍流退化和分辨率损失的逆过程。

核心架构

HATIR 在潜在扩散框架内运行。它接收低分辨率（LR）湍流红外视频序列，并通过迭代细化潜在变量来重建高分辨率（HR）序列。

关键组件

A. 相量引导流估计器（PhasorFlow）
由于纹理微弱，标准光流在红外湍流中失效。PhasorFlow 引入了一种物理驱动的方法：

相量掩码：基于物理原理，即发热区域表现出一致的时间动态，而湍流则引起高频、空间变化的扰动。该方法计算时间上的离散傅里叶变换（DFT）以提取基波幅度。这生成了一个软掩码（ $M_{phasor}$ ），用于突出热稳定区域。
频率加权注意力：利用相量掩码在流估计过程中调节注意力权重。这抑制了不稳定的湍流区域，并保留了热敏感的结构信息，从而为扩散过程提供鲁棒的运动引导。
热感知引导：将物理信息引导项注入扩散采样轨迹。它通过联合掩码（结合遮挡和相量掩码）加权，最小化双向流之间的对称扭曲误差，引导去噪过程趋向时间相干且热稳定的表示。

B. 湍流感知解码器（TAD）
为了重建最终的 HR 帧，TAD 解决了扭曲区域中时间线索不可靠的问题：

湍流掩码门控（TMG）：基于双向扭曲误差生成门控掩码。它自适应地过滤掉被湍流破坏的区域，确保跨帧建模仅发生在结构稳定的区域。
红外结构感知注意力（IR-SAA）：利用梯度幅度创建注意力图，选择性地增强高频区域（边缘、轮廓）的一致性，同时避免在低显著性区域进行冗余对齐。
优化：解码器使用复合损失函数进行微调，包括：
- 热重建损失：强调热活跃区域的保真度。
- 热边缘损失：惩罚热边缘的对齐错误。
- 帧差损失：确保序列的时间一致性。

3. 主要贡献

统一框架（HATIR）：首个基于扩散的框架，联合建模红外图像的湍流抑制和视频超分辨率，消除了级联流水线中固有的误差传播。
物理驱动先验：引入了PhasorFlow，利用热一致性（相量分析）指导低纹理、湍流环境中的运动估计；以及湍流感知解码器，选择性地抑制不稳定的时间线索。
FLIR-IVSR 数据集：作者构建了首个专用的湍流红外 VSR 数据集。
- 来源：使用 FLIR T1050sc 相机（1024 × 768 分辨率）拍摄。
- 规模：640 个多样化场景，包含不同的相机和物体运动。
- 结构：包含配对的 LR-HR 序列，分为相机静态（静态/动态场景）和相机移动子集。

4. 实验结果

数据集与指标：

在新型FLIR-IVSR数据集和源自M3FD数据集的合成湍流基准上进行评估。
指标：PSNR、SSIM、LPIPS、DISTS 和 VMAF。

性能：

定量：HATIR 在所有指标上均取得了最先进（SOTA）的结果。在 FLIR-IVSR 测试集上，其表现显著优于次优方法（例如，在相机移动场景下，PSNR 比次优 VSR 方法高出**+3.76 dB**）。
定性：视觉结果表明，HATIR 成功恢复了热细节并校正了几何畸变，同时保持了红外图像的固有视觉特征。相比之下，级联方法（TM + VSR）表现出严重的伪影和误差累积，而标准 VSR 方法无法处理由湍流引起的模糊。

消融研究：

PhasorFlow 与 SpyNet：用标准光流（SpyNet）替换 PhasorFlow 导致 PSNR 下降约 4.7 dB，证明了热感知流估计的必要性。
解码器组件：移除 TMG 或 IR-SAA 模块中的任何一个都会导致性能显著下降，证实了湍流过滤和结构感知注意力都是必不可少的。
引导掩码：联合应用相量掩码和遮挡掩码产生了最佳结果，验证了这些先验的互补性。

5. 意义

这项工作通过解决大气湍流的具体物理挑战，代表了红外计算机视觉的重大飞跃。通过在热物理引导的扩散框架内统一对齐和恢复，HATIR 使得在以前被认为退化严重而无法分析的场景中实现高保真红外视频恢复成为可能。FLIR-IVSR 数据集的发布为未来自动驾驶系统和监控领域的鲁棒红外感知研究提供了关键的基准。