Physical prior guided cooperative learning framework for joint turbulence degradation estimation and infrared video restoration
本文提出了物理先验引导的协同学习（P2GCL）框架，该框架通过物理约束引导湍流测量网络与恢复网络之间的循环协作，以同时实现大气湍流强度估计和红外视频序列恢复的最先进性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图拍一张远处山峰的清晰照片，但你与山峰之间的空气却像夏日柏油路面上的热浪一样在不停闪烁。这种闪烁被称为“大气湍流”。它之所以发生，是因为不同温度的气团混合在一起，以混乱的方式弯曲了光线。对于红外相机——它们观察的是热量而非可见光——这种效应就像是通过一个波浪状、扭曲的窗户在观察。它会让热物体看起来模糊、摇晃且难以测量。科学家和工程师需要清晰的图像以及对湍流强度准确的测量，其应用范围涵盖了从追踪天气模式到监测工业设备等各个领域。长期以来的大挑战一直是一个“捕获-22”困境（即进退两难的局面）：为了修复模糊的图像，你需要确切知道湍流有多强；但为了准确测量湍流，你又需要一个清晰的图像作为起点。这是一个经典的“鸡生蛋，蛋生鸡”的问题，双方都陷入了泥潭。
本文介绍了一种名为“物理先验引导的协同学习”（P2GCL）框架的巧妙新组合，用以解决这一僵局。你可以把它想象成两名正在处理同一案件的侦探，但他们通过轮流协助对方来让自己变得更聪明。其中一位侦探名叫 TMNet，它是测量“湍流强度”（具体为一个被称为折射率结构常数，即 的数值）的专家。另一位侦探名叫 TRNet，它是清理模糊红外视频的高手。
以下是他们“秘密握手”的方式：首先，TMNet 对一段模糊的视频进行观察，并推测出湍流强度（）。它将这个数字像传递秘密线索一样交给 TRNet。TRNet 利用这个线索来修复视频，使图像变得更加清晰。但他们并没有止步于此，TRNet 会将这个经过修复、变得更清晰的图像重新反馈给 TMNet。因为图像现在不再那么扭曲了，TMNet 能够以更高的精度重新测量湍流强度。他们不断循环这个过程，通过这种循环不断精炼彼此的工作。
为了确保他们不是在漫无目的地瞎猜，研究人员根据现实世界的物理定律为他们制定了一套严格的规则手册。他们创建了特殊的“损失函数”（类似于计算机的计分卡），用于检查结果是否符合自然法则。其中一个计分卡—— 引导频率损失——确保修复后的视频在波纹模式方面表现正确，而另一个物理约束损失则让整个过程立足于科学现实。
这种协作之舞的结果非常令人期待。在测试中，这对双模型团队的表现优于以往的方法。在测量湍流强度方面，他们将准确度（以平均绝对误差衡量）提高了 0.0156，并将相关性得分（）提升了 0.1065。在图像清理方面，修复后的视频变得更加锐利，其质量得分（PSNR）增加了 0.2775 dB。通过让这两个模型在遵循物理规则的同时互相教学，本文表明，我们可以获得比以往更精准的测量结果和更清晰的图像。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。