AbsoluteDegradation: A Physics-Inspired Synthetic Film-Degradation Pipeline and Archival Film Restoration Benchmark
本文介绍了 AbsoluteDegradation，这是一个受物理学启发的合成流水线以及一个大规模真实世界基准测试，旨在解决档案胶片修复中缺乏成对训练数据和标准化评估的问题，并证明了采用该方法训练的模型在真实素材上的泛化能力更为出色。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一段尘土飞扬、满是划痕且色彩褪色的 1920 年代旧家庭电影。你想修复它，以便你的家人能再次清晰地看到它。问题在于，原始的、完美的版本早已消失了；它随着时间的流逝而腐烂了。你无法通过将损坏的版本与一个“完美”的版本进行对比来教计算机如何修复，因为那个完美的版本并不存在。
这篇题为 “AbsoluteDegradation” 的论文通过构建一台虚拟时光机和一个用于测试尝试修复这些旧电影的计算机的新试验场，解决了这个问题。
以下是他们实现这一目标的简单解释：
1. 问题：“伪造” vs. “真实”
为了教计算机修复损坏的胶片，你通常需要向它展示一个“损坏”的版本和一个“完美”的版本并排对比。由于完美版本已经丢失，科学家们一直在制作伪造的损坏视频来训练计算机。
- 旧方法： 以前的方法就像一个孩子在照片上乱涂乱画。他们只是随机添加划痕、灰尘和模糊效果到干净的图像中。但真实的胶片损伤更为复杂。它不仅仅是随机的；它发生在一个特定的顺序中（例如胶片是如何曝光、显影并随后扫描的），并且其损坏方式随时间以特定的方式移动（例如一个在同一个位置停留十秒钟的划痕）。旧的伪造视频感觉不够“真实”，所以计算机学到了错误的经验。
- 新方法 (AbsoluteDegradation)： 作者构建了一个基于物理学的模拟器。他们并没有只是在屏幕上随机扔脏东西，而是模拟了胶片受损时实际发生的化学和机械过程。
- “门框抖动 (Gate Weave)”： 旧的投影仪和扫描仪会轻微晃动。作者编写程序来模仿这种特定的、有节奏的摇晃（使用一个数学概念叫做“Ornstein-Uhlenbeck 过程”，这只是一个高级说法，意指“既摇晃又会回到中心”）。
- “颗粒感 (Grain)”： 真实的胶片颗粒并非只是静态噪声；它会根据图像的亮度而变化。他们模拟了这种特定的行为。
- “划痕 (Scratches)”： 真实的划痕不会仅仅瞬间出现并消失；它们会持续一段时间并平滑移动。他们的系统创建的划痕其行为完全符合真实的物理损伤。
类比： 想象你在试图教一个人修理汽车发动机。
- 旧方法： 你给他们一辆玩具车，并告诉他们通过向它扔沙子来“弄坏它”。他们学会了如何处理沙子，但没学会如何修理真正的发动机。
- 新方法： 你给他们一个真正的发动机，将其拆解，并模拟在 50 年间锈蚀、热量和摩擦是如何使其损坏的。现在，当他们尝试修理一辆真正的汽车时，他们确实知道自己在做什么。
2. 新的“考试” (基准测试)
即使有了更好的训练，科学家们仍需要一种更好的方法来测试计算机是否真的做得很好。
- 问题： 现有的测试数据集规模较小、质量较低，或者混杂了卡通片（卡通片的视觉效果与真实胶片不同）。此外，用于给修复效果评分的“成绩”（指标）也非常棘手。有时，计算机会让图像看起来更“锐利”，但也变得更“假”（添加了原本不存在的细节），而评分系统却会因此给出高分。
- 解决方案： 作者创建了一个庞大的新数据集，称为 AbsoluteDegradation 基准测试。
- 他们从美国国会图书馆收集了 81,576 帧高分辨率帧，这些帧取自 1896 年至 1918 年间的真实公有领域电影。
- 这些是“野外”中的电影，具有真实的损伤，没有水印，也不是卡通片。
- 他们证明了当前的“评分系统”经常误导计算机，使其为了获得高分而制造出看起来很假的图像。他们的新基准测试迫使计算机保持诚实并保留原始的历史感，即使看起来带有一些颗粒感。
3. 结果
当他们将新的训练方法 (AbsoluteDegradation) 与旧方法进行对比测试时：
- 更好的泛化能力： 在其“基于物理学”的伪造视频上训练的计算机，在修复真实旧电影方面，比在旧的、简单的伪造视频上训练的计算机表现得好得多。
- 避免“幻觉 (Hallucinations)”： 旧的方法经常试图通过发明新细节来“修复”事物（例如将一条划痕锐化成绘画中的一条线）。新方法学会了保持谨慎，保留原始纹理和历史，而不添加虚假细节。
- “过度平滑陷阱”： 论文发现，如果你仅仅使用简单的“白噪声”（就像旧电视上的静电一样）来训练计算机，计算机就会学会将一切都抹平，把人的脸变成一个模糊的团块。通过使用他们复杂的、真实的噪声，计算机学会了保留精细的细节（如帽子上的褶皱或脸部的纹理）。
总结
该论文引入了两个主要内容：
- 一个受物理启发的模拟器： 一种创建伪造损坏视频的方法，这些视频如此真实（模拟了真实的化学和机械过程），以至于在上面训练的计算机可以真正修复真实的旧电影。
- 一个现实世界的测试： 一个大规模、高质量的真实旧电影数据集，用以证明计算机实际上是在做好工作，而不是仅仅在欺骗评分系统。
最终目标不仅是让视频看起来更“干净”，而是要进行真实的修复，在不发明虚假细节或抹去原始胶片特征的前提下，保留其真实的影像历史。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。