Restoring Without Forgetting: Continual Learning Across Image Degradations
本文介绍了“恢复而不遗忘”（Restoring without Forgetting, RwF），这是一种通过采用轻量级适配器和无监督路由，使图像恢复模型能够在不发生灾难性遗忘或无需访问历史数据的情况下，顺序学习新的退化类型，从而显著优于标准微调方法的持续学习框架。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个相机传感器，它的一生都度过在阳光明媚、晴朗的沙漠中。它已经完美地学会了如何在那种特定的光线下观察世界。现在，想象同一个相机被移动到一个多雨的城市，然后是雾气缭绕的山脉，最后是一个黑暗的洞穴。在现实世界中，传感器面临着这些不断变化的环境，且由于隐私规则或存储限制，通常无法访问之前位置的旧数据。如果计算机想要学习如何修复新环境下的图像，它通常必须从头开始重新训练。如果你试图在不抹除其对旧环境记忆的情况下教它处理新情况，它往往会完全忘记如何处理第一种环境。这是构建能够随时间进行适应的智能系统的主要障碍。图像修复领域旨在清理模糊、多噪或昏暗照片，长期以来一直依赖于针对每个特定问题的专门工具，或者依赖于需要同时接触所有类型问题才能进行学习的大型“全能型”系统。当一个系统必须按顺序学习，即一个接一个地遇到新挑战，同时又要保持其旧技能完好无损时，这两种方法都无法很好地运作。
罗切斯特理工大学的研究人员开发了一种名为“在不遗忘的情况下进行修复”的新方法，旨在解决这个确切的问题。他们并没有为每一种新型图像损伤训练一个庞大的新网络，也没有试图将所有的学习都塞进一个最终会变得混乱的巨型模型中，而是构建了一个能够学习适应且不丢失过去的系统。他们方法的核心是一个预训练的“骨干”网络，该网络已经非常擅长观察清晰的图像。这个骨干网络是冻结的，这意味着它的内部设置是锁定的，永远不会改变。当系统遇到一种新的退化类型（例如雨或雾）时，它并不会重新训练整个大脑。相反，它会附加一个专门为处理该新情况而设计的微型、轻量级插件模块。这个插件仅学习新问题的特定模式，使原始骨干网络的知识以及之前的插件保持完全不受影响的状态。因为每项新技能都有其专门的、隔离的空间，所以系统永远不会覆盖之前学到的知识。
为了让这一过程在现实世界中奏效（即计算机并不知道正在观察哪种类型的损伤），研究人员添加了一个智能路由机制。当一张新的受损图像到达时，系统会对其进行简短扫描，根据视觉线索创建一个简单的特征签名。然后，它会将此签名与每种已知退化类型的微型存储库中的示例进行对比。根据匹配最接近的示例，系统会自动选择正确的插件来修复图像。整个过程无需人类告知系统问题所在。研究人员在五个不同的图像问题序列上测试了该系统：噪声、运动模糊、降雨、薄雾和低光照条件。他们发现，仅仅在数据上对网络进行重新训练的标准方法会导致系统对先前技能的遗忘如此严重，以至于在标准质量量表上的性能下降了超过15个点。相比之下，他们的新方法在所有五项任务中都保持了高水平的表现，有效地消除了遗忘问题。
这项研究还证明，这种方法适用于现实世界的图像，而不仅仅是实验室中创建的合成图像。团队在包含数千张具有自然模糊、降雨和其他缺陷的真实图像的11个不同现实世界数据集上测试了他们的系统。该系统正确识别了用于修复图像的工具，准确率接近90%，且最终的图像质量几乎与人类明确告知系统面临何种问题时所达到的效果一样好。这表明，只要损伤类型与系统之前见过的相似，该系统就可以将其学习能力泛化到新的、未见过的内容上。研究人员认为，这是一个重要的进步，因为它建立了一种切实可行的方法，让图像修复系统能够随着时间的推移而成长和适应，而无需存储大量的旧数据或从头开始重新训练。通过将新技能的学习与系统的核心知识隔离开来，他们创建了一个框架，使人工智能能够按顺序积累能力，就像人类学习新技能而不忘记旧技能一样。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。