Learning Where to Look and How to Judge: Resolution-agnostic Image Quality Assessment with Quality-aware Saliency

想象一下你是一位才艺表演节目的评委，但你不是在观看歌手或舞者，而是在评判照片的质量。你的任务是观察一张图片并决定：“这张模糊吗？颜色奇怪吗？或者它只是一张烂照片？”这就是**图像质量评估（Image Quality Assessment, IQA）**的世界。长期以来，计算机在这方面一直很吃力，因为它们没有像人类一样的“眼睛”。它们需要被教导什么是“好”的照片。

过去，科学家们尝试通过向计算机展示数百万张照片，并询问：“你有多喜欢这一张？”来教导它。这些答案被称为“平均意见得分”（Mean Opinion Scores, MOS），本质上是来自真实人类的平均评分。但棘手之处在于：计算机非常挑剔。如果你训练一个计算机去评判小尺寸、低分辨率的照片（比如你在手机屏幕上看到的那些），当你给它看一张来自专业相机的巨大超高清照片时，它往往会感到困惑。这就像教一个孩子通过塑料玩具狗来识别狗；当他们看到一只真实的、巨大的狗时，他们可能不知道该怎么办。此外，查看一张巨大照片中的每一个像素需要消耗大量的计算能力，就像为了寻找一个错别字而去阅读整个图书馆里的每一本书一样。科学家们试图解决的大问题是：我们如何构建一个能够处理任何尺寸照片、能注意到微小细节，且不需要超级计算机来完成工作的计算机评委？

于是，研究人员 Hakan Emre Gedik、Shashank Gupta 和 Alan Bovik 引入了一个名为 ReLIQS 的新模型。不要把 ReLIQS 想成是一个盯着整张照片看的机器人，而要把它想成是一个带着放大镜和地图的聪明侦探。

“一刀切”方法的缺陷

大多数之前的计算机视觉模型的工作方式就像一名摄影师，在观察照片之前，强行让每张照片都挤进一个微小的正方形框架里。如果你有一张巨大的超高分辨率照片，计算机就会把它压缩成较小的尺寸以适应框架。问题在于？当你压缩照片时，你会丢失那些微小的、重要的细节——噪声的颗粒感、边缘的锐利度、织物的纹理。这就像是通过看一张模糊、像素化的缩略图来评判一件丝绸衬衫的质量。你可能会错过织物其实已经破损的事实。

其他模型尝试保持原始尺寸，但它们会被压垮。逐像素查看一张巨大的图像在成本上极其昂贵且缓慢，以至于在实际应用中几乎是不可能的。这就像是为了找一根针，而去检查每一根稻草，这太费劲了。

ReLIQS 如何解决问题：“智能侦探”

ReLIQS 通过使用一种称为**分辨率无关学习（Resolution-agnostic Learning）**的策略改变了游戏规则。它不再是盯着整张照片看，而是使用了一个三步走的“侦探”流程：

1. 多尺度地图（The Multi-Scale Map）： 想象你有一张照片。ReLIQS 不仅仅看它一次。它创建了几份照片的副本：一份是原始的巨大尺寸，一份是稍微缩小了一点的，还有一份是缩小得更多的。这就像是从太空、从飞机、以及从街道层面观察一座城市的地图。每个视角都能告诉你不同的信息。“街道层面”（原始尺寸）能让你看到细小的裂缝和划痕；“太空视角”（缩小尺寸）能让你看到整体布局和色彩。

2. “看向何处”的雷达（The "Where to Look" Radar）： 这是最具有创意性的部分。ReLIQS 有一个特殊的辅助模块（称为感知重要性估计器），它就像一个热力图。它扫描照片并询问：“人类最可能在哪里注意到错误？”它学到了人们更在意肖像中的脸部，而不是背景中的树木；或者说，天空模糊虽然令人烦恼，但角落模糊可能没关系。这个模块绘制了一张“重要性”地图。它就像一束聚光灯，只照在照片中真正重要的部分。

3. 智能采样（The Smart Sampling）： 它不再检查照片中的每一个局部块，而是利用这束聚光灯只挑选出最重要的部分。如果照片很大，它可能只检查前 48 个最有趣的区域，而不是数千个。这就像一位美食评论家，只品尝最关键的几口来判断食物是否美味，而不是吃掉整盘菜。

一旦选定了这些智能局部块，它会使用一个强大的预训练大脑（基于一个名为 CLIP 的模型）来进行分析。然后，它将所有这些微小的线索组合成一个单一的分数，准确地告诉你图像质量如何。

他们的发现

研究人员在各种各样的照片上测试了 ReLIQS：现实世界的快照、计算机生成的图像以及带有伪造失真的照片。他们将其与现有的最佳模型进行了对比，包括一些使用巨型“大语言模型”（可以说话和看图的 AI）的模型。

• 它适用于任何尺寸： ReLIQS 处理了从小型手机照片到巨大的超高清（UHD）图像的所有内容，且不会感到困惑。当图像尺寸发生变化时，其他模型会挣扎甚至失败，而 ReLIQS 却能保持冷静。
• 它快速且廉价： 通过只观察“重要”的部分，ReLIQS 可以减少高达 90% 的计算成本，且不会损失准确性。在超高分辨率图像的测试中，它的表现优于专门为这些图像设计的模型，但消耗的计算能力却少得多。
• 它能从多种来源学习： 该模型在许多不同的数据集（包含人类评分的图片集合）上进行了训练。通常，混合这些数据集很难，因为人们的评分标准各不相同。ReLIQS 找到了同时从所有数据集中学习的方法，从而变得更加全能。

结论

论文指出，ReLIQS 是一个重大的进步，因为它解决了“分辨率问题”，且不需要超级计算机。它证明了你不需要看所有东西来判断质量；你只需要知道看向哪里以及如何判断你所看到的内容。

虽然该模型的表现非常出色，但作者也指出，在处理特定类型的 AI 生成图像（AGIQA-3K）时，它仍略逊于其他一些模型。这表明，虽然 ReLIQS 是判断现实世界和标准失真图像的大师，但它可能需要更多的训练来理解完全由 AI 创建的图像所具有的独特特征。

简而言之，ReLIQS 就像一位受过高度训练的艺术评论家，他不需要盯着一幅画看上几个小时，也不需要眯着眼去看微小的缩略图。他知道该看哪里，他理解语境，并且能瞬间给出完美的评分。这种方法可以让高质量的图像分析在从手机到智能摄像机等日常设备上成为可能，而无需在后台运行庞大的数据中心。