🤖 AI

APEX: Assumption-free Projection-based Embedding eXamination Metric for Image Quality Assessment

APEX 是一种新颖且无需假设的图像质量评估框架，它利用开放词汇基础模型（CLIP 和 DINOv2）的切片 Wasserstein 距离，克服了传统特征分布指标的局限性，在多种数据集上展现出卓越的鲁棒性和稳定性。

原作者： Caterina Gallegati, Monica Bianchini, Franco Scarselli, Vittorio Murino, Barbara Toniella Corradini

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Caterina Gallegati, Monica Bianchini, Franco Scarselli, Vittorio Murino, Barbara Toniella Corradini

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位烹饪比赛的评委。厨师们（生成式 AI 模型）正在创作令人惊叹的新菜肴（图像），这些菜肴看起来几乎与真实食物无法区分。你的任务是品尝它们并决定：“这道菜好吗？它比上一道更好吗？”

很长一段时间里，评委们使用一份非常古老、僵化的检查清单来给这些菜肴打分。他们会查看食材（像素），并检查它们是否符合一本 1990 年代烹饪书中的特定食谱（在 ImageNet 上训练的 Inception-v3）。

问题所在：
该论文指出，这份旧检查清单存在两大缺陷：

“封闭菜单”问题： 旧检查清单只了解其特定 1990 年代烹饪书中出现的食材。如果厨师用旧书从未见过的食材制作了一道未来主义的菜肴，即使这道菜美味可口，检查清单也会感到困惑或给出低分。
“僵化数学”问题： 旧检查清单假设所有菜肴都遵循完美、可预测的钟形曲线形状。但真实的烹饪（以及真实的 AI 图像）是混乱且复杂的。将混乱的现实强行塞入僵化的形状中，会导致评分错误。

最近，一些评委尝试使用更新、更精致的烹饪书（基础模型，如 CLIP 和 DINOv2）来理解现代食材。但他们仍然使用相同的僵化数学来评分。这就像拥有现代菜单，却仍在使用一把会弯曲错误的 1990 年代尺子。

解决方案：APEX

作者提出了APEX（无假设投影嵌入检查）。将 APEX 想象为一个全新的、超级聪明的评判系统，拥有两大核心优势：

1. “皮影戏”技巧（基于投影）
APEX 不试图一次性测量菜肴的整个 3D 形状（这很难且需要僵化的假设），而是使用一个巧妙的技巧。想象将光照射在一座复杂的雕塑上，使其在墙上投下影子。

APEX 从数千个不同角度照射光线（投影）。
它每次测量影子（一维切片）。
它平均所有这些影子，以获得对形状的真实感知。
这为何重要： 这种方法不假设雕塑是完美的球体或立方体。它只是如实测量形状，无论其多么怪异或复杂。它是“无假设”的。

2. “通用翻译器”（基础模型）
APEX 不使用旧的 1990 年代烹饪书，而是使用两种现代、超级智能的翻译器：

CLIP： 一种理解图像与语言关系的翻译器（非常适合判断“这看起来像猫吗？”）。
DINOv2： 一种理解纹理、形状和细微细节的翻译器（非常适合判断“这皮毛看起来真实吗？”）。
APEX 利用这些翻译器来理解图像的“风味”，然后使用“皮影戏”技巧将生成的图像与真实图像进行比较。

论文发现（味觉测试）

作者将 APEX 与旧评委（FID、KID）以及较新但仍僵化的评委（CMMD）进行了测试。他们在以下领域进行了测试：

自然照片（如公园）。
人脸（如名人）。
医学扫描（如 X 光片）。
卫星照片（如从太空俯瞰城市）。

结果：

稳定性： 旧评委的手像颤抖一样；如果你向他们展示同一张图片两次，仅做微小改动，他们可能会给出截然不同的分数。APEX 则像岩石一样稳定且一致。
跨领域公平性： 旧评委在评分人脸方面表现出色，但在评分 X 光片或卫星照片方面却糟糕透顶。APEX 在评判所有这些内容时同样出色。它不会因主题的变化而感到困惑。
敏感性： 当 AI 厨师逐步改进他们的菜肴（逐步添加更多细节）时，只有 APEX 注意到了最后那些微小而细微的改进。旧评委经常陷入停滞，甚至认为菜肴变差了，而实际上它变好了。
人类一致性： 当真实人类对图像进行评分时，APEX 的分数与人类意见几乎完美匹配，通常优于既定的“黄金标准”（FID）。

核心结论

该论文声称，APEX 是一种更好的 AI 生成图像评分方法，因为它不再强迫图像进入旧有的僵化框架。相反，它利用现代、灵活的工具从所有可能的角度审视图像，确保分数反映图像的实际外观，无论是人脸、肿瘤还是卫星视图。它是面向未来 AI 艺术更诚实、更稳定且更符合人类价值观的评委。

技术摘要：APEX（无假设投影嵌入评估）

1. 问题陈述

生成模型的评估已处于关键转折点，传统指标难以跟上现代合成技术前所未有的视觉保真度。当前的金标准，如 Fréchet inception 距离（FID）和核 Inception 距离（KID），面临两个根本性局限：

封闭词汇瓶颈：这些指标依赖于仅在 ImageNet 上训练的特征提取器（例如 Inception-v3）。因此，它们缺乏评估现代多模态模型或医疗成像和遥感等多样化领域所需的语义丰富性和开放世界对齐能力。
假设性偏差：现有指标依赖于僵化的统计公式。FID 假设真实和合成嵌入遵循高斯分布——这一假设在经验上已被证明对于高维多模态潜在空间是不正确的。KID 依赖于带有多项式核的最大均值差异（MMD），这引入了对核超参数选择的极端敏感性。

虽然最近的替代方案已用基础模型（如 CLIP、DINOv2）替换了 Inception-v3 以解决特征瓶颈，但它们往往保留了有问题的统计假设（例如 CMMD 仍使用 MMD），导致该领域缺乏一个稳健的、无假设的评估框架。

2. 方法论

作者提出了APEX（无假设投影嵌入评估），这是一个旨在通过比较嵌入分布来衡量图像质量的框架，无需依赖参数假设或核调整。

核心组件

特征提取：APEX 与嵌入无关，但主要利用两个最先进的基座模型：
- CLIP（对比语言 - 图像预训练）：提供与自然语言的高级语义对齐。
- DINOv2（无标签知识蒸馏）：通过自监督学习提供细粒度的视觉结构（纹理、形状、空间布局）。
- 实现：APEX-CLIP 使用 768 维的 [CLS] 令牌。APEX-DINO 将 DINOv2 ViT-L/14 的第 6、12 和 23 层的 [CLS] 令牌连接起来，形成 3,072 维表示，以捕捉多尺度视觉抽象。
距离度量（切片 Wasserstein 距离 - SWD）：APEX 不拟合参数分布或使用核方法，而是计算 SWD。
- 机制：SWD 通过将高维分布投影到随机一维线（方向 $\theta$ ）上，并在这些投影上计算 Wasserstein 距离，从而近似 2-Wasserstein 距离。
- 优势：它具有坚实的数学基础，无假设（无需高斯或核假设），并且计算效率高（ $O(N \log N)$ ），优于 MMD 的二次成本。
蒙特卡洛近似：单位球上的积分通过对 $L$ 个随机投影取平均值来近似。作者从理论和经验上确定， $L=500$ 在估计精度和计算成本之间提供了稳定的权衡。

理论保证

该论文提供了一个理论界限（定理 1），证明平方 SWD 的估计误差受投影数量 $L$ 的控制。该界限取决于嵌入所在流形的内在维度 $k$ 和流形的直径 $D$ ，但与环境维度 $d$ 无关。这证明了 SWD 在高维空间中的可扩展性。

3. 主要贡献

现有指标审计：对当前指标的失效模式进行了系统分析，突出了它们对骨干网络选择、分布假设、核配置和跨域偏移的敏感性。
APEX 框架：引入了一种基于投影的评估框架，将基础模型（CLIP/DINOv2）与 SWD 相结合，以消除僵化的参数假设和核超参数依赖。
稳定性分析：对稳定 SWD 估计所需的投影数量进行了理论和实证调查，确定 $L=500$ 为收敛的最佳点。
综合基准测试：广泛的评估协议涵盖了五个异构领域（自然图像、人脸、皮肤镜、放射学、遥感），测试了对像素/潜在退化的鲁棒性、有限样本稳定性以及生成细化能力。
人类对齐：一项专门的感知研究表明，APEX 与人类判断高度相关，竞争力与最强的基线相当。

4. 实验结果

评估将 APEX 与 FID、KID、CMMD 和 DINO+MMD 在多个标准下进行了比较：

数据集内和跨数据集稳定性：
- 数据集内：APEX 变体表现出低有限样本偏差和低变异系数（CV $\le$ 0.06），优于 KID 和 DINO+MMD（尽管均值无偏，但方差很高）以及 FID（依赖于平滑的高斯拟合）。
- 跨数据集：APEX 实现了最低的跨域一致性误差（ $\Lambda$ ），表明其退化信号在不同领域（例如医疗与自然图像）之间比基于基础模型的基线（如 CMMD）更一致。
退化敏感性：APEX 在所有领域均表现出对渐进扰动（噪声、模糊、压缩、潜在失真）的单调敏感性。相比之下，基线方法经常表现出非单调波动或特定领域的失效。
生成细化：在 Stable Diffusion 的去噪过程中，APEX-CLIP 在最后细化步骤中显示出距离分数的最显著下降，表明其对细微感知改进的敏感性高于 FID 或 KID。
人类相关性：在涉及 10,850 张标注图像的研究中，APEX-CLIP 的 Spearman $\rho$ 达到了 0.844，几乎与 FID（0.847）持平，并显著优于 CMMD（0.813）和 DINO+MMD（0.651）。这表明基于投影的方法从相同的嵌入空间中提取了更多与感知相关的信息。
效率：虽然特征提取主导了运行时间，但 APEX 的距离计算按 $O(N \log N)$ 扩展，避开了基于 MMD 的方法的 $O(N^2)$ 过高开销。

5. 意义与主张

该论文声称，APEX 解决了阻碍当前图像质量评估的“封闭词汇”和“假设性偏差”瓶颈。通过在基础模型的潜在空间内利用切片 Wasserstein 距离，APEX 提供了：

鲁棒性：在不同领域和各种图像退化下具有卓越的稳定性。
可靠性：与人类感知高度相关，无需僵化的统计假设。
可扩展性：计算高效，适用于高维嵌入空间。

作者将 APEX 定位为并非取代所有现有指标，而是一种原则性的、无假设的替代方案，为评估下一代生成模型提供了更稳定和灵活的基线。他们承认局限性，指出性能仍取决于底层嵌入空间的质量，且总体成本主要由特征提取主导，特别是对于高维的 APEX-DINO 变体。未来的工作建议探索自适应投影策略并扩展到更广泛的多模态模型。