Inpainting Insights: Elevating Visual XAI with Photorealistic Perturbations

想象一下，你正试图弄清楚一个超级聪明的机器人是如何观察世界的。你问它：“是什么让这张照片看起来像一只狗？”它回答说：“是耳朵！”但你怎么知道它不是因为一个奇怪的阴影或某种特定的颜色而在瞎猜呢？这就是可解释人工智能（Explainable AI, XAI）的世界。这个领域致力于窥探人工智能“黑盒”内部，观察到底发生了什么。实现这一目标的一种流行方法叫做扰动（perturbation）。把它想象成玩一场关于照片的“如果……会怎样？”的游戏。你遮住图像的一部分——也许是狗的耳朵或尾巴——然后问机器人：“它还认为这是一只狗吗？”如果当你遮住耳朵时，机器人突然不再识别出这是一只狗，你就知道耳朵是很重要的。

然而，这里有一个陷阱。如果你只是用一个又大又丑的灰色方块遮住耳朵，你并不是真的在测试机器人对狗的理解，而是在测试它对一个巨大的灰色斑块的反应。机器人可能会被这个奇怪、不自然的方块搞糊涂，从而给你一个关于重要特征的错误答案。这篇论文正是针对这个问题展开研究的。它建议，与其使用枯燥、虚假的灰色方块来隐藏图像的一部分，不如使用一种“魔法橡皮擦”，用符合逻辑的、写实的细节来填充缺失的部分。这样一来，机器人只会因为“缺失的对象”而感到困惑，而不是因为一个奇怪的人造产物，从而让我们能更清晰地了解它到底在看什么。

---

问题所在：丑陋的方块与困惑的机器人

在计算机视觉领域，AI 模型识别事物的能力变得极其强大，但也变得越来越难以理解。为了解决这个问题，研究人员使用了像 LIME（局部可解释模型无关解释）这样的工具。LIME 的工作原理是：将一张图像切成被称为“超像素（superpixels）”的小拼图块，然后隐藏其中一些部分，以观察 AI 的预测如何发生变化。

传统的隐藏方式是用纯色（如灰色或黑色）涂掉某个部分。本文的作者认为，这有点像通过把糖霜换成一块混凝土来测试厨师识别蛋糕的能力。混凝土并不是蛋糕的一部分，看起来也完全不自然。当 AI 看到这个“混凝土”时，它可能会感到惊慌，并做出一个与蛋糕无关的预测，从而导致解释过程令人困惑。

论文指出，这些“丑陋的方块”（确定性遮挡）经常失效。例如，在一项针对创可贴图像的测试中，使用灰色方块或其他简单颜色替换的标准方法完全忽略了创可贴才是图像中最重要的部分。它们被自己创造出的不自然灰色斑块分散了注意力。

解决方案：“魔法修复”技巧

为了解决这个问题，作者引入了一种名为 LILI（利用修复进行局部可解释性）的新方法。LILI 不再用灰色油漆涂掉隐藏的拼图块，而是使用一种名为 LaMa 的生成式 AI 模型来进行“图像修复（inpainting）”。

把图像修复想象成一位才华横溢的艺术家，他可以观察照片中的空洞，并根据周围环境画出原本应该在那里的内容。如果隐藏了一个创可贴，LaMa 不会放一个灰色方块；它会画出一块看起来与周围皮肤完全一致的皮肤补丁。这创造了一种“写实扰动（photorealistic perturbation）”。AI 模型看到的图像看起来很自然，只是创可贴不见了。这迫使 AI 依赖于它对创可贴真实形态的知识，而不是对一个奇怪灰色方块做出反应。

但这里存在第二个问题。即使有了这位“魔法艺术家”，隐藏区域的边缘有时仍会留下微小的、肉眼难察的线索（伪影），AI 仍然能看到这些线索。为了修复这一点，作者增加了一个“掩码扩展（mask expansion）”步骤。想象一下，如果你不仅隐藏了创可贴，还顺带隐藏了周围一小圈皮肤。这确保了“魔法艺术家”必须用全新的背景皮肤填满整个区域，从而彻底抹除原始对象的所有痕迹。

研究发现：真实感胜出

研究团队将 LILI 与旧方法（使用灰色方块的 LIME）以及另一种使用不同修复模型（名为 DeepFill 的 LIME-G）的早期尝试进行了对比测试。他们在 ImageNet 数据集的图像上进行了数百次测试，并使用标准的 InceptionV3 模型进行识别。

1. 图像质量更高
作者使用一个称为**弗雷歇距离（Fréchet Inception Distance, FID）**的分数来衡量生成的假图像有多“真实”。分数越低，意味着生成的图像与真实照片越接近。

• 旧的 LIME 方法（灰色方块）得分为 30.532。
• 先前的修复方法（使用 DeepFill 的 LIME-G）得分为 56.524（这出人意料地差，可能是因为模型不够优秀）。
• 新的 LILI 方法 得分为 6.727。
  这个巨大的降幅证明了 LILI 创建的图像更接近真实的数据分布。它们看起来很自然，而不是像在照片上强行贴了一个灰色斑块。

2. 解释更准确
为了观察解释是否真的更好，他们使用了一个“显著性指标（saliency metric）”。该指标衡量解释在多大程度上突出了图像中最重要的部分。在这里，分数越低越好。

• 使用 3 像素掩码扩展 的 LILI 取得了最佳分数，击败了旧的 LIME 和 LIME-G 方法。
• 例如，在创可贴的例子中，只有 LILI 正确地将创可贴识别为最重要的特征。其他方法则被背景或伪影干扰了。

3. 稳定性与速度
研究人员还检查了解释是否具有一致性。如果你运行十次测试，得到的是同一个答案吗？

• 旧的 LIME 最稳定（一致性得分 0.889），紧随其后的是 LILI（0.852）。
• LIME-G 的稳定性较低（0.723）。
• 作者指出，LILI 比旧的灰色方块法略显不稳定，因为“魔法艺术家”（LaMa）有时会根据精确的掩码绘制出略有不同的背景。然而，为了获得正确答案，这种代价是值得的。
• 在速度方面，LILI 耗时稍长。旧的 LIME 每张图约需 4.4 秒，而 LILI 需要约 12.5 秒。这是因为“魔法艺术家”需要额外的工作来绘制缺失的部分，但它仍然比其他使用扩散模型的高科技方法要快得多。

核心结论

论文总结道，通过将丑陋、虚假的灰色方块替换为真实的、由 AI 生成的背景填充，我们可以更好地解释 AI 是如何看待世界的。LILI 方法表明，写实的扰动更符合 AI 的训练方式，从而带来了更可靠的结果。虽然它需要更多的计算能力，并且需要仔细调整“掩码扩展”以避免留下线索，但这种权衡是值得的。作者认为，这种方法有助于我们更加信任 AI，尤其是在我们需要明确知道计算机为何做出决策，且不希望受到不自然伪影干扰的情况下。