Image Thresholding: Understanding Bias of Evaluation Metrics towards Specific Evaluation Functions

想象一下，你正试图将蛋糕切成完美的切片。在计算机视觉的世界里，这块“蛋糕”就是一张图像，而“切割”它意味着将图像的不同部分分离开来（例如将天空与地面分开，或将肿瘤与健康组织分开）。这个过程被称为图像阈值化。

为此，计算机需要一本规则手册，或者说一个目标函数，来告诉它们在哪里下刀。其中最著名的两本规则手册是：

1. Otsu 方法：这本规则手册说：“在亮部与暗部差异最大的地方切蛋糕。”这就像试图最大化糖霜与海绵蛋糕之间的对比度。
2. Kapur 方法：这本规则手册说：“在信息含量最平衡的地方切蛋糕。”这是一个更复杂的规则，基于每个切片中包含多少“惊喜”或多样性。

一旦计算机切下一刀，我们需要检查它是否切得好。为此，我们使用评估指标，它们就像给切割打分的评委。该领域中最受欢迎的两位评委是：

• SSIM（结构相似性指数）：一位观察切割后的图像与原始图像在形状和结构上有多相似的评委。
• PSNR（峰值信噪比）：一位衡量切割过程中引入了多少“噪点”或误差的评委。

大问题：评委存在偏见

本文的作者 Eslam Hegazy 和 Mohamed Gabr 发现了一些可疑之处。在几乎所有比较这些方法的研究中，当由 SSIM 和 PSNR 评分时，Otsu 方法似乎总是获胜。研究人员假设这意味着 Otsu 仅仅是一本更好的规则手册。

但作者提出了一个不同的问题：“如果评委（SSIM 和 PSNR）暗中偏向 Otsu 的规则手册呢？”

把这想象成一场烹饪比赛。

• Otsu 是一位擅长制作高对比度菜肴（非常咸、非常甜）的厨师。
• Kapur 是一位制作平衡、复杂菜肴的厨师。
• SSIM 和 PSNR 是评委。

作者怀疑 SSIM 和 PSNR 实际上是“口味有偏见”的评委。它们被设定为喜爱高对比度的菜肴。因此，即使 Kapur 制作了一道完美平衡的菜肴，评委也可能给它较低的分数，仅仅因为它不符合评委的口味偏好。

他们如何测试

为了证明这一点，他们没有使用花哨的人工智能来寻找最佳切割。相反，他们做了一件非常彻底的事情：他们在 500 张不同的自然图像（来自名为 BSDS500 的数据集）上尝试了每一个可能的切割。

对于每一次切割，他们计算了：

1. 根据 Otsu 规则，这次切割有多好。
2. 根据 Kapur 规则，这次切割有多好。
3. 评委（SSIM 和 PSNR）对这次切割的评分。

然后，他们观察了规则手册与评委之间的关系（相关性）。

结果：偏见确实存在

研究结果清晰而引人注目：

1. Otsu 与评委是最佳朋友：当 Otsu 的规则手册说某次切割“好”时，评委（SSIM 和 PSNR）几乎总是同意。事实上，对于**100%的图像，Otsu 的分数与 PSNR 的分数完全同步变化。对于91%**的图像，它们与 SSIM 的分数同步变化。

   • 类比：这就像 Otsu 和评委说着同一种语言。当 Otsu 举手时，评委立刻也举起手。

2. Kapur 与评委是陌生人：Kapur 的规则手册与评委之间的联系要弱得多。有时他们达成一致，有时则不然。这种关系混乱且不可预测。

   • 类比：Kapur 试图讲一种不同的方言。评委有时能听懂他，但经常只是耸耸肩并给出平庸的分数，即使这次切割实际上很好。

这意味着什么

该论文得出结论：基于 Otsu 的方法在研究论文中经常“获胜”，并不一定是因为它们更擅长切蛋糕。而是因为评分系统（SSIM 和 PSNR）被操纵以偏向 Otsu。

如果一位研究人员发明了一种新的、超级智能的人工智能算法来帮助 Kapur 找到最佳切割，但他们仍然使用 SSIM 和 PSNR 来评分，那么新算法可能会看起来像是一个失败者。为什么？因为无论人工智能有多好，评委都偏向于反对 Kapur 的风格。

结论

作者正在警告科学界：不要盲目信任评委。

如果你想公平地比较不同的图像切割方法，就不能仅仅使用 SSIM 和 PSNR。你必须意识到，这些工具本质上更偏爱一种特定的方法（Otsu）而非其他方法。为了真正看清谁是最好的“厨师”，你可能需要没有固定口味偏好的新评委。