Statistical Aspects of SHAP: Functional ANOVA for Model Interpretation

想象一下，你正在试图弄清楚为什么一个神奇的水晶球给出了一个特定的预言。也许它预言你会数学考试得A，或者贷款申请被拒绝了。在计算机科学的世界里，这被称为“机器学习”，而那个水晶球就是一个复杂的算法，它通过观察成千上万个线索（即“特征”）来学习如何做出决策。但棘手之处在于：这些算法通常如此复杂，以至于即使是它们的创造者也无法轻易解释它们为什么做出某个特定的选择。它就像一个黑盒。为了解决这个问题，科学家们开发了一些工具来窥视内部，并为每个线索分配一个“分数”，告诉我们这个特定线索对最终答案的贡献有多大。其中最流行的工具之一叫做 SHAP。它基于博弈论中一个古老的概念——“夏普里值”（Shapley value），这本质上是一种公平分配奖金的方法，根据每位队员对团队获胜的贡献程度来分配奖金。研究人员一直在追问的大问题是：当存在数百个线索时，我们如何公平地计算这些分数，以及我们如何决定什么是用于比较的“常态”？

由 Andrew Herren、P. Richard Hahn 和 Rafael Alcantara 撰写的这篇论文深入探讨了 SHAP 背后的数学原理，以观察它究竟是如何运作的。作者们将这个问题视为一个巨大的拼图，将机器学习的可解释性与物理学和工程学中用于观察输入变化如何影响输出的“灵敏度分析”（sensitivity analysis）领域联系起来。他们发现，SHAP 实际上正在做一件非常相似的事情，即一种被称为“函数方差分析”（Functional ANOVA）的统计技术，这种技术将一个复杂的函数分解成更小的、易于处理的部分——就像把一杯奶昔拆解成它各自的水果，以观察每种水果贡献了多少糖分。论文指出，人们在使用 SHAP 时面临的最大难题来自于两个主要选择：决定使用哪个“基准”（baseline）或参考点来进行比较（例如询问：“与什么相比？”），以及决定要检查成千上亿种可能的线索组合中的多少种。

作者们认为，虽然 SHAP 是一个强大的工具，但它并不是能自动解决一切的魔杖。他们表明，你得到的答案很大程度上取决于你选择作为背景参考的数据分布。例如，如果你将一个特定的预测与“单一基准”（比如一个平均水平的人）进行比较，得到的结果可能与你与“相关基准”（即保持通常一起出现的特征在一起）进行比较时截然不同。在他们的模拟实验中，他们发现使用相关基准会极大地改变分数，有时甚至会完全颠倒某个特征的重要性。他们还探讨了如何处理当拥有数千个特征时，检查所有可能的组合是不可能的这一事实。他们建议，与其盲目地检查一切，不如使用更聪明的采样方法——比如先寻找最重要的“低阶”交互作用——从而在不需要等待太久的情况下获得一个足够好的答案。

最终，这篇论文并不声称已经找到了使用 SHAP 的唯一完美方法。相反，它阐明了用户在运行软件时，往往在没有意识到的情况下所做的技术决策。作者们指出，解释 AI 模型与灵敏度分析之间的联系是一个引人入胜的课题，这可能会在未来带来更好的方法。然而，他们也提醒说，对于每种情况，并不存在一个单一的“正确”夏普里值；“正确”的答案取决于你想要回答什么问题，以及你选择什么样的背景数据进行比较。因此，虽然 SHAP 帮助我们窥视黑盒内部，但这篇论文提醒我们，在解读我们所看到的景象时，仍需保持谨慎。