Estimand-Relative Validity and Context-Driven Instability of Shapley Explanations for Tabular Foundation Models
本文表明，Shapley 解释对于表格基础模型的有效性和稳定性，关键取决于相对于预期估计量的移除算子的选择，并受到上下文示例的显著影响，因此必须明确指定这些因素以实现可靠的解释。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能领域，正涌现出一类旨在通过学习示例而非记忆固定规则来工作的模型。想象一位学生，他不需要花费数年时间研读教科书，而是被递给一页笔记和一个新问题，然后被要求仅凭这一页笔记立即解决该问题。这就是现代用于表格数据的“基础模型”的工作方式。它们获取一小组标记好的示例（称为上下文）和一个新查询，然后在不改变其内部代码的情况下做出预测。由于这些系统如此灵活，研究人员长期以来一直试图理解它们为何做出这些选择。他们使用一种被称为“沙普利值”（Shapley values）的方法，这种方法就像是一种公平的功劳分配。如果一个预测是团队协作的结果，这种方法就会计算出每一项信息对最终结果的贡献程度。然而，为了弄清楚某项特定信息有多重要，该方法必须首先设想如果该信息缺失会发生什么。这产生了一个谜题：当你移除一个数据项时，你如何填补这个空白？是用平均值填充，用空白填充，还是用一个符合模式的新示例来填充？这个问题的答案改变了关于模型思维方式的整个叙述。
埃斯基舍希尔理工大学（Eskisehir Technical University）的埃明·塔利普·德米基兰（Emin Talip Demirkiran）最近的一项研究正面应对了这个谜题，重点研究了这类模型中最先进的两类，即 TabPFN 和 TabICL。研究人员想要知道，如何处理缺失数据的选择是否会改变对模型决策的解释，以及当周围细节发生轻微变化时，这些解释是否保持稳定。为了查明真相，团队利用合成数据（其中正确答案是设计好的）和真实世界的数据集，进行了一系列大规模且经过精心设计的测试。他们测试了五种处理缺失信息的不同方式，范围从简单的平均值到更复杂的方法（即要求模型在移除缺失部分后重新评估情况）。结果揭示了一个惊人的事实：不存在一种解释这些模型的“最佳”方式。对于某一类问题能产生最准确解释的方法，往往是另一类问题的最差方法。
研究发现，方法的选择完全取决于你试图回答什么问题。如果你想知道如果干预并改变某个特定值，模型会如何表现，那么最准确的解释来自于简单地用平均值或标准占位符替换缺失数据的模型。然而，如果你想知道模型是如何基于它所展示的数据中的特定关系进行推理的，那么最好的解释则来自于那些要求模型在缺失部分被移除后进行重新语境化的方法。事实上，研究人员观察到，对于一个目标表现最好的方法，在另一个目标上往往表现最差。这意味着解释并不是模型的固定属性；它是相对于特定的问题而言的。如果不明确说明缺失数据是如何处理的以及期望得到什么样的答案，那么解释就是不可信的。
除了研究使用哪种方法外，该研究还调查了当环境发生变化时，这些解释的稳定性如何。在这些模型中，预测在很大程度上取决于用于构成上下文的具体示例。研究人员测试了改变列的顺序、标签的编码方式或用于启动模型的随机种子是否会改变解释。他们发现，这些因素几乎没有影响。相反，解释在压倒性程度上受被纳入上下文的具体示例的影响。换句话说，解释对模型正在观察的具体示例集高度敏感，但对其他技术变化却表现得异常稳定。这表明，解释的可靠性与所提供的特定上下文有关，而不仅仅是模型本身。
研究人员还通过添加一个包含完全无用信息的特征（本质上是一个“哑变量”）进行了安全性检查。他们预期模型会忽略这个特征并将其重要性设为零。然而，这两个模型经常会对这个无用特征做出反应并改变预测，为其分配显著的权重。这表明，这些强大的模型很容易受到噪声的影响，且它们的解释可以反映出这种敏感性。研究结论指出，对于这类人工智能系统，解释不是一个独立的事实。它是一个脆弱的构建体，取决于处理缺失信息的具体方法、正在被问及的具体问题，以及模型当前正在考虑的具体示例。要理解这些模型，我们必须停止寻找单一、通用的解释，而应开始明确我们需要什么样的解释，以及在何种条件下它成立。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。