Towards Attributions of Input Variables in a Coalition

本文针对可解释人工智能中变量归因缺乏理论指导的问题，通过分析交互作用导致的归因冲突，提出了一种扩展的 Shapley 值归因指标及三种联盟忠实度评估方法，以在合成数据、NLP、图像分类及围棋等场景中实现更符合人类直觉的变量分组归因。

要点

这篇论文探讨了一个在人工智能（AI）解释领域非常核心但常被忽视的问题：当我们试图解释 AI 为什么做出某个决定时，如何正确地“分组”它的输入信息？

为了让你轻松理解，我们可以把这篇论文的核心思想想象成**“如何公平地分蛋糕”或者“如何评价一个团队的表现”**。

1. 背景：AI 是个黑盒子，我们需要“分功劳”

想象一下，你有一个超级聪明的 AI 厨师（比如一个下围棋的 AI 或识别图片的 AI）。它做了一道菜（做出了预测），味道很好。

• 输入变量：就是它用的食材（比如面粉、鸡蛋、糖，或者围棋里的每一颗棋子）。
• 归因（Attribution）：就是我们要搞清楚，这道菜好吃，到底是谁的功劳？是面粉？是鸡蛋？还是糖？

传统的“谢普利值（Shapley Value）”方法就像是一个绝对公平的会计。它计算每个食材单独对这道菜的贡献，并且满足很多数学上的完美规则（比如：所有食材的贡献加起来等于整道菜的味道）。

2. 问题：当“食材”变成“菜系”时，账算不平了

但在现实生活中，我们往往不是单独看“面粉”，而是看“面团”（面粉 + 水）；不是单独看“棋子”，而是看“棋形”（几颗棋子组成的特定形状）。

这就引出了论文指出的核心冲突：

• 场景 A：我们把“面粉”和“水”分开算，算出面粉贡献了 3 分，水贡献了 2 分。加起来是 5 分。
• 场景 B：我们把“面团”（面粉 + 水）看作一个整体（一个联盟 Coalition），直接算“面团”贡献了 8 分。

冲突出现了：为什么 $3+2 \neq 8$？
这就好比：

• 单独看，张三（面粉）很努力，李四（水）也很努力。
• 但把他们俩绑在一起（面团），他们产生了化学反应，做出了比两人单独努力之和更棒的效果（或者因为配合不好，效果变差了）。
• 以前的方法没有理论告诉我们要怎么定义这个“面团”才算合理，导致算出来的“总功劳”和“分功劳”对不上号，让人很困惑。

3. 核心发现：AI 里的“化学反应” (AND-OR 交互)

作者发现，AI 模型内部其实充满了各种**“化学反应”**。

• AND 关系（与）：就像做蛋糕，必须同时有面粉和鸡蛋，蛋糕才能成型。缺一不可。
• OR 关系（或）：就像做饮料，有或者有柠檬，或者有橙子，都能让饮料变酸。

论文的关键突破在于：
他们发现，所谓的“功劳冲突”，是因为有些“化学反应”只涉及部分人，而不是整个团队。

• 例子：假设团队是 {A, B, C}。
  • 有一个化学反应是 {A, B} 在一起产生的（C 没参与）。
  • 当我们算 {A, B} 这个小组的功劳时，这个化学反应算进去了。
  • 但是，当我们把 A 和 B 拆开单独算，或者算 {A, B, C} 大团队时，这个 {A, B} 的化学反应就被“拆分”或“稀释”了。
  • 结论：只要 AI 模型里存在这种“只涉及部分成员”的化学反应，小组的总功劳就一定不等于成员个人功劳的简单相加。这不是计算错误，而是数学上的必然！

4. 解决方案：新的“分蛋糕”规则

既然冲突不可避免，作者提出了一套新的理论框架：

1. 重新定义“联盟功劳”：
   他们设计了一个新公式，专门用来计算一个“小组”（比如“面团”或“棋形”）的总贡献。这个公式考虑了所有涉及该小组的化学反应。

2. 三个“忠诚度”指标：
   既然有时候“小组”和“个人”算出来不一样，那怎么判断我们定义的“小组”是不是合理的？作者提出了三个指标来给“小组”打分：

   • 完全忠诚：这个小组就像一个完美的团队，大家在一起产生的效果，完全等于大家单独效果的总和（没有额外的化学反应干扰）。
   • 部分忠诚：大家在一起有额外效果，但也有一些内部摩擦。
   • 不忠诚：这个小组完全是乱凑的（比如把“面粉”和“酱油”硬凑在一起），算出来的结果毫无意义。

   比喻：就像评价一个足球队。

   • 如果 {前锋 + 后卫} 这个组合，他们的配合（化学反应）非常默契，那么把他们看作一个整体来评价是**“忠诚”**的。
   • 如果 {前锋 + 守门员} 这个组合，他们平时根本不配合，硬凑在一起算分，那就是**“不忠诚”**的。

5. 实验验证：从文字到围棋

作者用这套理论做了很多实验，证明它很管用：

• 自然语言（NLP）：在句子“这电影很无聊且令人失望”中，{无聊，令人失望} 是一个忠诚的联盟（它们一起表达了负面情绪）。但如果把 {无聊，电影} 凑在一起，可能就不太对劲。
• 图像识别：在识别马的图片时，{马头，马耳朵} 是一个忠诚的联盟，因为它们共同构成了“马头”这个概念。
• 围棋（Go）：这是最精彩的部分。AI 下围棋时，人类棋手会看“定式”（特定的棋子形状）。作者发现，AI 模型里确实存在这些形状对应的“化学反应”。
  • 有些形状（联盟）在 AI 眼里价值很高，且符合人类直觉（忠诚）。
  • 有些形状虽然 AI 觉得有价值，但人类看不懂（因为 AI 学到了人类没注意到的长期统计规律）。
  • 这套方法甚至帮助人类棋手发现了新的、以前没注意到的“好棋形”。

总结

这篇论文就像给 AI 解释领域发了一本**“团队管理指南”**。

它告诉我们：

1. 不要强求“小组功劳 = 个人功劳之和”，因为团队内部有复杂的化学反应（交互作用）。
2. 承认冲突：这种算不平账是数学规律决定的，不是算错了。
3. 学会评估：我们可以用新的指标来判断，我们定义的“小组”（比如把哪几个像素点或哪几颗棋子看作一个整体）是不是一个**“有机的、合理的团队”**。

这让 AI 的解释变得更加符合人类的直觉，也能帮助人类更好地理解 AI 到底在想什么，甚至反过来帮助人类专家（如围棋手）发现新的知识。

技术摘要

这是一份关于论文《Towards Attributions of Input Variables in a Coalition》（面向联盟中输入变量的归因）的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心挑战：
在可解释人工智能（XAI）领域，特别是基于 Shapley 值的归因方法中，存在一个根本性的挑战：输入变量的划分（Partition）缺乏理论指导。

• 现状： 现有的归因方法通常基于预定义的输入变量划分（例如，将图像划分为像素或局部区域，将文本划分为单词或 Token）来计算归因值。
• 问题： 当我们将一组输入变量视为一个整体（称为“联盟”，Coalition）时，该联盟的归因值 $\phi(S)$ 往往不等于其内部各个独立变量归因值 $\phi(i)$ 的总和。即存在归因冲突：$\phi(S) \neq \sum_{i \in S} \phi(i)$。
• 后果： 这种冲突导致难以判断哪些变量组合能形成一个“忠实”（Faithful）的基本解释单元。现有的工程化方法（如通过损失函数强制对齐）缺乏对冲突产生机制的理论解释。

2. 方法论 (Methodology)

本文提出了一种基于**AND-OR 交互（AND-OR Interactions）**的理论框架，从数学本质上解构并解决了归因冲突问题。

2.1 理论基础：AND-OR 交互

作者利用 AND-OR 交互理论将 AI 模型的输出分解为不同输入变量组合的非线性效应：

• AND 交互 ($I_{and}$)：只有当集合 $S$ 中所有变量都存在时，才产生的效应（类似逻辑“与”）。
• OR 交互 ($I_{or}$)：只要集合 $S$ 中任意一个变量存在，就产生的效应（类似逻辑“或”）。
• 通用匹配性：任何 AI 模型的输出都可以被精确地表示为这些 AND-OR 交互效应的数值总和。

2.2 归因机制的重构

作者证明了经典的 Shapley 值和 Banzhaf 值本质上是对这些交互效应的不同分配方式：

• Shapley 值重构：变量 $i$ 的 Shapley 值 $\phi(i)$ 等于所有包含 $i$ 的交互集合 $S$ 的效应值 $I(S)$ 乘以权重 $1/|S|$ 的总和。
• 联盟归因定义：作者扩展了 Shapley 值的定义，提出了联盟归因 $\phi(S)$。对于联盟 $S$，其归因值定义为所有完全包含 $S$ 的交互集合 $T$ ($T \supseteq S$) 的效应值，按 $|S|/|T|$ 的比例分配给 $S$。

2.3 归因冲突的数学解释

这是本文的核心发现。作者通过定理证明了归因冲突的来源：

• 冲突公式：$\sum_{i \in S} \phi(i) = \phi(S) + \phi_{conflict}(S)$
• 冲突项 $\phi_{conflict}(S)$：来源于那些部分包含 $S$ 但不完全包含 $S$ 的交互集合 $T$（即 $T \cap S \neq \emptyset$ 且 $T \cap S \neq S$）。
• 结论：如果模型将 $S$ 视为一个不可分割的整体（即不存在任何交互 $T$ 仅包含 $S$ 的部分变量），则归因冲突为零。否则，冲突是不可避免的，因为它反映了变量在更广泛的上下文中与其他变量（非 $S$ 成员）的交互作用。

2.4 联盟忠实度评估指标

为了量化一个变量组合是否构成一个“忠实”的联盟，作者提出了三个指标：

1. $R(i)$：衡量变量 $i$ 在联盟 $S$ 中的归因中，有多少比例来自“完全包含 $S$"的交互（即共享部分），而非“部分包含”的交互（冲突部分）。
2. $R'(i)$：更细粒度的指标，衡量变量 $i$ 在联盟 $S$ 中的交互强度占其总交互强度的比例。
3. $Q(S)$：衡量整个联盟 $S$ 的忠实度，即分配给 $S$ 的总效应占 $S$ 中所有变量总效应（无论是否作为整体）的比例。

• 判定标准：指标越接近 1，说明该联盟越忠实（即模型确实将其作为一个整体单元处理）；越接近 0，说明该联盟是人为强加的，内部变量在模型中是独立或部分交互的。

3. 主要贡献 (Key Contributions)

1. 理论突破：首次从交互（Interaction）的角度揭示了 Shapley 值与联盟归因之间冲突的内在机制。证明了冲突源于“部分覆盖”的交互效应，而非算法缺陷。
2. 新指标定义：提出了基于交互效应的联盟归因 $\phi(S)$，并给出了清晰的数学解释，使其满足匿名性、对称性、可加性等公理。
3. 评估体系：提出了三个量化指标（$R, R', Q$）来评估输入变量划分的“忠实度”，为选择合理的解释粒度提供了理论依据。
4. 广泛验证：在合成数据、NLP 任务（情感分析）、图像分类（MNIST, CIFAR-10）以及围棋（Go）游戏中验证了方法的有效性。

4. 实验结果 (Results)

• 合成数据实验：在人工设计的具有明确交互结构的函数上，该指标能准确区分“完全忠实”、“部分忠实”和“完全不忠实”的联盟。完全忠实的联盟指标值接近 1，不忠实的接近 0。
• NLP 任务 (SST-2)：
  • 对于短语 "mesmerizing performances"（迷人的表演），模型将其视为一个整体，指标值高（$Q \approx 0.74$），符合人类直觉。
  • 对于短语 "rivaling blair"（与 Blair 竞争），由于 "Blair" 通常与 "Witch" 连用，将其与 "rivaling" 强行组合破坏了语义，指标值低（$Q \approx 0.42$），被识别为不忠实联盟。
• 图像分类：在 MNIST 和 CIFAR-10 上，人工选择的具有语义连贯性的图像区域（如马的头部）被识别为高忠实度联盟，而随机组合的区域则为低忠实度。
• 围棋应用 (KataGo)：
  • 利用该方法分析围棋 AI 的“棋形”（Shape Patterns）。
  • 发现 AI 学习到的某些棋形（如“肩冲”）与人类棋手的直觉高度一致。
  • 同时也发现了一些人类未曾注意到的、基于长期统计规律的棋形模式，辅助人类棋手发现新的定式理解。

5. 意义与影响 (Significance)

• 理论指导实践：解决了 XAI 中“如何划分输入变量”这一长期悬而未决的问题。不再依赖经验或试错，而是通过计算指标来客观判断变量组合是否构成有意义的解释单元。
• 可解释性深化：通过区分“共享效应”和“冲突效应”，不仅解释了模型为什么做出决策，还解释了模型内部变量之间的依赖关系结构。
• 跨领域适用性：该方法不仅适用于传统的分类任务，还能深入分析复杂博弈（如围棋）中的策略模式，展示了其在理解复杂系统内部机制方面的强大能力。
• 人机对齐：实验表明，高忠实度的联盟往往与人类认知（如语义短语、视觉概念、围棋定式）高度一致，为构建更符合人类直觉的 AI 解释系统提供了路径。

总结：这篇论文通过引入 AND-OR 交互视角，从根本上解释了 Shapley 值归因中的冲突现象，并建立了一套完整的理论框架和评估指标，用于判断输入变量分组（联盟）的合理性，为可解释 AI 的变量划分提供了坚实的理论支撑。