🤖 machine learning

The Standard Interpretable Model: A general theory of interpretable machine learning to deductively design interpretable methods using Lagrangian mechanics

本文介绍了标准可解释模型（Standard Interpretable Model, SIM），这是一种基于拉格朗日力学的通用理论，通过将用户定义的假设转化为数学约束来演绎出可解释方法，从而统一了碎片化的研究，并实现了对优化后的不透明模型以及固有可解释架构的系统化设计。

原作者： Pietro Barbiero, Giovanni De Felice, Mateo Espinosa Zarlenga, Francesco Giannini, Filippo Bonchi, Mateja Jamnik, Giuseppe Marra, Ruggero Noris

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Pietro Barbiero, Giovanni De Felice, Mateo Espinosa Zarlenga, Francesco Giannini, Filippo Bonchi, Mateja Jamnik, Giuseppe Marra, Ruggero Noris

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你制造了一台功能极其强大且复杂的机器（一个人工智能模型），它可以预测天气、诊断疾病或创作诗歌。但问题在于，这台机器是一个“黑盒”。你输入数据，它输出答案，但你完全不知道它是如何得出结论的。这就像一位厨师做出了美味的汤，却拒绝告诉你食谱或锅里到底放了什么食材。

这篇论文介绍了一个名为标准可解释模型（Standard Interpretable Model, SIM）的新框架。请不要把 SIM 仅仅看作一个特定的食谱，而应将其视为一套构建透明机器的通用蓝图。它利用物理学定律（具体来说是拉格朗日力学，即用于描述行星运动的数学原理）来创建一个分步指南，用于设计人类能够理解的人工智能。

以下是论文通过简单的类比对该框架进行的拆解：

1. 核心思想：“理解”的物理学

作者认为，为了理解复杂的事物，科学家通常会寻找对称性——即即使改变视角，事物依然保持不变的特性。

类比： 想象一个旋转的陀螺。无论你从左边、右边还是上方观察，它仍然是一个旋转的陀螺。这种“一致性”就是一种对称性。
在 AI 中： 论文提出了这样一个问题：“为了让一个人类能够理解，AI 的内部逻辑必须保持哪些部分是不变的？”他们提出，对于一个具有可解释性的 AI 而言，其内部逻辑必须尊重相对于人类用户的特定“对称性”。

2. 三条游戏规则（前提条件）

论文根据人类思考和说话的方式，定义了三个使 AI 具备可解释性的“规则”。

规则 1：共享语言（概念语义）
- 隐喻： 想象你和朋友正在玩一个指认物体的游戏。如果你指着一个红苹果并说“红色”，你的朋友必须也认同它是红色的。如果你指着一个绿苹果却说“红色”，这个游戏就玩不下去了。
- 规则： AI 使用的词汇（概念）必须对人类和对 AI 而言具有相同的含义。如果 AI 认为“红色”意味着“蓝色”，那么它就失去了可解释性。论文展示了如何强制 AI 遵循这些含义的顺序（例如：如果物体 A 比物体 B 更红，AI 也必须认同这一点）。
规则 2：禁止花招（预测与概念的依赖关系）
- 隐喻： 想象魔术师从帽子里变出一只兔子。如果这只兔子实际上是从魔术师隐藏的袖口里钻出来的，那么观众所看到的“魔术”并不是真正的魔术。
- 规则： AI 的最终答案必须仅取决于它向你展示的概念。它不能秘密地使用人类看不见的隐藏变量或内部数据来“作弊”。如果 AI 说“我预测会下雨，因为有云”，那么它必须是真的在观察云，而不是在使用某种你看不到的秘密代码。
规则 3：不要过度复杂化（受限推理）
- 隐喻： 如果你要求人类解决一道数学题，人类可以处理像 $2+2$ 这样简单的方程。但人类无法瞬间解开一个包含无限变量的千页方程。人类的大脑是“受限的”（有限的）。
- 规则： AI 的解释必须足够简单，以便人类能够跟随。它不能使用一种人类无法追踪的过于复杂的推理方法。AI 必须遵循一套人类能够消化吸收的推理风格“菜单”。

3. 蓝图：从理论到构建

论文提供了一个“拉格朗日量”，这本质上是一本数学构建手册。它提供了两种构建遵循这些规则的 AI 的方法：

方法 A：“软性”方法（带约束的训练）
- 想象你在训练一只狗。当它坐下时，你给它奖励；当它跳跃时，你温柔地对它说“不”。随着时间的推移，它学会了规矩。
- 在这种方法中，你获取一个标准的 AI，并为其训练过程添加“惩罚项”。如果 AI 试图使用秘密的隐藏变量（违反规则 2）或使用了错误的“红色”定义（违反规则 1），数学公式就会惩罚它。AI 会学习改变行为以避免惩罚，从而逐渐变得具有可解释性。
方法 B：“硬性”方法（架构编译）
- 想象制造一辆汽车，其方向盘在物理结构上直接连接并固定在前进轮上。你无法在不转动车轮的情况下转向。因此，作弊是不可能的。
- 在这种方法中，论文设计了 AI 的结构，使其在物理上不可能违反规则。AI 仅由允许的概念和推理风格构建而成。它不需要被“教导”如何诚实；它的设计本身就强迫它保持诚实。

4. 研究发现（实验结果）

作者测试了这一框架，并发现了一些令人惊讶的事实：

标准指标会撒谎： 仅仅因为一个 AI 得到了正确答案（低误差），并不代表它正确理解了概念。一个 AI 可以在理解“红色”或“蓝色”完全错误的情况下，依然猜中正确答案。
现有的“解释”往往是伪造的： 他们测试了许多生成“思维链”（Chain of Thought）解释的流行 AI 模型（类似于人类的自言自语）。他们发现，AI 的最终答案往往并不真正依赖于这些思考过程。解释只是 AI 编造的一个故事，而不是决策的真实原因。
大型模型是可以修复的： 他们证明了即使是庞大复杂的模型，也可以通过改变其处理信息的方式进行“修复”，使其遵循这些规则，而无需从头开始重新训练。

总结

标准可解释模型（SIM）是一种看待人工智能的新方式。它不再仅仅是“希望”一个 AI 是可理解的，而是为科学家提供了一套严谨的数学食谱，通过构造手段来设计出可理解的 AI。它将“可理解性”视为一种物理定律（对称性），并将其构建进机器的代码中，从而确保 AI 的“思考”过程与人类的逻辑相匹配。

技术摘要：标准可解释模型 (Standard Interpretable Model, SIM)

问题陈述

随着人工智能模型的复杂度不断增加，可解释性对于这些系统的调试、控制和确保公平性变得至关重要。然而，该领域目前缺乏一种通用的、系统性的理论来演绎设计可解释方法。现有的文献呈现碎片化状态，存在评估协议不一致以及理论原则与实际实现（如损失函数、架构和指标）之间脱节的问题。当前的方法往往无法将抽象的可解释性原则转化为具体的、可操作的方法，导致模型难以进行系统性的比较、复现或在其基础上进行构建。

方法论：标准可解释模型 (SIM)

作者提出了标准可解释模型 (SIM)，这是一个基于拉格朗日力学和“不变量”（对称性）概念的通用理论。SIM 提供了一个演绎框架，用于从一组用户定义的假设中推导出可解释的机器学习 (ML) 方法。

该框架通过六个步骤运行：

可解释性前提 (Interpretability Premises)： 为特定的目标实体 $h$ （例如，具有有限推理能力和形式化词汇的人类）定义什么是“可解释”。
可解释性对称性 (Interpretability Symmetries)： 将这些前提形式化为在特定变换 $g$ 下保持不变的属性。
可解释性约束 (Interpretability Constraints)： 将对称性转化为操作性约束 $q(z) \leq 0$ ，用以量化对对称性的违反程度。
拉格朗日表述 (Lagrangian Formulation)： 构建一个拉格朗日量 $\mathcal{L} = T - V$ ，其中 $T$ 代表参数动力学， $V$ 是包含可解释性约束的目标函数（损失）。 $V$ 的极小值点对应于最优的可解释模型。
轨迹/优化 (Trajectories/Optimization)： 推导运动方程（例如，带有动量的梯度下降），通过最小化 $\mathcal{L}$ 的作用量积分，将参数 $\theta$ 从一个不透明的模型更新为一个可解释的模型。
约束编译 (Constraint Compilation)： 或者，直接将约束编译进模型架构中，通过构造而非通过优化惩罚来确保可解释性的成立。

案例研究：受限且形式化的实体

本文为具有固定词汇、语义和有限计算资源的特定目标实体 $h$ 推导出了 SIM 的一个具体实例。该推导产生了三个核心对称性和相应的约束：

对称性 I (概念不变性)： 模型的概念映射必须在单调变换下保留人类概念语义的偏序 (preorder)（即排序）。
- 约束： 模型的成对概念得分差异必须尊重人类诱导的排序。
对称性 II (预测-概念依赖性)： 模型的预测必须仅依赖于共享概念。预测函数的梯度必须位于概念梯度的张成空间内。
- 约束： 预测雅可比矩阵在概念梯度子空间上的投影必须是不变的（即对概念空间之外的方向不具备敏感性）。
对称性 III (有限推理)： 概念组合成预测的过程必须属于目标实体可处理的假设类（例如，稀疏线性函数）。
- 约束： 概念公式必须是特定微分算子 $K[h]$ 的解（例如，对于线性函数，黑塞矩阵/Hessian 必须为零）。

这些约束构成了“可解释性景观” $V$ 。SIM 统一了可解释架构的设计（通过编译约束）和约束优化的设计（通过向损失函数添加惩罚项）。

核心贡献

通用的可解释性理论： SIM 提供了一种从第一原理出发演绎设计可解释方法的通用方法，弥合了抽象理论与操作设计之间的鸿沟。
大规模模型的操作框架： 作者应用 SIM 来分析并改进大规模模型，展示了如何在不重新训练的情况下识别并修复“损坏”的概念语义和预测依赖。
系统性比较与差距分析： 该框架将现有的可解释模型家族（如概念瓶颈模型 Concept Bottleneck Models、原型网络 Prototypical Networks、稀疏自编码器 Sparse Autoencoders）视为特例进行包容，揭示了诸如缺乏保证的共享语义或过度约束的假设空间等局限性。
软件实现 (PyTorch Concepts)： 该理论被转化为开源库 PyTorch Concepts (PyC)，提供了直接对应于理论对称性和约束的模块化层、损失函数和指标。

实验结果

本文通过受控实验和对大规模模型的应用验证了 SIM：

对称性验证：
- 对称性 I： 标准性能指标（如平均绝对误差 MAE）无法捕捉语义保留情况。最小化 MAE 的模型往往违反人类诱导的概念排序，而具有编译约束的模型（架构 I）则能完美保留语义。
- 对称性 II： 基于优化的约束强制执行（将惩罚项添加到损失中）仅能实现预测与概念之间的局部对齐。若要保证全局依赖性，则需要架构编译（强制预测为概念的函数）。
- 对称性 III： SIM 允许通过拉格朗日乘子调节概念公式的复杂度（例如，线性与非线性），在灵活拟合与有限推理之间进行插值。
大规模模型应用：
- 视觉语言模型 (VLMs)： 预训练的 VLM（如 CLIP, Moondream2, Qwen2）经常产生不一致的概念成对排序（例如，“红色”的概念），违反了对称性 I。然而，作者展示了通过使用有序原型来恢复正确的排序，可以在无需训练的情况下修复无标签的概念语义。
- 思维链 (CoT)： 对 Qwen2.5 的实验表明，CoT 解释在很大程度上独立于实际的预测计算（表现出高度的对称性 II 违背），这表明它们并非忠实的解释。
- 基于概念的大型语言模型 (Steerling-8B)： 分析显示，大型概念模型的预测依赖于极小比例（约 1.5%）的监督概念。这种依赖关系可以在推理阶段进一步稀疏化，证实了这些模型可以通过设计实现可控性。

意义与主张

本文声称，SIM 将可解释性的视角从一种非正式的方法集合转变为一个严谨的、演绎性的研究领域。

统一性： 它提供了一种单一的语言（拉格朗日力学）来调和碎片化的形式化定义、损失函数和架构。
用户感知： 它通过参数化目标用户的特征，明确地体现了可解释性，承认不同的前提会产生不同的、内部一致的理论。
可证伪性： 该框架通过分析性检查（不变性）、经验测试（约束违背）和认识论评估（用户研究）使可解释性主张变得可证伪。
教学价值： 通过将可解释性建立在几何、物理和逻辑等既定原则之上，SIM 为高等教育中的可解释性教学提供了基础。

作者强调，SIM 并不声称解决了所有可解释性问题，而是提供了一套系统性的配方，用于推导可解释方法、识别现有方法的局限性，并指导未来编程接口和研究方向的设计。