Enhancing Interpretability in Credit Risk Modeling: A Synergistic Approach Integrating SHAP and Counterfactual Explanations

每当银行决定是否发放贷款时，它都会依赖一个模型来权衡一个人的财务历史与违约风险。几十年来，这些模型的逻辑足够简单，人类可以追踪其逻辑：如果你错过了还款，你的评分就会下降。但随着银行开始使用更强大的计算机系统来寻找海量数据中的微妙模式，逻辑变得隐藏在一个“黑盒”之中。这些先进系统可以非常准确地预测风险，但却无法解释它们为什么做出特定的决策。这产生了一个严重的问题。许多地方的法律现在要求贷方必须向申请人解释其决策，如果没有明确的原因，拒绝信贷会让人觉得是武断且不公平的。科学家们面临的挑战在于，如何既能保持这些复杂系统的高准确性，又能打开黑盒，揭示其内部的推理过程。

为了解决这个谜题，出现了两种新工具。第一种方法就像一个放大镜，能够精确显示哪些信息——例如支票账户的余额或贷款时长——将模型推向了特定的结论。第二种工具则更像是一个“如果……会怎样”的模拟器。它要求计算机想象一个人可以对自己的财务状况做出多么微小的改变，从而将一次拒绝转变为一次批准。虽然每种工具本身都很有用，但亚利桑那州立大学的研究人员想知道，如果将这两种方法结合起来，是否能创造出更清晰的图景。他们着手测试使用这两种方法结合是否不仅能解释决策是如何做出的，还能为被拒绝的人提供一条切实可行且公平的路径。

为了测试这个想法，研究人员使用了一组包含一千份来自德国真实贷款申请的知名数据集。他们构建了两种不同类型的预测模型，以观察它们的表现。一种模型采用了直观的线性方法，而另一种则使用了更复杂的系统，通过构建许多决策树来寻找模式。随后，他们将这种结合的解释方法应用于这两个模型。结果显示，在整体准确性方面，复杂的模型实际上并没有比简单的模型表现得好多少，但两类模型犯了不同类型的错误。简单模型更擅长捕捉那些可能违约的人，而复杂模型则更擅长避免误报。更重要的是，这种结合的解释方法效果显著。通过使用“放大镜”工具先识别最重要的因素，研究人员能够引导“如果……会怎样”模拟器更快地找到最佳解决方案。

研究发现，这种结合的方法显著提高了效率。当研究人员要求计算机寻找将拒绝转变为批准所需的最小变化时，旧的方法要求申请人同时想象改变大约三个不同的事项。而使用这种新的、受引导的方法，申请人只需要想象改变大约两个事项。这种复杂性的降低使得建议更容易被人类理解和执行。该系统成功生成了百分之百有效的建议，证明了它可以在不破坏模型规则的情况下，可靠地找到通往不同结果的路径。

除了使过程更加清晰外，研究人员还利用这一框架来寻找不公平现象。他们发现，即使申请人的财务状况相似，模型对不同人群的处理方式也存在差异。例如，即使在财务状况相当的情况下，单身男性被标记为高风险的可能性也高于已婚或丧偶的男性。分析表明，模型对单身男性的要求更为严格，要求他们做出更大的财务改善才能获得批准。通过使用结合工具，研究人员能够精准定位这种偏见发生的位置。他们发现，缺乏支票账户对单身男性评分的影响比对已婚男性的影响更大，这表明模型从其训练的历史数据中学习到了隐藏的偏见。

研究人员还发现，这些决策中最有力的因素并非年龄或性别等人口统计学细节，而是具体的财务现实。支票账户的状态和信用还款记录是驱动决策的主导力量。这是一个令人欣慰的发现，因为它表明模型关注的是实际的偿还能力，而非无关的个人特征。然而，研究也强调，即使主要因素是公平的，模型衡量这些因素的方式仍可能为不同群体创造不平等的结果。这种结合的解释方法能够揭示这些微妙的不平等，展示出为了达到同样的结果，一个群体需要付出比另一个群体多出多少努力。

最终，这项工作表明，我们不必在智能模型与公平透明的模型之间做选择。通过将解释过去的能力与建议更好未来的能力交织在一起，金融机构可以构建出既准确又透明的系统。研究表明，当我们利用最重要的因素来引导解决方案的搜索时，我们可以为申请人提供清晰、可操作的建议，并尊重他们的具体情况。这种方法超越了仅仅告知一个人被拒绝的层面；它提供了一份具体的、公平的路线图，指导他们如何改善自己的地位，确保服务于我们金融生活的技术能够对受其影响的人负责。