Could Large Language Models work as Post-hoc Explainability Tools in Credit Risk Models?
本研究评估了大语言模型作为信用风险模型事后解释工具的使用情况，并得出结论认为，尽管大语言模型在受控提示下能够可靠地重现特征重要性排序，但由于其在自主生成解释方面存在对齐限制，它们最适合作为叙述式界面而非正式归因方法的替代品进行部署。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一名银行的贷款审批员。你有一个超级聪明但又神秘的计算机机器人（一个“机器学习模型”），它负责决定谁能获得贷款，谁不能。这个机器人非常擅长预测谁会还款，但它是一个“黑盒”。它只会给你一个“是”或“否”，然后给出一串数字说：“这个因素占了5%，那个因素占了3%。”
然而，监管机构和客户并不想看到一张数字表格。他们想要的是一个故事：“我们拒绝这笔贷款是因为申请人的债务过高且职业生涯不稳定。”
于是，**大语言模型（LLMs）**登场了。你可以把它们看作是 AI 世界里的“翻译官”或“讲述者”。它们能够将那些枯燥的数字转化为人类可读的段落。
这篇论文提出了一个非常具体的问题：我们能否信任这些 AI 讲述者，让它们如实讲述机器人做出决策的原因？
研究人员设置了两种不同的测试来寻找答案，使用的是来自 LendingClub 的真实贷款数据。
测试 1：“听写”测试（LLM 能否听从指令？）
实验设置： 研究人员将机器人使用的确切原因列表（按重要性从高到低排列）交给 AI 讲述者。然后要求 AI：“这里是原因列表。请将此列表改写成一个故事，但请务必保持完全相同的顺序。”
结果： AI 讲述者表现得完美无缺。
想象一位严厉的老师递给学生一张包含 24 种食材的清单，并说：“请按照这个精确的顺序写出一份食谱。”AI 完全做到了这一点。它没有调换食材，没有遗漏任何一项，也没有加入自己的想法。它忠实地将机器人的“数字列表”翻译成了“文字列表”，且没有改变原意。
启示： 如果你把事实交给 AI，它非常擅长将这些事实格式化为人类可读的故事。它的表现就像一名非常可靠的秘书。
测试 2：“侦探”测试（AI 能否自行推断？）
实验设置： 这次，研究人员没有给 AI 提供原因列表。他们只给了 AI 申请人的数据（收入、信用评分等）以及机器人的决策结果。他们问道：“基于这个人的数据，你认为做出这一决策的首要原因是什么？”
结果： AI 讲述者陷入了挣扎。
想象要求一名侦探在没有看到警察报告的情况下破案。AI 试图根据它对世界的普遍认知来猜测原因（例如，“哦，通常高额债务是不利的”）。
- 问题所在： 机器人（机器学习模型）是基于复杂的、隐藏的模式做出决策的，这些模式与通用的逻辑有所不同。AI 的猜测往往会偏离目标。
- “少样本（Few-Shot）”技巧： 研究人员尝试通过先给 AI 展示两个例子来提供帮助（例如，“这是我们如何解释一笔‘通过’的贷款，这是我们如何解释一笔‘拒绝’的贷款”）。这确实有一点帮助，但 AI 仍然无法完美匹配机器人的实际推理逻辑，尤其是在面对更复杂的机器人模型时。
启示： 当 AI 试图扮演侦探并自行推断原因时，它经常会把故事讲错。它可能会选出一些听起来很有道理的原因，但这些并不是机器人实际使用的真正原因。
最终结论：“翻译官” vs “侦探”
论文最后为如何在银行业使用这些工具提出了一个明确的规则：
- 不要将 AI 用作“侦探”： 你不能让 AI 去猜为什么贷款被拒绝。如果你这样做，你可能会给客户一个听起来很合理但实际上是错误的理由。这对于监管和建立信任是非常危险的。
- 要将 AI 用作“翻译官”： 你可以利用 AI 将经过数学验证的官方原因（由机器人计算得出）转化为一封易于理解、读起来亲切的信件给客户。
比喻：
把机器学习模型想象成一位烹饪复杂菜肴的厨师。
- AI 翻译官是一位美食评论家，如果厨师把食谱交给他们，他们就能写出极其精彩的菜单描述。
- 但如果你仅仅通过品尝食物（在没有厨师帮助的情况下）就要求美食评论家去猜食谱，他们很可能会猜错食材。
简而言之： 大语言模型擅长将数学转化为文字，但它们并不擅长去猜测数学本身。在信用风险领域，你必须始终让数学（机器人）来决定原因，而让 AI 仅仅负责讲述故事。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。