Addressing the Selection Problem in Explainable AI
本文识别了可解释人工智能（XAI）中的“选择问题”，即由于研究领域的孤岛化，用户难以选择有效的解释技术，并提出了一种多智能体大语言模型（LLM）编排工具，用于将用户查询自动转化为相应的 XAI 方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能飞速发展的世界里，一种无声的挫败感正笼罩着那些构建和使用这些系统的人们。随着机器逐渐学会对从医疗诊断到贷款审批的一切事务做出决策，一个被称为“可解释人工智能”（explainable AI）的领域应运而生，旨在帮助人类理解这些决策是如何做出的。其目标非常简单：为机器的输出提供一个清晰的理由，将“黑盒”转化为透明之物。然而，目前的现状充斥着数十种不同的生成理由的方法。有些方法强调计算机观察了图像的哪些部分，有些则展示输入中的微小变化会如何改变结果，或者仅仅是检索类似的过往案例以展示系统的通常行为。每种方法都在回答关于机器逻辑的不同类型的问题。问题在于，尽管研究人员已经构建了一个庞大的此类解释方法工具箱，但需要使用它们的人却常常站在一扇锁着的门前，不确定该选择哪种工具，也不知如何寻求正确的帮助。
卡内基梅隆大学的一个研究小组发现，这种困惑不仅是用户错误，更是这些系统设计中的一个根本性缺陷。他们称之为“选择问题”（selection problem）。在他们看来，目前我们与可解释人工智能交互的方式，迫使用户在看到任何解释之前，必须将自己的自然困惑转化为特定的技术指令。想象一下，一个人对于机器为何做出某种选择感到困惑；他们可能会想：“我想知道如果我改变这个细节会发生什么，”或者“我需要看一个类似的案例。”在目前的系统中，用户必须知道第一个想法需要一种被称为“反事实”（counterfactual）的特定解释类型，而第二个则需要“范例”（exemplar）方法。他们必须找到正确的按钮或菜单选项来选择该特定技术。研究人员认为，要求一个普通人了解这些不同解释方法的专业名称和功能，是一种不公平且不切实际的要求。由于用户无法可靠地将自己的问题与正确的技术工具相匹配，他们最终得到的解释往往并不能真正回答他们想知道的内容，从而导致困惑或对机器产生错误的信任。
为了证明这一点，作者将这种交互分解为一个逻辑序列。他们首先指出，人工智能模型本质上是一个接收输入并产生输出的函数。而解释仅仅是一个接收相同的输入和模型并产生理由的过程。至关重要的是，不同的解释过程旨在回答不同结构的疑问。用户在任何时刻的不确定性都是一种特定的心理状态，是他们想要填补的理解空白。研究人员表明，对于任何特定的理解空白，只有一小部分现有的解释方法才是真正有帮助的。然而，在我们今天使用的系统中，用户必须是那个在自然语言问题与技术方法之间架起桥梁的人。系统并不会询问：“你试图理解什么？”它只是等待用户去选择一个工具。由于大多数人并不具备将问题与工具匹配的技术训练，他们经常会选错工具。其结果是，系统提供了一个答案，但并不是用户特定需求下的正确答案。
该论文提出了一个结构性的解决方案来修复这一断裂环节：一个能够为用户处理转换过程的系统。新设计不再要求用户选择工具，而是要求用户直接用通俗易懂的英语表达他们的问题。随后，系统利用基于大语言模型的先进软件工具，倾听用户的困惑，并自动将其路由到正确的解释方法。这种方法将转换的负担从人类转移到了机器身上。系统接受用户的自然语言，弄清楚正在询问哪类问题，然后选择合适的解释技术来提供答案。这实现了一种更流畅的交互，用户无需了解该领域的专业术语。研究人员通过一个专为医学影像设计的原型展示了这一点。在这个例子中，医生可以输入类似“我不确定系统为什么标记了这个扫描件”的问题，系统会自动判断出医生需要一种特定的视觉解释，然后生成该特定的视图，而医生无需知道该技术的名称或在哪里可以找到它。
研究人员谨慎地将此定位为一个提案和对问题的形式化定义，而非一个已解决的危机。他们将自己的想法呈现为基于当前用户界面局限性的逻辑必然，并指出可解释人工智能之所以未能获得广泛信任，部分原因在于这种界面失配。他们并不声称已经构建出了一个完美、完备的产品，而是提供了一个关于未来系统应当如何构建的蓝图。通过将“匹配问题与工具”的任务从用户转移到系统，他们认为我们可以建立一种更有效、更值得信赖的人机关系。这项工作表明，未来的道路不在于构建更多的解释工具，而在于构建更好的让人们寻求这些工具的方式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。