Governing Agentic AI in FinTech
本文认为，金融科技领域代理型人工智能（agentic AI）的主要治理约束并非能力，而是可验证性，通过引入“可验证性差距”并结合实证研究证明，当前系统缺乏进行具有后果性的金融决策时所必需的可复现性和可解释性，从而无法实现可靠的委托。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位宇宙飞船的船长，但你并没有亲自驾驶飞船，而是雇佣了一群聪明、快速的机器人机组人员来负责导航。你告诉他们：“带我们去那颗红色的星球。”于是他们便全速出发，查阅地图、计算燃料并点火推进，而不需要每一步都征求你的许可。这就是*智能体AI（Agentic AI）*的世界：它不仅仅是聊天或写诗，而是能真正“做事”的AI，比如审批贷款、买卖股票或管理资金。长期以来，科学家和银行家一直担心“黑盒”问题——也就是说，机器人做出了决定，但没人知道它是为什么*或者如何*做出的。通常的解决方法是反复运行机器人的大脑，看看它是否会给出相同的答案。但转折在于：如果机器人的大脑每次观察时都会发生变化呢？如果机器人忘记了自己的步骤，或者构建它的公司更换了它导航时使用的工具呢？这篇论文提出了一个可怕但必要的疑问：如果一个机器人今天做出了一个重大的财务决策，我们明天能否证明其发生的精确过程，还是说证据早已烟消云云散？
这篇题为《金融科技中智能体AI的治理》（Governing Agentic AI in FinTech）的论文由 Henry Han 撰写，深入探讨了这个谜团。作者认为，最大的问题不在于这些AI智能体是否足够聪明以做出决策，而在于我们能否验证（verify）它们。他提出了一个概念，叫做可验证性差距（Verifiability Gap）。你可以这样理解：你交给一个机器人一百万美元进行投资，它进行了一笔交易。稍后，一名审计员问：“给我看收据。”如果机器人无法向你展示它进行那笔交易的精确数字足迹，或者它向你展示的“收据”与它实际使用的收据不符，那么你要求它做的事情与你能证明它所做的事情之间就存在一个差距。论文指出，随着我们让AI智能体接管更多的控制权，这个差距正在扩大，我们可能正在盲目飞行。
为了弄清这个问题，研究人员使用金融场景（如贷款审批和股票交易）进行了三项不同的“实验室实验”。以下是他的发现，其中包含了一些情节转折。
首先，他测试了当AI的“大脑”进行更新时会发生什么。他使用了一个强大的AI模型，并在185天内运行了同样的32个金融案例。尽管指令完全相同，但AI的决策开始发生漂移。在后来的更新中，AI变得更加保守，在32个案例中有5个改变了主意。但真正的关键点在于：构建AI的公司还拿走了让用户控制AI思维方式的“旋钮”。他们取消了设置“随机种子”（一个让AI选择具有可重复性的数字）的功能。这就像机器人船长突然更换了飞船的引擎，然后锁上了控制室的门，说：“你不能再碰这些旋钮了。”研究发现，即使在控制最严密的条件下，本地版本的AI可以完美重复自己的行动（320次中的320次），但商业托管版本却不行（960次中的959次，以及960次中的959次）。AI做出了可以辩护的决策，但银行无法精确证明它是如何做到的，因为用于重现决策的工具已经消失了。
其次，论文研究了当你向团队中加入更多机器人时会发生什么。想象一下，是一个机器人独自工作，还是由50个机器人互相传递纸条组成的团队。研究人员发现，增加机器人数量不仅让系统变得复杂，它实际上还在无人察觉的情况下改变了游戏的“规则”。这就像一场接力赛，接力棒传递了太多次，以至于终点线的跑者根本不知道比赛是谁开始的。在这些多智能体设置中，最终的决策（判决）看起来可能是稳定的，但通往那里的路径却一团糟。事实上，研究发现，随着团队规模的扩大，AI开始对每一个案例都做出同样的决定，以此来确保安全。这就像一个学生在困惑时，会在每道考题上都写下“我不知道”。AI看起来非常可靠，因为它不断给出相同的答案，但它其实已经停止了对不同案例进行区分思考。论文称之为“退化结果可重复性”（degenerate outcome reproducibility）：它看起来很稳定，但实际上是失效的，因为它已经不再能区分不同的情况。
最后，研究人员测试了一个简单的、透明的信用模型（这种模型并非“黑盒”），以观察问题是否仅仅源于复杂的AI。他使用了同一个模型的两个版本，一个是旧版，一个是新版。尽管新模型与旧模型几乎完全一样，但它改变了1,937份贷款申请中的23份。由于分数仅移动了极小的幅度，一位申请人在旧模型中被拒绝，而在新模型中则被转交给人工审核。可怕之处在于：如果你试图用新模型去重演旧的决策，你是做不到的。新模型本身是完美的稳定，但它无法重现旧模型的历史。这就像如果你在配方中微调了盐的量，导致蛋糕的味道变了，但你却无法回到过去去品尝原先的蛋糕，因为你已经把旧的配方扔掉了。
那么，这一切意味着什么？论文表明，我们不能仅仅信任AI会做好它的工作并寄希望于最好结果。我们不能假设因为一个AI很聪明，它就一定具备问责能力。作者提出了一个新的思维方式，叫做证据挂钩委托（evidence-contingent delegation）。这意味着，只有当我们能够保留一份完美的、不间断的“证据包”，能够证明AI是如何操作的，我们才应该让AI智能体做出重大决策。如果AI更换了大脑，或者它使用的工具发生了变化，或者机器人团队变得过于庞大且混乱，我们就必须停下来并说：“等等，我们无法再证明这一点了。”我们可能需要放慢速度，记录更详细的日志，或者让人类介入进行双重检查。论文并不是说AI不好，而是说，为了让AI在金融领域真正发挥作用，我们需要确保即使机器人已经转向下一个任务，我们依然可以回过头来看并说：“是的，这正是当时发生的过程。”如果没有这种证明，机器人可能正在驾驶飞船，但一旦坠毁，承担责任的将是我们。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。