RT-SIM: A Simulation Framework for Evaluating Large Language Models for Trade Reconstruction and Reconciliation in Financial Operations
本文介绍了 RT-SIM，这是一个仿真框架，它证明了只要对话是明确的或仅含有噪声，前沿大语言模型就能有效地从交易员沟通中重建交易以进行金融对账，但在歧义或语义退化的情况下，其性能会显著下降。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，金融世界就像一场规模宏大、高速进行的卡牌交易游戏，只不过人们交换的不是纸质卡牌，而是每秒钟价值数十亿美元的数字资产。在这个混乱的竞技场中，有两件事是至关重要的：确保你确实拥有你认为拥有的那些卡牌，以及确保你的对手没有在偷偷持有假卡。这就是“交易对账”（trade reconciliation）的工作——这是一个高级术语，指的是双重检查你进行的交易是否与计算机记录的交易相符。通常，这是通过对比两份数字列表来完成的。但这里有一个转折：交易员并不只是把数字输入电脑；他们彼此交谈。他们聊天、开玩笑、争论，有时还会感到困惑。几十年来，这些对话一直被安全系统忽略，因为它们太乱了，难以阅读。现在，一种新型的计算机大脑——大语言模型（LLM）已经到来。把 LLM 想象成一个超级聪明、不知疲倦的实习生，它可以阅读成千上万条混乱的对话，并试图弄清楚到底发生了哪笔交易，即使交易员们在互相抢话或者使用俚语。大问题在于：这个超级实习生真的能胜任这份工作吗，还是会迷失在噪音之中？
这正是 Martin Higgins 和 Mackenzie Common 在他们的论文《RT-SIM》中所要探究的问题。他们不仅仅是在猜测；他们构建了一个类似视频游戏的模拟系统——RT-SIM，旨在受控的环境中测试这些 AI 大脑。想象一下，他们创建了一个虚拟交易大厅，在那里他们可以编写程序，让交易员表现得完美无缺、注意力稍有分散、完全困惑，甚至是在说完全不知所云的胡言乱语。然后，他们要求不同的 AI 模型去倾听这些聊天内容，并写下他们听到的交易。
结果非常清晰。当交易员表达清晰时，AI 的表现惊人。像 GPT-4o-mini 和 Claude Haiku 4.5 这样的模型可以重建交易，准确率超过 95%，即使交易员在聊很多关于天气或午餐的无关闲聊。事实证明，AI 非常擅长忽略“噪音”并寻找信号。然而，一旦交易员开始说谜语、自相矛盾或陷入困惑，AI 的表现就会骤降。在“困惑”场景下，某些模型的准确率从接近完美跌至不到 10%。而当交易员说完全不知所云的胡言乱语（gibberish）时，AI 并不会凭空捏造，它只是承认自己没有发现任何交易，这实际上是一件好事，因为这意味着 AI 不会凭空幻觉出虚假的交易。
研究人员还考察了成本和速度。他们发现，使用这些 AI 模型是非常便宜的——大约每笔交易 0.0002 美元，这意味着处理 10,000 笔交易只需 2.00 美元。速度也足够快，可以投入实时使用。主要的结论并不是说 AI 已经解决了所有的金融问题，而是它暗示了一个强大的新工具：如果我们能够倾听交易员的对话，我们或许能比现在更快地捕捉到错误甚至欺诈行为。然而，这项研究警告说，这个工具只有在对话本身具有逻辑意义时才有效。如果交易员表达得太模糊或自相矛盾，AI 就无法提供帮助。因此，虽然这项技术已经成熟且价格低廉，但它完全取决于它试图解码的人类闲谈的质量。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。