Operational Evidence Gaps for LLMs in Fraud Detection and Trust-and-Safety Workflows

想象一下，你是这座规模宏大、繁忙的数字城市中的安全主管。这座城市有两大职责：一是确保街道安全，防止坏人（如诈骗者和欺诈者）作乱；二是确保每个人都遵守社区规则（如阻止仇恨言论或垃圾信息）。在过去，你雇佣了一支人类侦探团队来阅读每一封信件、检查每一笔交易并判断谁在说真话。但随着城市规模的扩大，人类团队已经不堪重负。

迎接新成员的是：大语言模型（LLMs）。不要把它们看作人类侦探，而要将它们视为极其快速、超级聪明的机器人，它们可以在一秒钟内阅读百万页的内容，并理解文字背后的含义。有人提议让这些机器人协助人类团队，通过标记可疑笔记、总结复杂案例，或者充当第一道防线。但棘手之处在于：仅仅因为机器人很聪明，并不意味着它已经准备好进入现实世界。在电子游戏中，机器人可能是完美的。但在现实城市中，如果机器人反应太慢，会导致交通拥堵；如果运行成本太高，会导致城市破产；如果被聪明的骗子误导，整个系统可能会崩溃。核心问题不仅是“这个机器人是否聪明？”，而是“我们能否信任这个机器人在我们忙碌、高压的城市中工作而不破坏任何东西？”

这篇题为《LLM 在欺诈检测与信任及安全工作流中的运营证据差距》的论文，就像是一份针对这些新招募机器人的严格检查报告。作者 Keyur Gabani 研究了 49 项关于使用这些 AI 机器人进行抓捕欺诈、阻止骗局和审核内容的各种研究和报告。其目标是观察是否有足够的证据证明这些机器人能够在真实的实时系统中完成工作，还是说它们仅仅是在沙盒里玩耍。

论文的主要发现是一个令人震惊的事实：我们对这些机器人能力的认知，与我们实际了解它们在现实世界中表现之间的存在着巨大的鸿沟。作者称之为“证据失衡”。

以下是这篇论文讲述的故事：

欺诈团队缺少计分板
在抓捕欺诈（如信用卡诈骗或网络钓鱼邮件）的世界里，研究人员发现了 18 项不同的研究。这些研究非常擅长展示机器人在“试管”中识别骗局的能力。它们可以以极高的准确率说：“嘿，这看起来像个骗局！”但当作者寻找关于现实世界表现的“计分板”时，却发现几乎是一片空白。

• 缺失的数据： 这 18 项欺诈研究中，没有一项报告了机器人做出单个决策所需的时间（延迟）；没有一项告诉我们做出单个决策需要花多少钱（成本）；也没有一项解释了机器人在做出判断时的确定程度（校准度）。
• 比喻： 这就像拥有一辆在测试赛道上已被证明速度极快的赛车，但没有人告诉你它每英里消耗多少汽油，或者它是否能应对雨天。你知道它可以跑得很快，但你不知道它在高速公路上行驶是否安全。

审核团队展示了更多底牌
在内容审核（阻止恶意评论或垃圾信息）的世界里，作者发现了 14 项研究。令人惊讶的是，这一组在处理现实世界事务方面表现得更加诚实。他们更有可能讨论机器人的运行时间、成本以及如何处理公平性问题（确保机器人不会不公平地对待不同群体的人）。

• 比喻： 审核团队就像一个不仅盖房子，还会提供详细材料清单和时间表的建筑队。他们仍在解决问题，但他们展示了自己的工作过程。

“FORTE”框架：一种看待机器人的新方式
为了理清这一切，作者创建了一种组织机器人的新方法，称为 FORTE。与其只问“这是什么模型？”，不如问“这个机器人在做什么工作？”

• 分类器（The Classifier）： 机器人扮演法官的角色，判定“有罪”或“无罪”。
• 助手（The Assistant）： 机器人通过总结长篇案卷来帮助人类侦探。
• 调查员（The Investigator）： 机器人外出搜集线索并撰写报告。
• 升级器（The Escalator）： 机器人处理简单的案例，仅将困难、复杂的案例移交给人类。

论文认为，我们不应再将这些机器人视为神奇的黑匣子，而应将其视为具有特定功能的特定工具。

这篇论文排除了什么
论文明确说明了它没有表达的内容。它并不是说这些机器人很糟糕或者我们不应该使用它们。它也不是说这些机器人已经准备好完全取代人类侦探。

• 现实检查： 作者明确指出，目前我们还没有足够的证据证明 LLM 现在可以取代实时欺诈引擎。我们不知道它们是否足够快、足够便宜，也不知道它们在面对试图欺骗它们的聪明黑客时是否足够安全。
• “沙盒”问题： 作者研究的许多研究都是“离线”进行的。这意味着它们是在安静的房间里利用旧数据进行测试。论文认为，这与在嘈杂、混乱、黑客正积极尝试入侵的实时城市中进行测试是完全不同的。

缺失的部分与未来
论文得出结论，在我们能够完全信任这些机器人进入我们的数字城市之前，我们需要填补缺失的计分板。作者为任何想要部署这些机器人的人提出了一个“最低清单”：

1. 延迟预算： 它需要有多快？
2. 单次决策成本： 每次检查的成本是多少？
3. 决策阈值： 机器人在什么时候会说“我不确定，让由人类来处理这个”？
4. 解释完整性： 如果机器人给出了决策理由，这个理由是真的，还是它只是编造出来的？
5. 对抗压力： 当坏人试图欺骗机器人时，会发生什么？

论文建议，目前最好的路径是采取“混合”方法。让快速、简单且廉价的工具处理容易的事情。将超智能、昂贵的机器人留给处理复杂案例、解释决策原因或协助人类侦探的任务。

简而言之，这篇论文是一份行动号召。它告诉我们，尽管这项技术令人兴奋且充满前景，但我们在许多领域目前仍处于盲飞状态。我们拥有了机器人，但我们还没有说明书。为了让这些系统既安全又实用，研究人员和公司需要停止仅仅展示机器人的聪明才智，而要开始展示它们在压力之下、时钟滴答作响以及成本真实存在的环境下是如何表现的。