PolicyShift-AML: Auditing Selective-Label Policy Dependence in Anti-Money-Laundering Transaction Monitoring
本文介绍了 PolicyShift-AML，这是一种受控审计协议，它揭示了反洗钱模型的离线性能往往反映的是机构审查政策而非真实事件状态，同时提出了一种非负正向-无标签估计器，与标准基准相比，该估计器在依赖于策略的标签选择下显著提高了潜在召回率。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在金融业的高风险世界中，一场针对洗钱的无声战争每秒都在上演。银行使用自动化系统扫描数百万笔交易，寻找暗示非法活动的模式。然而，这些系统面临着一个根本性的盲点：它们很少能看到全貌。它们只能看到触发人工审查的警报系统所标记的交易。绝大多数交易，即使是那些可能具有可疑性的交易，也会在无人察觉的情况下通过。这创造了一个扭曲的现实图景，即计算机模型学习的是识别银行自身的调查规则，而非犯罪者的实际行为。如果银行改变了其标记可疑行为的规则，模型的性能就会崩溃，这并非因为犯罪分子改变了手段，而是因为模型是基于一个特定的、狭隘的数据切片进行训练的。这个问题被称为选择性标注（selective labeling），意味着一个在测试中表现完美的系统，在现实世界中可能会完全失效，因为它记住的是调查员的习惯，而非犯罪本身。
特拉布宗大学的一位研究人员开发了一种新的测试这些系统的方法，通过剥离干扰，来观察它们在多大程度上依赖于用于训练的具体规则。这项名为 PolicyShift-AML 的研究并没有使用通常难以获取且受法律限制的真实银行数据，而是使用了一个由 300 万笔交易构成的、经过精心构建的大规模模拟环境。在这个数字实验室中，研究人员创建了一个固定的“潜在”事件流，代表了交易是否真正具有可疑性的真实状态。随后，他们在同一个流之上运行了五种不同的调查策略。每种策略都像是一家拥有不同决策规则的银行，尽管如此，所有五种策略都被设计为审查相同总数的交易。通过保持底层真相不变，仅改变被标记为可疑的规则，团队能够精确隔离出模型的成功在多大程度上取决于其训练所用的特定策略，而非对犯罪检测的实际能力。
结果揭示了目前评估这些模型时存在的显著漏洞。当研究人员使用来自一种特定调查策略的数据来训练模型，并将其在固定的真实事件流上进行测试时，性能表现会根据所使用的训练策略而产生剧烈波动。对于一种常见的模型类型，仅仅通过改变训练策略，其发现前 500 名可疑交易的能力就在约 26% 到近 38% 之间波动。这种 26% 到 29% 的性能差距表明，模型并未学习到关于洗钱的普遍真理；它学习的是其所接收到的调查方法的特定特征。更具启发性的是，研究发现标准的评估方法具有危险的乐观倾向。当一个模型仅使用其训练过的标签进行测试时，它表现出的性能看起来比它针对真实真相（ground truth）的实际能力要好得多。在一种情景中，标准模型的表现出的成功率比其发现真实威胁的实际能力高出 10 个百分点以上，这为依赖它的机构制造了虚假的安全感。
为了解决这一问题，该研究引入了一种更稳健的模型训练方法，以应对这些缺失的信息。这种被称为正向-无标签学习（positive-unlabeled learning）的方法，并不将未受调查的交易视为无害，而是将其视为需要与已知可疑交易进行仔细权衡的未知项。研究人员构建了一个新的估计器，该估计器考虑了交易被选中进行审查的可能性，从而纠正了由调查策略引入的偏差。在模拟具有真实的三十天延迟（即从交易发生到确认其是否真正可乎疑之间存在三十天间隔）的情况下，这种新方法在发现前 500 个威胁方面的成功率达到了约 40%。这相比于在相同条件下徘徊在 23% 左右的标准模型有了实质性的提升。这种新方法在模拟中的准确性极高，几乎达到了“先知”（oracle）系统的水平——即一个预先知道真实概率的理论完美模型——这表明，通过正确的数学修正，模型可以学会看透训练数据的局限性。
研究还测试了添加账户间过去交互的历史记录（以关系图的形式呈现）是否会使模型更加稳定。虽然这些基于图的特征对于新方法发挥良好作用至关重要，但它们并未能让模型免受训练策略的影响。模型仍然表现出对训练方式的敏感性，这从侧面证明了仅靠复杂的网络数据无法解决政策依赖性的问题。此外，研究人员测试了一种特定类型的犯罪行为在训练数据中完全隐藏的情景。即便使用了先进的技术，模型也无法可靠地识别这些隐藏模式，因为没有任何示例可供学习，这凸显了没有任何统计修正能够识别出在训练历史中完全不存在的威胁。研究结果表明，虽然更好的统计工具可以显著提高检测能力，但它们无法取代对多样化且具有代表性的数据的需求。
最终，这项研究是对金融业防御体系的一次关键压力测试。它表明，模型的性能并非一个固定数值，而是一个随着生成其训练数据的规则而变化的变量。研究认为，银行和监管机构必须超越简单的准确率评分，转而审计其模型在不同调查策略下的行为。通过理解一个系统可能非常擅长发现其当前规则所能捕捉到的特定类型欺诈，但在发现其他类型欺诈方面却表现不佳，机构可以避免部署脆弱且具有误导性的工具。这项工作并不声称解决了洗钱问题，但它提供了一个清晰且可复现的框架，用于揭示现有系统中隐藏的假设，确保当一个模型被部署时，它已经准备好应对现实世界的复杂性，而不仅仅是满足于其训练数据的狭隘视角。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。