Machine learning reduces audit detection risk in 3.3 million public sector general ledger transactions

あなたは、330万個の正真正銘のコインが詰まった巨大な袋の中から、たった一つの偽造コインを見つけ出そうとしている探偵だと想像してください。金融監査の世界では、これが日常的な挑戦です。膨大な金額の記録の中から、間違いや不正を見つけ出すのです。従来、監査人は「金額単位サンプリング（Monetary Unit Sampling: MUS）」と呼ばれる手法を用いてきました。これは、金塊は必ず大きな山にあると想定して、最も目立つ大きな塊だけを掘り返す宝探しのようなものです。彼らは、小さな静かな砂のポケットは安全だと決めつけ、そこを無視してしまいます。しかし、もし偽造コインがその無視された小さなポケットの中に隠れていたらどうでしょう？ それがリスクです。大きなものばかりを見ているために、悪いものを見逃してしまう可能性があるのです。

これを解決するために、科学者たちは「機械学習」へと目を向けています。これは、探偵に超スマートで疲れを知らないロボットの助手を与えるようなものです。この助手は、大きな記録だけでなく、袋の中にあるすべての記録を読むことができます。人間の目では見逃してしまうようなパターン、例えば数字の奇妙なリズムや、「場違い」な感じがする取引などを探します。目標は「発見リスク（detection risk）」、つまり探偵が犯罪を見逃してしまう確率を下げることです。もしロボットが小さなポケットの中にある偽造コインを見つけることができれば、監査はより安全かつ迅速になります。この論文は、大きな問いを投げかけています。このロボットの助けは、従来の「大きな塊を掘る」方法よりも、実際の政府の資金記録における間違いをより良く見つけ出すことができるのか？ そして、人間である監査人が信頼できる形で、なぜそれを見つけたのかを説明できるのか？

スーパースキャナー：AIはいかにして干し草の山から針を見つけたか

この研究において、モンゴルの研究チームは、公共エネルギー事業の財務記録をチェックするための、4層構造の「スーパースキャナー」を構築しました。彼らは単に作り物の数字でテストしたわけではありません。2023年、2024年、2025年の3年間におよぶ、3,329,189件もの個別の金銭取引を含む、膨大な現実世界のデータセットに投入しました。これは、合計16.34兆トゥグリック（かなりの金額です！）に達するデータの山でした。

旧来の方法 vs 新しい方法
研究者たちは、新しい機械学習システムを、前述の「大きな塊を掘る」方法のような旧来の標準と比較しました。旧来の方法では、監査人はチェックすべき口座の**20%をランダムに抽出します。研究の結果、この旧来の方法には大きな溝があることが判明しました。つまり、「発見リスク（間違いを見逃す確率）」が38.05%から52.7%**の間であったのです。平たく言えば、これは、旧来の方法では、ほぼ半分のケースにおいて不正やエラーを完全に見逃してしまう可能性があることを意味します。

しかし、新しい機械学習システムは、あらゆるものを捕らえる網のように機能しました。このシステムは、330万件の全取引をわずか4.5時間で処理しました。これを比較すると、旧来の方法で同じ作業を行うには、人間の監査人が310時間から357時間を要していたことになります。これは**98.7%**の時間の削減です！

ロボットはどうやって学んだのか（教師なし学習）
通常、不正を見つけるようにロボットを教えるには、まず「正しい」記録と「悪い」記録の数千の例を見せる必要があります。しかし現実には、監査が終わるまで、どの記録が悪いのかは分かりません。これは一種の「鶏と卵」の問題です。

著者らは、「自己ラベル付け（self-labeling）」と呼ばれる巧妙なトリックでこれを解決しました。3組の異なる探偵（Isolation Forest、Z-score、およびTurn-ratio分析）が、それぞれ独立してデータを観察していると考えてください。もし少なくとも2つの探偵が、ある記録が不審であると同意した場合、システムはその記録を「異常（anomalous）」としてマークします。これにより、何もないところからトレーニングデータが生成され、メインのロボット（Random Forestモデル）は、あらかじめ用意された解答集を必要とせずに、悪党を見分ける方法を学ぶことができるのです。

結果：19倍の改善
このシステムをテストした際、結果は驚くべきものでした。Random ForestモデルはF1スコア0.966およびAUC 0.999を達成し、一方で「発見リスク」をわずか2.01%にまで低減させました。これは旧来の方法と比較して19倍の改善です。これが単なる偶然ではないことを証明するために、彼らは統計テスト（マクネマー検定）を実施しました。その結果、旧来の方法が1つの間違いを捉えるごとに、新しい機械学習モデルは旧来の方法が見逃した間違いを107個も捉えていたことが示されました。数学的な根拠は極めて明確であり、これが偶然起こる確率は0.001未満でした。

「集計によるマスキング」の驚き
この論文の中で最も興味深い発見の一つは、著者らが「集計マスキング効果（aggregation masking effect）」と呼ぶ現象です。彼らは、数字がどのように始まるべきか（例えば、数字の始まりに1、2、または3がどの程度現れるべきか）を予測する**ベンフォードの法則（Benford's Law）**という古典的なルールをテストしました。

330万件の個別取引を見たとき、数字は奇妙で、ベンフォードの法則を破っていました（これは操作の兆候です）。しかし、それらの取引を口座サマリー（例えば、一つの銀行口座に対するすべての取引の合計）としてグループ化したところ、その奇妙さは消えてしまいました！ 数字は完全に正常に見えたのです。

これは、群衆を一人ひとり観察すれば、赤い帽子を被っている人もいれば青い帽子を被っている人もいるのが見えるが、遠くから群衆全体の写真を撮ると、色が混ざり合って退屈なグレーに見える、というようなものです。研究によれば、もし監査人が「グレーの写真」（口座サマリー）だけを見ているのであれば、彼らは「赤い帽子」（取引レベルの不正）を見逃してしまうということです。これは、不正を確実に捉えるためには、単なる大きな要約ではなく、個々の取引を見る必要があることを示唆しています。

ロボットは自分自身を説明できるか？
AIに関する大きな懸念は、それが「ブラックボックス」であること、つまり答えは出すが「なぜ」を言わないことです。研究者たちは、ロボットの数学を「監査人の言語」に翻訳するレイヤーを追加することで、この問題を解決しました。システムは「特徴量Xが非常に高い重みを持つ」と言う代わりに、「この口座は、1年間に残高が**847%**急増しており、ISA 520のルールに抵触しているため、フラグが立てられました」と伝えます。

国家監査局の実際の監査人がこれらの説明をレビューしたところ、**94%**がそれらは完璧であり、一言も修正することなく公式報告書に使用できると回答しました。これは、ロボットが単に推測しているのではなく、人間の専門家が理解できる方法で推論していることを証明しています。

他のデータでも機能するか？
チームはまた、彼らのロボットが、再学習することなく他のセクター（異なる政府部門など）のデータを扱えるかどうかをテストしました。その結果、学習したエネルギー事業においては最高のパフォーマンスを発揮しましたが、それでも他のセクターにおいて、特定の学習なしに、旧来の「20%サンプリング」法よりも大幅に優れた性能を示し、ほとんどのエラーを捕捉することができました。

結論
この論文は、機械学習が単なる未来的なアイデアではなく、330万件の取引を4.5時間でスキャンし、高い精度（F1=0.966）とほぼ完璧な分離能（AUC=0.999）で間違いを見つけ出し、その結果を平易な英語で説明できる実用的なツールであることを示しています。また、要約された大きな数字を見るだけでは不十分であり、ノイズの中に隠れている不正を捕まえるためには、微細な詳細にズームインする必要があることも警告しています。著者らは、他の監査人がこの「スーパースキャナー」を使用して公金の安全性を高められるよう、このシステムをフリーのオープンソースソフトウェアとして公開しています。