Audit Detection Risk Reduction Using Machine Learning: Evidence from 3.3 million Transactions
本研究は、モンゴルのエネルギー事業体における330万件の実世界の取引に対して教師なし学習および教師あり学習モデルを活用することで、従来の手法と比較して監査検知リスクと処理時間を大幅に削減する4層の機械学習フレームワークを導入・検証し、同時にベンフォードの法則の異常における新たな「集計マスキング効果」を明らかにしている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、330万件以上の書籍（取引）を含む巨大な図書館の中に隠れている、少数のずる賢い泥棒を見つけ出そうとしている探偵だと想像してください。昔、監査人は「泥棒を見つける」というゲームを、**モンテカルロ・サンプリング（MUS）と呼ばれる手法を使って行っていました。これは、例えば探偵が、一番大きな本にこそ悪いものが隠れている可能性が高いと想定して、棚にある中で最も大きく重い本だけをチェックするようなものです。彼らは、検査するために約20%**の本を選んでいました。
問題は、この古い手法には巨大な空白があったことです。研究によると、重い本だけをチェックすることで、この古い手法は泥棒を見逃す確率が**38%から52%**にものぼりました。それは、まるで図書館の半分を捜索せずに、軽い本や小さな本に泥棒が隠れていないことを祈っているようなものでした。
新しいスーパースキャナー
研究者たちは、重い本だけでなく、図書館にあるすべての本をチェックするために、機械学習を用いた4層構造の「スーパースキャナー」を構築しました。彼らには、AIの一般的な問題である「既知の泥棒のリスト（学習データ）」がありませんでした。そのため、彼らは3つの異なる検出ツールを連携させて、独自の「違和感」を見つけ出す方法でスキャナーに学習させました。
- アイソレーション・フォレスト（Isolation Forest）: 群衆の中で目立って浮いている項目を見つけ出すツール。
- Zスコア（Z-score）: 数値が平均からどれくらい離れているかを測る定規。
- 借貸比率（Debit-Credit Ratio）: 入ってくるお金と出ていくお金が一致しているかを確認する天秤。
もしこれらのツールが、あるアカウントが疑わしいと一致して判断した場合、システムはそれをフラグ立てします。その後、「教師」（ランダムフォレストのような教師あり学習モデル）がこれらのフラグから学び、不正を見つける能力をさらに高めていきます。
結果：巨大な飛躍
彼らがこの新しいスキャナーを、モンゴルのエネルギー企業の3,329,189件の取引に対して、従来の「20%チェック」手法と比較テストしたところ、驚くべき結果が出ました。
- 速度: 古い手法では人間が作業を行うのに310〜357時間かかりましたが、新しいスキャナーはわずか4.5時間で完了しました。これは、時間の**98.7%**削減です！
- 精度: 古い手法の「検出リスク（泥棒を見逃す確率）」は**38.05%〜52.7%でしたが、この新しいランダムフォレスト・モデルは、そのリスクをわずか2.01%**にまで抑えました。
- 「見逃し」の比率: マクネマー検定（McNemar's test）という統計テストにおいて、古い手法が捉えた1つのアカウントに対して、新しいモデルは古い手法が完全に無視してしまったアカウントを107個も捉えました。
このモデルは非常に優秀で、一度も見聞きしたことのない新しい年のデータ（FY2025）でテストを行った際も、0.955という精度（F1スコア）を維持しました。また、他のセクターに対しても合理的な精度を示しましたが、学習したデータに対して最も高いパフォーマンスを発揮しました。
「集計の魔法」
この論文における最も興味深い発見の一つは、著者たちが**「集計によるマスキング効果（Aggregation Masking Effect）」**と呼んでいるものです。
マーブル玉が入った袋を想像してください。もしマーブル玉を一つずつ個別に観察すれば、そこに描かれた数字が奇妙なパターン（数値が自然に現れる仕組みを予測するベンフォードの法則への違反）に従っていることがわかるかもしれません。しかし、もしそれらのマーブル玉をすべて叩き潰して、巨大で滑らかな粘土の塊（勘定科目の合計額へと集計すること）にしてしまったら、その奇妙なパターンは消えてしまいます！数字は完全に正常に見えるようになります。
研究によれば、330万件の個別の取引を見たとき、数字は不審なほど奇妙でしたが（p < 0.05）、9,909件の勘定科目サマリー（「粘土の塊」）を見たときには、その奇妙さは消え去り、数字は完璧に正常に見えました（MAD < 0.006）。
これは、通常、勘定合計（「粘土の塊」）のみをチェックする標準的な監査ソフトウェアが、個々のマーブル玉（取引）の中に隠れている不正を見逃していることを意味しています。論文は、すべてを捕まえるためには、監査人は両方のレベルをチェックする必要があると示唆しています。
なぜ監査人に好まれるのか
通常、AIは「問題を見つけた、私を信じろ」と言うだけのブラックボックスになりがちです。しかし、このシステムには、その発見を監査人がすでに使用している言語（国際監査基準、またはISA）に翻訳する特別なレイヤーが含まれています。「特徴量Xが高い」と言う代わりに、「この勘定科目は前年比で残高が**847%**急増しており、ISA 520のルールに抵触しているため、フラグが立てられました」と伝えます。
国家監査局の実際の監査人たちがこれらの説明をレビューしたところ、**94%**が、修正なしでそのまま公式報告書に使用できると回答しました。
これは「何ではない」のか
この論文は、これがまだあらゆる状況に対する「魔法の杖」ではないことを慎重に述べています。
- これは一つの特定のモンゴルのエネルギー企業に対してテストされたものです。他のセクターでもテストにおいて良好な結果を示しましたが、著者は、これが普遍的な解決策であると言える前に、より多くの異なる種類の組織で動作を確認する必要があると述べています。
- これは構造化された数値（スプレッドシートなど）のみを対象としています。乱雑な手書きのメモや、PDFの契約書、あるいは物語を読むことはまだできません。
- 「正解（グラウンド・トゥルース／誰が泥棒であったかの確定情報）」は、FY2023およびFY2024の公式監査報告書から得られました。モデルはこれらに対して検証されましたが、著者らは、より多くの国や会計スタイルにわたるさらなるテストが必要であると注記しています。
結論
研究者たちは、数百万件の取引を数分でスキャンでき、従来の「大きな本をチェックする」手法が見逃してしまう不正リスクを19倍多く発見できる、無料のオープンソースツール**「Audit AI v10.0」**を構築しました。これは、サンプリングによる「一部のチェック」ではなく、「すべてをチェックすること」、そして詳細が大きなサマリーへと滑らかにまとめられる前の「微細なディテール」を見ることによって、より速く、より高い信頼を持って悪党を捕まえられることを証明しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。