Audit Detection Risk Reduction Using Machine Learning: Evidence from 3.3 million Transactions
Diese Studie führt ein vierschichtiges Machine-Learning-Framework ein und validiert dieses, welches das Entdeckungsrisiko bei Prüfungen sowie die Bearbeitungszeit im Vergleich zu traditionellen Methoden durch die Nutzung von unüberwachten und überwachten Modellen auf 3,3 Millionen realen Transaktionen eines mongolischen Energieversorgers signifikant reduziert, während es gleichzeitig einen neuartigen „Aggregation Masking Effect“ bei Anomalien nach dem Benfordschen Gesetz aufdeckt.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein paar hinterlistige Diebe aufzuspüren, die sich in einer riesigen Bibliothek mit über 3,3 Millionen Büchern (Transaktionen) verstecken. In den alten Zeiten spielten Wirtschaftsprüfer ein Spiel namens „Finde den Dieb“ mit einer Methode namens Monetary Unit Sampling (MUS). Man kann sich das so vorstellen, als würde der Detektiv nur die größten, schwersten Bücher in den Regalen prüfen, weil er davon ausgeht, dass die größten Bücher am wahrscheinlichsten das Böse verbergen. Sie untersuchten etwa 20 % der Bücher.
Das Problem war, dass diese alte Methode eine riesige Lücke hinterließ. Die Studie zeigt, dass die alte Methode durch die Beschränkung auf die „schweren“ Bücher die Übeltäter 38 % bis 52 % der Zeit übersah. Es war, als hätte man die Hälfte der Bibliothek ungesucht gelassen, in der Hoffnung, dass die Diebe nicht in den leichteren, kleineren Büchern Versteck halten.
Der neue Super-Scanner
Die Forscher bauten einen neuen, vierschichtigen „Super-Scanner“ unter Verwendung von maschinellem Lernen, um jedes einzelne Buch in der Bibliothek zu prüfen, nicht nur die schweren. Sie hatten keine Liste bekannter Diebe, mit denen sie das System hätten trainieren können (was normalerweise ein Problem für KI ist), also brachten sie dem Scanner bei, „Seltsamkeiten“ eigenständig aufzuspüren, indem sie ein Team aus drei verschiedenen Erkennungswerkzeugen zusammenführten:
- Isolation Forest: Ein Werkzeug, das Gegenstände findet, die in einer Menge wie ein Fremdkörper hervorstechen.
- Z-Score: Ein Lineal, das misst, wie weit eine Zahl vom Durchschnitt abweicht.
- Debit-Credit-Verhältnis: Eine Waage, die prüft, ob das eingehende Geld mit dem ausgehenden Geld übereinstimmt.
Wenn sich diese Werkzeuge einig waren, dass ein Konto verdächtig aussah, markierte das System es. Dann lernte ein „Lehrer“ (überwachte Modelle wie Random Forest) aus diesen Markierungen, um noch besser darin zu werden, Unregelmäßigkeiten aufzuspüren.
Das Ergebnis: Ein gewaltiger Sprung
Als sie diesen neuen Scanner gegen die alte „20 %-Prüfungsmethode“ an 3.329.189 Transaktionen eines mongolischen Energieunternehmens testeten, waren die Ergebnisse verblüffend:
- Geschwindigkeit: Die alte Methode beanspruchte Menschen 310 bis 357 Stunden für die Aufgabe. Der neue Scanner erledigte dies in nur 4,5 Stunden. Das ist eine Reduzierung der Zeit um 98,7 %!
- Genauigkeit: Die alte Methode hatte ein „Entdeckungsrisiko“ (die Chance, einen Dieb zu übersehen) von 38,05 % bis 52,7 %. Das neue Random-Forest-Modell senkte dieses Risiko auf nur 2,01 %.
- Die „Miss“-Rate: In einem statistischen Test namens McNath-Test (McNemar-Test) entdeckte das neue Modell für jedes einzelne Konto, das die alte Methode fand, aber das neue Modell übersehen hatte, 107 Konten, die die alte Methode komplett ignoriert hatte.
Das Modell war so gut, dass es auch, als sie es an einem ganz neuen Jahr an Daten (GJ2025) testeten, die es noch nie gesehen hatte, immer noch einen Genauigkeitswert (F1) von 0,955 erreichte. Es funktionierte auch recht gut, wenn sie es auf andere Sektoren anwandten, obwohl es auf den Daten, auf denen es trainiert wurde, am besten abschnitt.
Der „Zaubertrick“ der Aggregation
Eine der coolsten Entdeckungen in der Arbeit ist etwas, das die Autoren als „Aggregation Masking Effect“ bezeichnen.
Stellen Sie sich vor, Sie haben einen Beutel voller Murmeln. Wenn Sie jede Murmel einzeln betrachten, könnten Sie feststellen, dass die darauf gemalten Zahlen einem seltsamen, verdächtigen Muster folgen (ein Verstoß gegen das Benford’sche Gesetz, das vorhersagt, wie Zahlen natürlich erscheinen). Aber wenn Sie all diese Murmeln zu einem riesigen, glatten Klumpen Ton zusammenschlagen (sie zu Kontosummen aggregieren), verschwindet dieses seltsame Muster! Die Zahlen sehen vollkommen normal aus.
Die Studie fand heraus, dass, wenn sie die 3,3 Millionen einzelnen Transaktionen betrachteten, die Zahlen verdächtig seltsam waren (p < 0,05). Aber als sie die 9.909 Kontozusammenfassungen (den „Tonklumpen“) betrachteten, verschwand die Seltsamkeit und die Zahlen sahen völlig in Ordnung aus (MAD < 0,006).
Das bedeutet, dass die Standard-Audit-Software, die normalerweise nur den „Tonklumpen“ (Kontosummen) prüft, den Betrug prüft, der in den einzelnen Murmeln verborgen liegt. Die Arbeit legt nahe, dass Wirtschaftsprüfer beide Ebenen prüfen müssen, um alles zu erfassen.
Warum Wirtschaftsprüfer es tatsächlich mögen
Normalerweise ist KI eine Black Box, die sagt: „Ich habe ein Problem gefunden, vertrau mir einfach.“ Aber dieses System enthält eine spezielle Ebene, die seine Ergebnisse in die Sprache übersetzt, die Wirtschaftsprüfer bereits verwenden (Internationale Prüfungsstandards oder ISA). Anstatt zu sagen „Merkmal X ist hoch“, sagt es: „Dieses Konto wurde markiert, weil der Saldo im Vergleich zum Vorjahr um 847 % gesprungen ist, was gegen die Regeln von ISA 520 verstößt.“
Als echte Wirtschaftsprüfer des National Audit Office diese Erklärungen überprüften, sagten 94 %, dass sie bereit seien, diese ohne Änderungen in ihre offiziellen Berichte zu übernehmen.
Was dies nicht ist
Die Arbeit betont vorsichtig, dass dies noch kein Zauberstab für jede Situation ist.
- Es wurde an einem spezifischen Energieunternehmen in Mongolei getestet. Obwohl es in Tests auch in anderen Sektoren gut funktionierte, sagen die Autoren, dass wir sehen müssen, wie es bei vielen mehr verschiedenen Arten von Organisationen funktioniert, bevor wir sagen können, dass es eine universelle Lösung ist.
- Es betrachtet nur strukturierte Zahlen (wie Tabellenkalkulationen). Es kann noch keine unordentlichen handschriftlichen Notizen, PDF-Verträge oder Geschichten lesen.
- Die „Grundwahrheit“ (das sichere Wissen darüber, wer die Diebe waren) stammte aus offiziellen Audit-Berichten der Geschäftsjahre 2023 und 2024. Das Modell wurde gegen diese validiert, aber die Autoren merken an, dass mehr Tests in verschiedenen Ländern und mit unterschiedlichen Buchhaltungsstilen erforderlich sind.
Das Fazente
Die Forscher haben ein kostenloses Open-Source-Tool namens Audit AI v10.0 entwickelt, das Millionen von Transaktionen in Minuten scannen kann und Betrugsrisiken findet, die die alte „Prüfung der großen Bücher“-Methode 19 Mal häufiger übersieht. Es beweist, dass wir – indem wir alles statt nur eine Stichprobe prüfen und indem wir auf die winzigen Details schauen, bevor sie in großen Zusammenfassungen geglättet werden – die Übeltäter viel schneller und mit viel größerer Zuversicht fassen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.