Machine learning reduces audit detection risk in 3.3 million public sector general ledger transactions

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, eine einzige gefälschte Münze zu finden, die in einem riesigen Beutel mit 3,3 Millionen echten Münzen versteckt ist. In der Welt der Wirtschaftsprüfung ist dies die tägliche Herausforderung: Fehler oder Betrug in riesigen Bergen von Gelddatensätzen zu finden. Traditionell haben Prüfer eine Methode namens „Monetary Unit Sampling“ (MUS) verwendet. Denken Sie an das wie an einen Schatzsucher, der nur in den größten, offensichtlichsten Erdhaufen gräbt, weil er davon ausgeht, dass das Gold dort zu finden sein muss. Er ignoriert die winzigen, stillen Sandtaschen und nimmt an, dass sie sicher sind. Aber was, wenn die gefälschte Münze in einer dieser kleinen, ignorierten Taschen versteckt ist? Das ist das Risiko: das Schlechte zu übersehen, weil man nur nach dem Großen gesucht hat.

Um dies zu lösen, setzen Wissenschaftler auf „Maschinelles Lernen“, was so ist, als würde man dem Detektiv einen superintelligenten, unermüdlichen Roboter-Assistenten geben. Dieser Assistent kann jeden einzelnen Datensatz im Beutel lesen, nicht nur die großen. Er sucht nach Mustern, die dem menschlichen Auge entgehen könnten, wie etwa einen seltsamen Rhythmus in den Zahlen oder eine Transaktion, die sich „unpassend“ anfühlt. Das Ziel ist es, das „Entdeckungsrisiko“ zu senken, was einfach die Chance ist, dass der Detektiv das Verbrechen übersieht. Wenn der Roboter die gefälschte Münze in der winzigen Tasche finden kann, wird die Prüfung viel sicherer und schneller. Diese Arbeit stellt eine große Frage: Kann dieser Roboter-Assistent die Fehler in echten staatlichen Finanzdaten besser finden als die alte „Grabe-in-den-großen-Haufen“-Methode, und kann er erklären, warum er sie gefunden hat, auf eine Weise, der menschliche Prüfer vertrauen?

Der Super-Scanner: Wie KI die Nadel im Heuhaufen fand

In dieser Studie entwickelte ein Forscherteam aus der Mongolei einen vierschichtigen „Super-Scanner“, um die Finanzunterlagen eines öffentlichen Energieversorgers zu überprüfen. Sie testeten ihn nicht nur an erfundenen Zahlen; sie fütterten ihn mit einem massiven, realen Datensatz, der 3.329.189 einzelne Geldtransaktionen aus drei Jahren (2023, 2024 und 2025) enthielt. Dies war ein Berg von Daten im Gesamtwert von 16,34 Billionen MNT (das ist eine Menge Tugriks!).

Der alte Weg vs. der neue Weg
Die Forscher verglichen ihr neues System für maschinelles Lernen mit dem alten Standard, der der oben erwähnten „Grabe-in-den-großen-Haufen“-Methode entspricht. Auf dem alten Weg würden Prüfer eine zufällige 20%-Stichprobe der Konten auswählen, um diese zu prüfen. Die Studie ergab, dass diese alte Methode eine große Lücke hinterließ: Sie hatte ein „Entdeckungsrisiko“ (die Chance, einen Fehler zu übersehen) zwischen 38,05 % und 52,7 %. In einfachen Worten ausgedrückt bedeutet dies, dass die alte Methode in fast der Hälfte der Fälle Betrug oder Fehler komplett übersehen hätte.

Das neue System für maschinelles Lernen wirkte jedoch wie ein Netz, das alles auffing. Es verarbeitete die gesamten 3,3 Millionen Transaktionen in nur 4,5 Stunden. Um das in Perspektive zu setzen: Die alte Methode hätte menschliche Prüfer zwischen 310 und 357 Stunden gekostet, um dieselbe Arbeit zu erledigen. Das ist eine Reduktion der Zeit um 98,7 %!

Wie der Roboter lernte (ohne Lehrer)
Normalerweise erfordert das Beibringen eines Roboters, Betrug zu erkennen, dass man ihm zuerst tausende Beispiele für „gute“ und „schlechte“ Datensätze zeigt. Aber in der Realität wissen Prüfer erst, welche Datensätze schlecht sind, nachdem sie die Prüfung abgeschlossen haben. Das ist ein Teufelskreis.

Die Autoren lösten dies mit einem cleveren Trick namens „Self-Labeling“-System (Selbst-Kennzeichnung). Stellen Sie sich eine Gruppe von drei verschiedenen Detektiven vor (Isolation Forest, Z-Score und Turn-Ratio-Analyse), die die Daten unabhängig voneinander betrachten. Wenn mindestens zwei von ihnen zustimmen, dass ein Datensatz verdächtig aussieht, markiert das System ihn als „anomal“. Dadurch entsteht aus dem Nichts ein Trainingsdatensatz, der es dem Hauptroboter (einem Random-Forest-Modell) ermöglicht, zu lernen, wie man die „Bösen“ erkennt, ohne einen vorgefertigten Lösungsschlüssel zu benötigen.

Das Ergebnis: Eine 19-fache Verbesserung
Als sie dieses System testeten, waren die Ergebnisse atemberaubend. Das Random-Forest-Modell erreichte einen F1-Score von 0,966 und einen AUC von 0,999, während es das „Entdeckungsrisiko“ auf nur 2,01 % senkte. Dies ist eine 19-fache Verbesserung gegenüber der alten Methode. Um zu beweisen, dass dies kein Glück war, führten sie einen statistischen Test (McNemar-Test) durch, der zeigte, dass für jeden einzigen Fehler, den die alte Methode entdeckte, das neue Machine-Learning-Modell 107 Fehler entdeckte, die die alte Methode übersehen hatte. Die Mathematik war so eindeutig, dass die Wahrscheinlichkeit, dass dies durch Zufall geschah, weniger als 0,001 betrug.

Die Überraschung der „Aggregation Masking“
Eine der faszinierendsten Entdeckungen in der Arbeit ist etwas, das die Autoren als „Aggregation Masking Effect“ (Aggregations-Maskierungseffekt) bezeichnen. Sie testeten ein klassisches Gesetz namens Benfords Gesetz, das vorhersagt, wie Zahlen beginnen sollten (wie viele 1en, 2en oder 3en am Anfang von Zahlen im echten Leben erscheinen sollten).

Als sie sich die 3,3 Millionen einzelnen Transaktionen ansah, waren die Zahlen seltsam und brachen das Benford-Gesetz (ein Zeichen für potenzielle Manipulation). Aber als sie dieselben Transaktionen in Kontozusammenfassungen gruppierten (wie zum Beispiel die Summe aller Transaktionen für ein einziges Bankkonto), verschwand die Seltsamkeit! Die Zahlen sahen vollkommen normal aus.

Es ist, als würde man eine Menschenmenge betrachten: Wenn man sie einzeln betrachtet, sieht man vielleicht einige mit roten Hüten und einige mit blauen Hüten. Aber wenn man aus der Ferne ein Foto der gesamten Menge macht, vermischen sich die Farben zu einem langweiligen Grau. Die Studie fand heraus, dass Prüfer die „grauen Fotos“ (die Kontozusammenfassung) betrachten, wenn sie die „roten Hüte“ (den Betrug auf Transaktionsebene) übersehen. Dies deutet darauf hin, dass Prüfer, um Betrug wirklich zu erfassen, die einzelnen Transaktionen betrachten müssen, nicht nur die großen Zusammenfassungen.

Kann der Roboter sich selbst erklären?
Eine große Sorge bei KI ist, dass sie eine „Black Box“ ist – sie gibt eine Antwort, sagt aber nicht warum. Die Forscher behoben dies, indem sie eine Ebene hinzufügten, die die Mathematik des Roboters in „Prüfersprache“ übersetzt. Anstatt zu sagen: „Merkmal X hat ein hohes Gewicht“, sagt das System: „Dieses Konto wurde markiert, weil der Bestand innerhalb eines Jahres um 847 % gesprungen ist, was gegen die Regeln der ISA 520 verstößt.“

Als echte Prüfer des Nationalen Rechnungsamtes diese Erklärungen überprüften, sagten 94 %, dass sie perfekt seien und ohne Änderungen in offiziellen Berichten verwendet werden könnten. Dies beweist, dass der Roboter nicht nur rät, sondern auf eine Weise argumentiert, die menschliche Fachleute verstehen.

Funktioniert es auch mit anderen Daten?
Das Team testete auch, ob ihr Roboter Daten aus anderen Sektoren (wie anderen Regierungsabteilungen) verarbeiten kann, ohne neu trainiert zu werden. Während er am besten auf dem Energieversorger funktionierte, auf dem er trainiert wurde, schnitt er in anderen Sektoren dennoch deutlich besser ab als die alte „20%-Stichprobe“-Methode und entdeckte die meisten Fehler auch ohne spezifisches Training für diese neuen Gruppen.

Das Fazentelemnt
Diese Arbeit zeigt, dass Maschinelles Lernen nicht nur eine futuristische Idee ist, sondern ein praktisches Werkzeug, das 3,3 Millionen Transaktionen in 4,5 Stunden scannen, Fehler mit nahezu perfekter Trennung (AUC=0,999) und hoher Genauigkeit (F1=0,966) finden und seine Ergebnisse in klarem Englisch erklären kann. Sie warnt uns auch davor, dass der Blick auf große Zusammenfassungen nicht ausreicht – wir müssen in die winzigen Details zoomen, um den Betrug zu finden, der im Rauschen verborgen liegt. Die Autoren haben ihr System sogar als kostenlose Open-Source-Software veröffentlicht, damit andere Prüfer diesen „Super-Scanner“ nutzen können, um die Welt des öffentlichen Geldes sicherer zu machen.