Machine learning reduces audit detection risk in 3.3 million public sector general ledger transactions

Stel je voor dat je een detective bent die probeert één valse munt te vinden die verborgen is in een enorme zak met 3,3 miljoen echte munten. In de wereld van financiële auditing is dit de dagelijkse uitdaging: het vinden van fouten of fraude in enorme bergen geldrecords. Traditioneel hebben auditors een methode gebruikt genaamd "Monetary Unit Sampling" (MUS). Denk hierbij aan een schatzoeker die alleen in de grootste, meest voor de hand liggende hopen zand graaft, omdat hij ervan uitgaat dat het goud daar moet liggen. Hij negeert de kleine, stille zakjes zand, in de veronderstelling dat die veilig zijn. Maar wat als de valse munt zich in een van die kleine, genegeerde zakjes verstopt? Dat is het risico: het missen van de slechte zaken omdat je alleen naar de grote zaken hebt gekeken.

Om dit op te lossen, wenden wetenschappers zich tot "Machine Learning", wat te vergelijken is met het geven van een superintelligente, onvermoeibare robotassistent aan de detective. Deze assistent kan elk enkel record in de zak lezen, niet alleen de grote. Het zoekt naar patronen die het menselijk oog misschien mist, zoals een vreemd ritme in de cijfers of een transactie die "uit de toon valt". Het doel is om het "detectierisico" te verlagen, wat simpelweg de kans is dat de detective de misdaad mist. Als de robot de valse munt in het kleine zakje kan vinden, wordt de audit veel veiliger en sneller. Dit onderzoek stelt een grote vraag: kan deze robotassistent de fouten in echte overheidsfinanciële gegevens daadwerkelijk beter vinden dan de oude "graaf de grote hopen"-methode, en kan het uitleggen waarom het ze heeft gevonden op een manier die menselijke auditors vertrouwen?

De Super-Scanner: Hoe AI de Naald in de Hooiberg Vond

In dit onderzoek heeft een team onderzoekers uit Mongolië een vierlaagse "super-scanner" gebouwd om de financiële verslagen van een publieke energievoorziening te controleren. Ze testten het niet alleen op verzonnen getallen; ze voerden het een enorme, real-world dataset met 3.329.189 individuele geldtransacties uit drie jaar (2023, 2024 en 2025). Dit was een berg data met een totale waarde van MNT 16,34 biljoen (dat is een hoop Tugriks!).

De Oude Manier vs. De Nieuwe Manier
De onderzoekers vergeleken hun nieuwe machine learning-systeem met de oude standaard, wat vergelijkbaar is met de eerder genoemde "graaf de grote hopen"-methode. In de oude methode zouden auditors een willekeurige steekproef van 20% van de rekeningen controleren. De studie toonde aan dat deze oude methode een enorme kloof achterliet: het had een "detectierisico" (de kans om een fout te missen) tussen de 38,05% en 52,7%. In gewone taal betekent dit dat de oude methode in bijna de helft van de gevallen de fraude of fouten volledig gemist zou kunnen hebben.

Het nieuwe machine learning-systeem fungeerde echter als een net dat alles opving. Het verwerkte de volledige 3,3 miljoen transacties in slechts 4,5 uur. Om dit in perspectief te plaatsen: de oude methode zou tussen de 310 en 357 uur aan menselijke auditors hebben gekost om hetzelfde werk te doen. Dat is een reductie in tijd van 98,7%!

Hoe de Robot Leerde (Zonder een Leraar)
Normaal gesproken vereist het aanleren van een robot om fraude op te sporen het eerst tonen van duizenden voorbeelden van "goede" en "slechte" records. Maar in de echte wereld weten auditors niet welke records slecht zijn totdat ze de audit juist voltooien. Het is een vicieuze cirkel.

De auteurs losten dit op met een slimme truc genaamd een "self-labeling" systeem. Stel je een groep van drie verschillende detectives voor (Isolation Forest, Z-score en Turn-ratio analyse) die de data onafhankelijk van elkaar bekijken. Als ten minste twee van hen het erover eens zijn dat een record verdacht lijkt, markeert het systeem dit als "anomaal". Dit creëert een set trainingsdata uit het niets, waardoor de hoofdrobot (een Random Forest-model) kan leren hoe hij de boeven opspoort zonder dat er een vooraf geschreven antwoordensleutel nodig is.

De Resultaten: Een 19-voudige Verbetering
Toen ze dit systeem testten, waren de resultaten verbijsterend. Het Random Forest-model behaalde een F1-score van 0,966 en een AUC van 0,999, terwijl het "detectierisico" werd teruggebracht tot slechts 2,01%. Dit is een 19-voudige verbetering ten opzichte van de oude methode. Om te bewijzen dat dit geen geluk was, voerden ze een statistische test uit (de McNemar-toets) die aantoonde dat voor elke fout die de oude methode vond, het nieuwe machine learning-model 107 fouten vond die de oude methode miste. De wiskunde was zo duidelijk dat de kans dat dit door toeval gebeurde minder dan 0,001 was.

De "Aggregation Masking" Verrassing
Een van de meest fascinerende ontdekkingen in het paper is iets wat de auteurs de "aggregation masking effect" noemen. Ze testten een klassieke regel genaamd de Wet van Benford, die voorspelt hoe getallen zouden moeten beginnen (zoals hoeveel 1'en, 2'en of 3'en aan het begin van getallen in het echte leven verschijnen).

Toen ze naar de 3,3 miljoen individuele transacties keken, waren de cijfers vreemd en braken ze de Wet van Benford (een teken van mogelijke manipulatie). Maar, wanneer ze diezelfde transacties groepeerden in rekeningoverzichten (zoals het optellen van alle transacties voor één bankrekening), verdween de vreemdheid! De cijfers zagen er volkomen normaal uit.

Het is alsof je naar een menigte mensen kijkt: individueel zie je misschien mensen met rode hoeden en anderen met blauwe hoeden. Maar als je een foto van de hele menigte van een afstand neemt, versmelten de kleuren tot een saai grijs. De studie vond dat als auditors alleen naar de "grijze foto" kijken (het rekeningoverzicht), ze de "rode hoeden" (fraude op transactieniveau) missen. Dit suggereert dat om fraude echt te vangen, auditors naar de individuele transacties moeten kijken, en niet alleen naar de grote samenvattingen.

Kan de Robot Zichzelf Uitleggen?
Een grote zorg bij AI is dat het een "black box" is — het geeft een antwoord, maar zegt niet waarom. De onderzoekers losten dit op door een laag toe te voegen die de wiskunde van de robot vertaalt naar "auditor-taal". In plaats van te zeggen "Kenmerk X heeft een hoog gewicht", zegt het systeem: "Deze rekening werd gemarkeerd omdat het saldo in één jaar met 847% is gestegen, wat de regels van ISA 520 overtreedt."

Toen echte auditors van de Nationale Auditdienst deze verklaringen beoordeelden, zei 94% dat ze perfect waren en zonder aanpassingen in officiële rapporten gebruikt konden worden. Dit bewijst dat de robot niet alleen maar gokt; het redeneert op een manier die menselijke professionals begrijpen.

Werkt het op Andere Data?
Het team testte ook of hun robot data uit andere sectoren (zoals verschillende overheidsdepartementen) kon afhandelen zonder opnieuw getraind te worden. Hoewel het het beste presteerde op de energievoorziening waarop het getraind was, presteerde het nog steeds aanzienlijk beter dan de oude "20% steekproef"-methode in andere sectoren, waarbij het de meeste fouten ving zonder specifieke training op die nieuwe groepen.

De Kern van het Verhaal
Dit paper laat zien dat machine learning niet alleen een futuristisch idee is; het is een praktisch hulpmiddel dat 3,3 miljoen transacties in 4,5 uur kan scannen, fouten kan vinden met een bijna perfecte scheiding (AUC=0,999) en hoge nauwkeurigheid (F1=0,966), en zijn bevindingen in begrijpelijk Engels kan uitleggen. Het waarschuwt ons ook dat kijken naar grote samenvattingen niet genoeg is — we moeten inzoomen op de kleinste details om de fraude te vangen die zich in de ruis verbergt. De auteurs hebben hun systeem zelfs als gratis, open-source software uitgebracht, zodat andere auditors deze "super-scanner" kunnen gebruiken om de wereld van publiek geld veiliger te maken.