Audit Detection Risk Reduction Using Machine Learning: Evidence from 3.3 million Transactions

Technische Samenvatting: Reductie van Detectierisico bij Audits middels Machine Learning

Probleemstelling
De studie behandelt de kritieke beperking van detectierisico in de publieke sector, specifiek binnen de context van de International Standards on Auditing (ISA). Onder ISA 200 is detectierisico de waarschijnlijkheid dat auditprocedures er niet in slagen om materiële onjuistheden te identificeren. Traditionele audits in de publieke sector leunen zwaar op Monetary Unit Sampling (MUS), waarbij rekeningen proportioneel worden geselecteerd op basis van hun monetaire waarde. In entiteiten met duizenden rekeningen laat een standaard steekproef van 20% een aanzienlijk deel van de rekeningen met lagere saldi onbehandeld. De auteurs merken op dat in hun casestudy deze aanpak resulteert in een detectierisico variërend van 38,05% tot 52,7%, wat impliceert dat ongeveer de helft van de anomale rekeningen niet wordt gereviewd. Bovendien leunt bestaand onderzoek naar machine learning (ML) in auditing vaak op propriëtaire of synthetische datasets die ontbreken aan validatie tegen officiële auditresultaten, en faalt het regelmatig in het adresseren van het "ground truth"-probleem waarbij gelabelde fraudegegevens niet beschikbaar zijn vóór de afronding van de audit.

Methodologie
De auteurs stellen een vierlaags ML-framework voor en evalueren dit, ontworpen om detectierisico te verminderen zonder dat vooraf gelabelde trainingsdata vereist zijn. De studie maakt gebruik van een dataset van 3.329.189 algemene grootboektransacties van een Mongoolse energievoorziening in de publieke sector over drie boekjaren (FY2023–FY2025), bestaande uit 9.909 unieke rekeningrijen en een cumulatieve debietstroom van MNT 16,34 biljoen.

De architectuur van het framework werkt als volgt:

1. Data-voorbereiding (Laag 1): Excel-gebaseerde grootboeken worden geïmporteerd en de identiteiten van debet-krediet-saldi worden geverifieerd (ISA 500). Kenmerken (features) worden geschaald met behulp van StandardScaler, die uitsluitend is gefit op de trainingsjaren (FY2023–FY2024) om datalekken naar het holdout-jaar (FY2025) te voorkomen.
2. Unsupervised Ensemble Labeling (Laag 2): Om het gebrek aan gelabelde ground truth te overwinnen, genereert het systeem "pseudo-labels" met behulp van een ensemble van drie unsupervised methoden:
   • Isolation Forest: Gebruikt 200 estimators met een contaminatieparameter van 0,10.
   • Z-score Analyse: Vlagt rekeningen met absolute z-scores > 2,0 op debet/krediet omzet.
   • Debit-Credit Ratio Screening: Vlagt rekeningen boven het 95ste percentiel van de debet-kredietverhouding.
   • Stemregel (Voting Rule): Een rekening wordt gelabeld als anomaal als de Isolation Forest deze vlagt, OF als zowel de Z-score als de Turn-ratio methoden deze onafhankelijk van elkaar vlaggen.
3. Supervised Classificatie (Laag 3): De pseudo-gelabelde data traint drie supervised classifiers: Random Forest (RF), Gradient Boosting (GB) en Decision Tree (DT). Modellen worden geëvalueerd met behulp van 5-voudige gestratificeerde cross-validatie en een strikte temporele holdout (FY2025 data is uitgesloten van alle training).
4. Explainable AI (XAI) & ISA Alignement (Laag 4): SHAP (SHapley Additive exPlanations) waarden worden gekoppeld aan specifieke ISA-vereisten (bijv. het koppelen van log_abs_change aan ISA 520 analytische procedures). Dit genereert audit-klare documentatie die ML-feature-belangrijkheid vertaalt naar professionele audittaal.

Belangrijkste Resultaten

• Prestaties vs. Baseline: Het Random Forest-model behaalde een F1-score van 0,966 en een AUC van 0,999. Cruciaal is dat het het detectierisico verminderde tot 2,01%, een 19-voudige verbetering ten opzichte van de MUS 20% baseline (38,05%–52,7%).
• Statistische Significantie: De McNemar-test bevestigde de superioriteit van het ML-model boven MUS met een chi-kwadraatwaarde van 1.666,63 (p < 0,001). Het directionele voordeel (b/c ratio) was 107,2, wat betekent dat voor elke rekening die MUS detecteerde maar RF miste, RF 107 rekeningen detecteerde die MUS miste.
• Validatie: Tegenover officiële rapporten van de National Audit Office (NAO) voor FY2023 en FY2024 bereikte het framework een overeenstemming van 85% tot 90% met gedocumenteerde materiële onjuistheden.
• Temporele Generaliseerbaarheid: Op de ongeziene FY2025-data (temporele holdout) behield het Random Forest-model een F1 van 0,955 met een perfecte precisie (1,000).
• Efficiëntie: De verwerkingstijd voor de volledige populatie daalde van 310–357 uur (MUS) naar 4,5 uur (ML), een reductie van 98,7%.
• Cross-Sectorale Overdraagbaarheid: Bij toepassing op vijf andere sectoren zonder hertraining, behaalde het model een gemiddelde F1 van 0,741, waarmee het de MUS-baseline in vier van de vijf sectoren versloeg.

Nieuwe Bevindingen: Het Aggregatie-maskeringseffect
Een significante bijdrage van het paper is de documentatie van het "aggregatie-maskeringseffect" met betrekking tot de Wet van Benford.

• Transactieniveau: Analyse van 3,3 miljoen individuele transacties onthulde statistisch significante afwijkingen van de Wet van Benford (Chi-kwadraat = 15,51, p < 0,05).
• Rekeningniveau: Wanneer dezelfde data werd geaggregeerd naar het rekeningniveau (9.909 rijen), daalde de Mean Absolute Deviation (MAD) naar 0,0052, wat onder de drempelwaarde voor "nabije conformiteit" (0,006) valt.
• Implicatie: De auteurs stellen dat standaard account-level Benford-testen transactie-niveau anomalieën onderdrukken, wat potentieel kan leiden tot fout-negatieven in fraudedetectie. Zij concluderen dat dual-level analyse noodzakelijk is om te voldoen aan de doelstellingen van fraudedetectie onder ISA 240.

Betekenis en Claims
Het paper claimt vier primaire bijdragen:

1. Self-Labeling Architectuur: Het demonstreert een inzetbaar framework dat trainingsdata genereert via unsupervised ensemble voting, wat de "ground truth"-barrière oplost die ML-implementatie in de eerste auditcyclus van een opdracht verhindert.
2. Officiële Validatie: In tegen tegenstelling tot eerdere studies die synthetische data gebruikten, wordt dit framework gevalideerd tegen officiële overheidsauditrapporten (NAO), waarbij een hoge overeenstemming met bevestigde materiële onjuistheden wordt bereikt.
3. Inzicht in de Wet van Benford: Het levert empirisch bewijs dat aggregatie de afwijkingen in de cijferverdeling maskeert, wat de standaardpraktijk uitdaagt om de Wet van Benford uitsluitend op rekeningniveau toe te passen.
4. Operationele Toegankelijkheid: Het systeem wordt uitgebracht als "Audit AI v10.0", een open-source webapplicatie compatibel met Excel-omgevingen, die geen licentiekosten vereist. Dit beoogt de kloof in analytische capaciteit tussen grote en kleine auditkantoren te verkleinen.

De auteurs hanteren een bescheiden toon met betrekking tot de generaliseerbaarheid, waarbij zij erkennen dat de validatie gebaseerd is op één enkele casusorganisatie en dat het framework momenteel beperkt is tot gestructureerde financiële data, exclusief narratieve of PDF-gebaseerde bewijslast. Zij suggereren dat toekomstig onderzoek zich moet richten op longitudinale validatie over meerdere organisaties en de integratie van active learning-componenten.