Audit Detection Risk Reduction Using Machine Learning: Evidence from 3.3 million Transactions
Questo studio introduce e valida un framework di machine learning a quattro livelli che riduce significativamente il rischio di rilevamento degli audit e i tempi di elaborazione rispetto ai metodi tradizionali, sfruttando modelli non supervisionati e supervisionati su 3,3 milioni di transazioni reali provenienti da una utility energetica mongola, svelando al contempo un nuovo "effetto di mascheramento dell'aggregazione" nelle anomalie della legge di Benford.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di essere un detective che cerca di trovare alcuni ladri scaltri nascosti in una biblioteca enorme contenente oltre 3,3 milioni di libri (transazioni). Nei vecchi tempi, i revisori giocavano a "trova il ladro" usando un metodo chiamato Campionamento dell'Unità Monetaria (MUS). Pensa a questo come se i detective controllassero solo i libri più grandi e pesanti sugli scaffali, perché presumono che i libri più grandi siano i più probabili nascondigli per le cose cattive. Avrebbero esaminato circa il 20% dei libri.
Il problema? Questo vecchio metodo lasciava un enorme vuoto. Lo studio mostra che, controllando solo i libri "pesanti", il vecchio metodo ha mancato i cattivi il 38% - 52% delle volte. Era come lasciare metà della biblioteca senza ispezionare, sperando che i ladri non si nascondessero nei libri più leggeri e piccoli.
Il Super-Scanner
I ricercatori hanno costruito un nuovo "super-scanner" a quattro livelli utilizzando il machine learning per controllare ogni singolo libro nella biblioteca, non solo quelli pesanti. Non avevano una lista di ladri noti su cui addestrare l'IA (il che è solitamente un problema per l'IA), quindi hanno insegnato allo scanner a individuare la "stranezza" da solo usando una squadra di tre diversi strumenti di rilevamento che lavorano insieme:
- Isolation Forest: Uno strumento che trova elementi che spiccano come un pesce in un barile in mezzo alla folla.
- Z-score: Un righello che misura quanto un numero si discosta dalla media.
- Rapporto Debito-Credito: Una bilancia che controlla se il denaro in entrata corrisponde a quello in uscita.
Se questi strumenti concordavano sul fatto che un account sembrasse sospetto, il sistema lo segnalava. Poi, un "insegnante" (modelli supervisionati come Random Forest) imparava da queste segnalazioni per diventare ancora più bravo a individuare i problemi.
I Risultati: Un Salto Gigantesco
Quando hanno testato questo nuovo scanner rispetto al vecchio metodo del "controllo del 20%" su 3.329.189 transazioni di un'azienda energetica mongola, i risultati sono stati incredibili:
- Velocità: Il vecchio metodo richiedeva agli umani dalle 310 alle 357 ore per fare il lavoro. Il nuovo scanner lo ha fatto in soli 4,5 ore. Si tratta di una riduzione del tempo del 98,7%!
- Accuratezza: Il vecchio metodo aveva un "Rischio di Rilevamento" (la probabilità di mancare un ladro) del 38,05% - 52,7%. Il nuovo modello Random Forest ha abbassato quel rischio al solo 2,01%.
- Il Rapporto di "Mancato Individuamento": In un test statistico chiamato test di McNemar, per ogni singolo account che il vecchio metodo ha catturato e che il nuovo ha mancato, il nuovo modello ne ha catturati 107 che il vecchio metodo aveva completamente ignorato.
Il modello era così bravo che quando lo hanno testato su un nuovo anno di dati (FY2025) che non aveva mai visto prima, ha comunque ottenuto un punteggio di accuratezza (F1) di 0,955. Ha anche funzionato ragionevolmente bene quando hanno provato a usarlo su altri settori, sebbene abbia performato meglio sui dati su cui era stato addestrato.
Il "Trucco Magico" dell'Aggregazione
Uno dei risultati più interessanti dello studio è qualcosa che gli autori chiamano "Effetto di Mascheramento dell'Aggregazione".
Immagina di avere un sacchetto di biglie. Se guardi ogni biglia singolarmente, potresti vedere che i numeri dipinti su di esse seguono un modello strano e sospetto (una violazione della Legge di Benford, che predice come appaiono naturalmente i numeri). Ma, se schiacci tutte quelle biglie insieme in una gigantesca e liscia palla di argilla (aggregandole in totali di conto), quel modello strano scompare! I numeri sembrano perfettamente normali.
Lo studio ha scoperto che quando hanno guardato i 3,3 milioni di transazioni individuali, i numeri erano sospettosamente strani (p < 0,05). Ma quando hanno guardato i 9.909 riepiloghi di conto (la "palla di argilla"), la stranezza è svanita e i numeri sembravano perfettamente corretti (MAD < 0,006).
Questo significa che il software di revisione standard, che di solito controlla solo la "palla di argilla" (i totali di conto), sta perdendo la frode che si nasconde nelle singole biglie. Il documento suggerisce che i revisori devono controllare entrambi i livelli per catturare tutto.
Perché ai Revisori Piace Davvero
Di solito, l'IA è una scatola nera che dice: "Ho trovato un problema, fidati di me". Ma questo sistema include uno strato speciale che traduce le sue scoperte nel linguaggio già utilizzato dai revisori (Standard Internazionali di Revisione, o ISA). Invece di dire "La Caratteristica X è alta", dice: "Questo account è stato segnalato perché il saldo è aumentato dell'847% rispetto all'anno precedente, il che viola le regole della ISA 520".
Quando i veri revisori dell'Ufficio Nazionale di Revisione hanno esaminato queste spiegazioni, il 94% ha dichiarato che erano pronte per essere utilizzate nei loro rapporti ufficiali senza cambiare una parola.
Cosa Non È
Il documento specifica con cura che questo non è ancora una bacchetta magica per ogni situazione:
- È stato testato su una specifica azienda energetica in Mongolia. Sebbene abbia funzionato bene su altri settori durante i test, gli autori affermano che dobbiamo vederlo lavorare su molti più tipi di organizzazioni prima di poter dire che sia una soluzione universale.
- Analizza solo dati strutturati (come i fogli di calcolo). Non può ancora leggere note scritte a mano disordinate, contratti in PDF o storie.
- La "verità di base" (sapere con certezza chi erano i ladri) derivava dai rapporti di revisione ufficiali degli anni FY2023 e FY2024. Il modello è stato convalidato rispetto a questi, ma gli autori sottolineano che sono necessari ulteriori test in diversi paesi e con diversi stili contabili.
Il Punto Fondamentale
I ricercatori hanno creato uno strumento gratuito e open-source chiamato Audit AI v10.0 che può scansionare milioni di transazioni in pochi minuti, trovando rischi di frode che il vecchio metodo del "controlla i libri grandi" perde 19 volte più spesso. Dimostra che controllando tutto invece di un campione, e guardando i piccoli dettagli prima che vengano levigati in grandi riepiloghi, possiamo catturare i cattivi molto più velocemente e con molta più fiducia.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.