ERP-RiskBench: Leakage-Safe Ensemble Learning for Financial Risk

Il paper presenta ERP-RiskBench, un nuovo framework sperimentale sicuro dalle fughe di dati che utilizza un ensemble di apprendimento automatico per migliorare il rilevamento dei rischi finanziari nei sistemi ERP, offrendo un benchmark riproducibile e una valutazione rigorosa delle prestazioni.

L'essenziale

Immagina che un'azienda sia una città enorme dove ogni giorno vengono scambiate migliaia di merci, pagamenti e ordini. Tutto questo avviene in un unico grande "cervello digitale" chiamato ERP (Enterprise Resource Planning). È come il sistema nervoso centrale dell'azienda: se funziona bene, tutto scorre; se viene manipolato, l'azienda rischia di andare in bancarotta o di subire frodi.

Il problema? Trovare le frodi in mezzo a milioni di transazioni normali è come cercare un ago in un pagliaio, ma un ago che si nasconde e cambia forma ogni volta.

Ecco cosa hanno fatto gli autori di questo studio, punto per punto:

1. Il Problema: "I Truccatori" e i "Falsi Successi"

Fino ad ora, molti ricercatori che studiavano come trovare queste frodi con l'Intelligenza Artificiale (AI) commettevano un errore grave: il "furto di dati" (Data Leakage).

• L'analogia: Immagina di preparare un esame di guida. Se lo studente guarda le risposte del test prima di iniziare a guidare, passerà l'esame con il 100% di voti. Ma quando si troverà nella strada vera, senza le risposte, crollerà.
• La realtà: Molti studi precedenti facevano esattamente questo: mescolavano i dati di "addestramento" (lo studio) con i dati di "test" (l'esame). Risultavano con percentuali di successo altissime, ma quando provavano a usarli nella realtà, fallivano miseramente.

2. La Soluzione: "ERP-RiskBench" (La Palestra di Addestramento)

Gli autori hanno creato un nuovo ambiente di allenamento chiamato ERP-RiskBench. È come una palestra di simulazione ultra-realistica.

• Cosa c'è dentro? Hanno mescolato dati veri (ma anonimi) di aziende reali, dati di frodi conosciute e, soprattutto, hanno creato dati finti ma intelligenti.
• Il trucco dei dati finti: Hanno usato un "generatore di realtà" (una tecnologia chiamata GAN) che impara com'è una transazione normale e poi crea delle copie "rotte" o "sospette" (come un falso che sembra vero, ma ha un piccolo difetto). Questo permette di allenare l'AI su scenari che non esistono ancora nei dati reali.

3. Il Metodo: "La Regola d'Oro della Separazione"

Per evitare il "furto di dati", hanno applicato una regola ferrea: Non guardare mai il futuro mentre studi il passato.

• L'analogia: Immagina di dover prevedere il meteo di domani. Non puoi usare i dati di domani per allenare il tuo modello. Devi usare solo i dati di ieri e prima, e poi vedere se indovini domani.
• La loro tecnica: Hanno usato un sistema a "doppio strato" (Nested Cross-Validation). È come avere un insegnante che prepara l'esame e un altro che lo corregge, ma nessuno dei due sa cosa farà l'altro. Questo garantisce che i punteggi ottenuti siano veri e non gonfiati.

4. I "Campioni": L'Arma Segreta è il "Team"

Hanno messo alla prova diversi tipi di "detective digitali" (modelli di machine learning):

• I Solitari: Modelli semplici che lavorano da soli.
• I Profondi: Reti neurali complesse (come il cervello umano) che a volte si confondono con i dati semplici.
• La Squadra (Stacking Ensemble): Hanno creato un super-detective formato da un team di altri detective.

Il risultato? La Squadra ha vinto.
Hanno preso i migliori algoritmi esistenti (come XGBoost, LightGBM, CatBoost) e li hanno messi insieme. Ognuno guarda i dati da un'angolatura diversa. Se uno dice "è una frode" e un altro dice "dubito", il "capo del team" (un modello metta) decide la risposta finale. È come avere un consiglio di esperti invece di affidarsi a una sola persona: è molto più difficile sbagliare.

5. Cosa hanno scoperto? (Le Lezioni)

Ecco le scoperte principali, tradotte in parole semplici:

• Il modo di dividere i dati è tutto: Se non separi i dati nel modo giusto (tenendo conto del tempo e delle persone coinvolte), ottieni risultati falsi. È la differenza più grande, più importante dell'algoritmo stesso.
• La calibrazione è fondamentale: Non basta dire "è una frode al 90%". Bisogna sapere se quel 90% è reale o se il modello sta solo "sognando". Hanno usato una tecnica per assicurarsi che le percentuali di rischio fossero vere. Questo è cruciale per decidere se aprire un'indagine costosa o meno.
• Spiegare il "Perché": In un'azienda, non puoi dire al revisore "l'AI ha detto sì". Devi spiegare il perché. Hanno scoperto che le variabili più importanti per trovare le frodi sono le discrepanze nei pagamenti (es. "Ho ordinato 100 euro, ho ricevuto la merce per 100 euro, ma la fattura dice 150 euro").
• Stabilità: I modelli migliori sono quelli che danno sempre gli stessi risultati, anche se cambi leggermente i dati di allenamento. I modelli "profondi" (Deep Learning) a volte erano troppo instabili, come un detective che cambia idea ogni giorno.

6. Perché è importante per tutti noi?

Questo studio non è solo teoria. Offre una mappa pratica per le aziende che vogliono usare l'AI per proteggere i propri soldi.

• Risparmio: Evita di sprecare soldi in indagini false (quando l'AI sbaglia e ti fa controllare transazioni normali).
• Sicurezza: Cattura le frodi reali che prima sfuggivano.
• Trasparenza: Permette agli auditor (i controllori) di capire perché un'operazione è stata bloccata, rendendo il sistema giusto e affidabile.

In sintesi:
Gli autori hanno detto: "Smettetela di fare esperimenti truccati. Costruiamo una palestra vera, alleniamo un team di detective invece di un solitario, e assicuriamoci che le loro previsioni siano realistiche". Il risultato è un sistema più intelligente, onesto e pronto a proteggere le aziende dal futuro.

Sommario tecnico

1. Il Problema

La rilevazione del rischio finanziario all'interno dei sistemi di Enterprise Resource Planning (ERP) è un'applicazione cruciale ma sottostudiata dell'apprendimento automatico. La letteratura esistente in questo dominio presenta gravi carenze metodologiche che compromettono la validità dei risultati:

• Descrizioni dei dataset vaghe: Mancanza di trasparenza sulla provenienza e sulle caratteristiche dei dati.
• Pipeline soggette a "Data Leakage": Spesso le fasi di pre-processing (come l'imputazione, la normalizzazione o il resampling per classi sbilanciate) vengono eseguite sull'intero dataset prima della divisione in training/test. Questo porta a stime di performance ottimistiche e non realistiche.
• Valutazioni ingannevoli: L'uso dell'accuratezza come metrica principale in contesti di forte squilibrio di classe (dove le frodi sono rare) e l'assenza di protocolli di validazione temporale o di gruppo.
• Scarsità di dati etichettati: I dati reali sulle frodi sono spesso confidenziali, rendendo difficile la creazione di benchmark riproducibili.

L'obiettivo del paper è colmare queste lacune fornendo un framework sperimentale riproducibile, sicuro dal punto di vista della fuga di dati (leakage-safe) e operativamente significativo.

2. Metodologia

Il paper introduce un approccio disciplinato basato su quattro pilastri fondamentali:

A. Dataset: ERP-RiskBench

È stato assemblato un benchmark composito chiamato ERP-RiskBench, composto da quattro fonti per coprire diversi scenari:

1. BPI Challenge 2019: Log di eventi reali del ciclo "procure-to-pay" (da un'azienda multinazionale), utilizzati per generare etichette di rischio basate su regole di conformità (es. discrepanze nel "three-way matching").
2. Credit Card Fraud: Dataset pubblico per testare scenari di squilibrio estremo (0.17% di frodi).
3. PaySim: Dati sintetici di transazioni mobili per fungere da proxy per le frodi.
4. ERP-Synth (Nuovo): Un dataset sintetico generato con un Conditional Tabular GAN (CTGAN) e arricchito con l'iniezione di tipologie di rischio basate su regole (es. fatture duplicate, acquisti frazionati).

• Schema Canonico: Tutti i dati sono mappati su uno schema unificato che include layer transazionali, di processo e di contesto.

B. Protocollo di Validazione e Prevenzione del Leakage

Il cuore della metodologia è l'uso della Validazione Incrociata Annidata (Nested Cross-Validation) con vincoli rigorosi:

• Split Temporale e di Gruppo: I dati non sono divisi casualmente. Si utilizza uno split "time-forward" (ultimi 20% temporali come holdout) e "group-aware" (tutte le transazioni dello stesso fornitore o ordine di acquisto rimangono nello stesso fold) per evitare che informazioni future o di entità specifiche "trapassino" nel training.
• Pipeline Leakage-Safe: Ogni operazione (imputazione, codifica, scaling, selezione delle feature, resampling con SMOTE o CTGAN) viene eseguita esclusivamente all'interno del fold di training interno. Il fold di validazione riceve solo trasformazioni applicate.
• Validazione Incrociata Annidata: Un ciclo esterno (K=5) per la stima delle performance e un ciclo interno (K=3) per l'ottimizzazione degli iperparametri e la selezione delle feature.

C. Modelli e Strategie

Viene confrontato un ampio spettro di modelli:

• Baseline: Regressione Logistica.
• Ensemble di Alberi: Random Forest, XGBoost, LightGBM, CatBoost.
• Stacking Ensemble: Una combinazione di XGBoost, LightGBM, CatBoost e Random Forest con un meta-learner (Regressione Logistica) addestrato sulle previsioni out-of-fold.
• Deep Learning: TabNet e FT-Transformer.
• Glassbox: Explainable Boosting Machine (EBM) per l'interpretabilità nativa.
• Valutazione: Uso di MCC (Matthews Correlation Coefficient), AUPRC (Area Under Precision-Recall Curve) e analisi costi-sensibili con probabilità calibrate (Platt Scaling).

3. Contributi Chiave

1. ERP-RiskBench: La creazione di un benchmark pubblico e composito che combina dati reali, sintetici e scenari di stress controllati (SATS - Scenario Augmented Test Suite) per testare la robustezza del modello.
2. Protocollo Leakage-Safe: La dimostrazione pratica di come la corretta gestione della divisione dei dati e del pre-processing riduca drasticamente le stime di performance inflazionate, fornendo una linea di base realistica per il deployment.
3. Analisi di Ablazione Strutturata: Uno studio sistematico che isola l'impatto di ogni componente (splitting, resampling, augmentation, calibrazione), dimostrando che la strategia di splitting è il fattore più influente.
4. Framework Operativo: Un blueprint per il deployment che include monitoraggio del drift, feedback loop per gli auditor e giustificazioni basate su SHAP per le decisioni di rischio.

4. Risultati

• Performance del Modello: Lo Stacking Ensemble (combinazione di gradient boosting) ha ottenuto le migliori prestazioni in termini di MCC e AUPRC su tutti i dataset, superando significativamente i singoli modelli e i modelli deep learning. Tuttavia, LightGBM singolo ha mostrato prestazioni molto vicine, suggerendo che in scenari con risorse limitate un singolo modello ben sintonizzato potrebbe essere sufficiente.
• Impatto dello Splitting: L'uso di uno split casuale stratificato (pratica comune ma errata) ha inflazionato l'MCC di 0.08 - 0.12 rispetto allo split temporale+gruppo. Questo conferma che molti studi precedenti potrebbero aver sovrastimato le capacità dei modelli.
• Augmentation: SMOTE e CTGAN hanno migliorato il richiamo (recall) della classe minoritaria quando applicati correttamente all'interno del fold di training. CTGAN ha offerto un beneficio marginale aggiuntivo rispetto a SMOTE, catturando strutture non lineari.
• Robustezza: Lo Stacking Ensemble ha mostrato la minore degradazione di performance sotto scenari di stress (cambiamento di tipologia di frode, dati mancanti, drift temporale).
• Interpretabilità: Le feature relative alle discrepanze nel "three-way matching" (confronto tra ordine, ricevuta e fattura) sono risultate le più informative. L'EBM ha fornito spiegazioni stabili e trasparenti, rendendolo una valida alternativa per contesti di audit critici.
• Calibrazione: La calibrazione delle probabilità (Platt Scaling) non ha migliorato le metriche di ranking, ma è stata essenziale per determinare soglie decisionali ottimali basate sui costi operativi.

5. Significatività e Implicazioni

Questo lavoro è significativo perché sposta il focus dalla ricerca di algoritmi "nuovi" alla rigore metodologico nell'applicazione dell'ML ai sistemi ERP.

• Affidabilità: Fornisce un protocollo che garantisce che le performance riportate siano realistiche e non artefatte da leakage di dati, fondamentale per la fiducia nei sistemi automatizzati di audit.
• Guida Pratica: Offre linee guida concrete per i praticanti: evitare split casuali, usare metriche appropriate (MCC/AUPRC), calibrare le probabilità e verificare la stabilità delle feature.
• Governance: Il framework supporta i requisiti di conformità normativa (es. NIST AI RMF) fornendo tracciabilità completa, spiegazioni delle decisioni e monitoraggio del drift, rendendo l'ML adatto a contesti aziendali regolamentati.
• Futuro: Il paper apre la strada a test su dati proprietari reali e all'estensione verso scenari di scoring in streaming o federated learning.

In sintesi, il paper dimostra che un approccio disciplinato, basato su ensemble learning e rigorosi protocolli di validazione temporale, può fornire strumenti robusti e affidabili per la rilevazione delle frodi finanziarie negli ERP, superando le limitazioni degli studi precedenti.