AuditFraudBench: Benchmarking Audit Judgment in Detecting Fraudulent Misstatements

Sintesi Tecnica di AuditFraudBench: Benchmarking del Giudizio di Revisione nella Rilevazione di Falsificazioni Fraudolente

Problematica
Sebbene i Large Language Models (LLM) abbiano dimostrato competenza nell'analisi finanziaria, nelle previsioni e nella rilevazione di errori fattuali o numerici superficiali, la loro capacità di identificare falsificazioni finanziarie fraudolente rimane poco esplorata. A differenza dei semplici errori, le falsificazioni fraudolente coinvolgono spesso comunicazioni plausibili e apparentemente conformi che occultano driver di performance distorti, scelte contabili opportunistiche o omissioni di contesti di rischio. Tali comunicazioni possono essere internamente coerenti nei loro dati, ma strategicamente strutturate per trarre in inganno gli investitori riguardo alle reali fonti delle performance (ad esempio, attribuendo la crescita a operazioni sostenibili quando in realtà è guidata dal differimento dei ricavi o delle spese). I benchmark esistenti si concentrano principalmente sulla verifica dei fatti, sulla coerenza numerica o sulla conformità alle regole, fallendo nel valutare il compito più complesso di rilevare narrazioni strategicamente fuorvianti e manipolazioni contabili camuffate basate su casi di esecuzione reali.

Metodologia
Per colmare questa lacuna, gli autori introducono AuditFraudBench, un benchmark basato su casi di esecuzione costruito partendo da autentiche comunicazioni societarie e materiali normativi. Il dataset è derivato dai rilascio di accertamento contabile e di revisione (AAER) della U.S. Securities and Exchange Commission (SEC), dai documenti 10-K e 10-Q originali e rettificati, dai rendiconti finanziari strutturati e dalle comunicazioni della Direzione e dell'Analisi della Gestione (MD&A).

La pipeline di costruzione del benchmark prevede:

1. Raccolta Dati: Crawling delle pagine dell'indice AAER della SEC per estrarre i metadati e download dei documenti di esecuzione.
2. Elaborazione e Pulizia: Estrazione del testo, segmentazione e controllo qualità per rimuovere file corrotti o non analizzabili.
3. Identificazione dei Casi: Utilizzo di una combinazione di caratteristiche basate su regole e comprensione semantica (tramite DeepSeek) per identificare casi sostanziali di manipolazione contabile.
4. Potenziamento Strutturato e Allineamento: Estrazione di campi specifici (es. meccanismi di manipolazione, periodi fiscali) e allineamento degli AAER con le corrispondenti comunicazioni originali e rettificate dal sistema EDGAR della SEC per creare coppie "originale–rettificato".
5. Costruzione dei Campioni: Integrazione di segnali di fatti finanziari strutturati (dati XBRL) e segnali di evidenza narrativa (passaggi MD&A) per formare campioni supervisionati.

Il benchmark valuta gli LLM attraverso tre compiti complementari:

• Task 1: Attribuzione della Fonte di Profitto: Determinare se la spiegazione del management per un cambiamento di performance è corretta o fuorviante, e identificare il vero driver sottostante (es. riconoscimento anticipato dei ricavi, rilascio di riserve) sulla base dei dati originali rispetto a quelli rettificati.
• Task 2: Rilevazione di Narrazioni Fuorvianti: Valutare se un passaggio comunicativo crea un'impressione fuorviante (es. attraverso l'enfasi selettiva o l'omissione di contesto) anche se il testo non è esplicitamente falso in isolamento.
• Task 3: Classificazione dei Pattern Fraudolenti: Mappare il meccanismo specifico di illecito descritto nelle azioni di esecuzione in categorie predefinite: Anticipazione dei Ricavi (Revenue Timing), Stime Contabili (Accounting Estimate), Livellamento degli Utili (Earnings Smoothing), Differimento delle Spese (Expense Deferral) o Distorsione Narrativa (Narrative Distortion).

Contributi Chiave

1. Dataset AuditFraudBench: La creazione del primo benchmark basato su casi di esecuzione specificamente progettato per valutare gli LLM nella rilevazione di informazioni finanziarie fuorvianti fraudolente nelle comunicazioni societarie revisionate, concentrandosi su narrazioni fuorvianti e manipolazioni contabili camuffate.
2. Design dei Task: La formulazione di tre compiti complementari che richiedono ai modelli di ragionare congiuntamente su cifre finanziarie, framing delle comunicazioni, evidenze di rettifica e meccanismi fraudolenti basati sull'esecuzione, andando oltre la semplice verifica dei fatti.
3. Valutazione Basata su Evidenze: La costruzione del benchmark da fonti normative autentiche (AAER) e comunicazioni, consentendo una valutazione che rifletta meglio il giudizio di revisione e l'analisi delle comunicazioni rilevanti per gli investitori.

Risultati della Valutazione
Gli autori hanno valutato una gamma di LLM proprietari (serie GPT) e open-source (serie DeepSeek, Qwen), inclusi varianti con e senza capacità di ragionamento (reasoning).

• Task 1 (Attribuzione della Fonte di Profitto): La maggior parte dei modelli ha raggiunto un'accuratezza di classificazione quasi perfetta (spesso 1.000), identificando correttamente se un'attribuzione fosse fuorviante. Tuttavia, le metriche di spiegazione (ROUGE) sono rimaste basse (es. GPT-5.5 ha ottenuto solo 0.249 ROUGE-1), indicando che i modelli spesso non riescono ad articolare con precisione il vero driver contabile nonostante la corretta classificazione.
• Task 2 (Rilevazione di Narrazioni Fuorvianti): Questo si è rivelato il compito più difficile. Tutti i modelli hanno performato scarsiamente, con il miglior modello (Qwen3-32b-R) che ha raggiunto solo 0.245 di accuratezza e 0.393 di F1. Ciò suggerisce sfide significative nel rilevare impressioni fuorvianti che non sono esplicitamente false.
• Task 3 (Classificazione dei Pattern Fraudolenti): I modelli hanno mostrato un'abilità moderata ma limitata. GPT-5.5 ha raggiunto la più alta accuratezza di classificazione (0.522), mentre Qwen3-32b-R ha ottenuto i migliori punteggi di spiegazione.
• Osservazioni Generali:
  • Reasoning vs. Non-Reasoning: I modelli ottimizzati per il ragionamento (reasoning-tuned) non hanno superato costantemente i loro omologhi non ottimizzati; in alcuni casi, hanno performato peggio.
  • Scala del Modello: L'aumento della dimensione del modello (es. da Qwen3-8b a Qwen3-32b) non ha garantito miglioramenti, in particolare per la qualità della spiegazione.
  • Performance della Famiglia di Modelli: I forti modelli proprietari (GPT, DeepSeek) non hanno dominato in modo affidabile i modelli open-source più piccoli (Qwen) in tutte le metriche.

Significatività
Il paper sostiene che AuditFraudBench fornisca un banco di prova impegnativo per la valutazione degli LLM relativa alla revisione, basata su evidenze. I risultati indicano che gli attuali modelli, indipendentemente dalla dimensione o dall'architettura, faticano a ragionare congiuntamente su evidenze finanziarie, framing narrativo e meccanismi fraudolenti basati sull'esecuzione. Gli autori concludono che la rilevazione di tali informazioni fuorvianti intenzionali e camuffate richiede capacità di ragionamento finanziario e contabile specializzate che vanno oltre la scala generica del modello o il generico tuning del ragionamento. Il benchmark funge quindi da strumento necessario per valutare sistematicamente se gli LLM possano supportare l'analisi finanziaria e l'assistenza alla revisione nel riconoscere la disinformazione strategica.