AuditFraudBench: Benchmarking Audit Judgment in Detecting Fraudulent Misstatements

Technische Samenvatting van AuditFraudBench: Het Benchmarking van Audit-oordeel bij het Detecteren van Frauduleuze Onjuistheden

Probleemstelling
Hoewel Large Language Models (LLM's) bekwaamheid hebben getoond in financiële analyse, forecasting en het detecteren van oppervlakkige feitelijke of numerieke fouten, blijft hun capaciteit om frauduleuze financiële onjuistheden te identificeren onderbelicht. In tegen tegenstelling tot eenvoudige fouten, omvatten frauduleuze onjuistheden vaak plausibele, ogenschijnlijk conforme verklaringen die de werkelijke drijfveren van prestaties verhullen, opportunistische boekhoudkundige keuzes of weggelaten risicocontexten maskeren. Deze verklaringen kunnen intern consistent zijn in hun cijfers, maar strategisch geformuleerd zijn om beleggers te misleiden over de werkelijke bronnen van prestaties (bijv. groei toeschrijven aan duurzame operaties wanneer deze in werkelijkheid wordt gedreven door de timing van omzet of het uitstellen van kosten). Bestaande benchmarks richten zich primair op feitenverificatie, numerieke consistentie of regelnaleving, en falen in het evalueren van de complexere taak van het detecteren van strategisch misleidende narratieven en vermomde boekhoudkundige manipulatie gebaseerd op daadwerkelijke handhavingszaken.

Methodologie
Om dit gat te dichten, introduceren de auteurs AuditFraudBench, een handhavingsgegronde benchmark die is geconstrueerd uit authentieke bedrijfsrapportages en regelgevend materiaal. De dataset is afgeleid van de Accounting and Auditing Enforcement Releases (AAERs) van de Amerikaanse Securities and Exchange Commission (SEC), originele en herziene 10-K en 10-Q rapportages, gestructureerde financiële overzichten en Management's Discussion and Analysis (MD&A) verklaringen.

De constructie van de benchmark omvat de volgende pipeline:

1. Dataverzameling: Het crawlen van SEC AAER-indexpagina's om metadata te extraheren en het downloaden van handhavingsdocumenten.
2. Verwerking & Opschoning: Tekstextractie, segmentatie en kwaliteitscontrole om beschadigde of niet-parseerbare bestanden te verwijderen.
3. Casusidentificatie: Het gebruik van een combinatie van regelgebaseerde kenmerken en semantisch begrip (via DeepSeek) om substantiële boekhoudkundige manipulatiegevallen te identificeren.
4. Gestructureerde Verbetering & Afstemming: Het extraheren van specifieke velden (bijv. manipulatiemechanismen, fiscale perioden) en het afstemmen van AAERs met de overeenkomstige originele en herziene rapportages uit het SEC EDGAR-systeem om "origineel–herzien" paren te creëren.
5. Steekproefconstructie: Het integreren van gestructureerde financiële feitensignalen (XBRL-data) en narratieve bewijssignalen (MD&A-passages) om gesuperviseerde steekproeven te vormen.

De benchmark evalueert LLM's via drie complementaire taken:

• Taak 1: Toeschrijving van Winstbronnen: Bepalen of de verklaring van het management voor een prestatieverandering correct of misleidend is, en het identificeren van de werkelijke onderliggende drijver (bijv. voortijdige omzetverkenning, reservevrijgave) op basis van originele versus herziene cijfers.
• Taak 2: Detectie van Misleidende Narratieven: Beoordelen of een verklaringpassage een misleidende indruk wekt (bijv. door selectieve nadruk of weggelaten context), zelfs als de tekst op zichzelf niet expliciet onwaar is.
• Taak 3: Classificatie van Fraudepatronen: Het mappen van het specifieke wangedrag zoals beschreven in handhavingsmaatregelen naar vooraf gedefinieerde categorieën: Omzet-timing (Revenue Timing), Boekhoudkundige Schatting (Accounting Estimate), Winstafvlakking (Earnings Smoothing), Kostenuitstel (Expense Deferral) of Narratieve Distorsie (Narrative Distortion).

Belangrijkste Bijdragen

1. AuditFraudBench Dataset: De creatie van de eerste handhavingsgegronde benchmark die specifiek is ontworpen om LLM's te evalueren op het detecteren van frauduleuze financiële misinformatie in gecontroleerde bedrijfsrapportages, met een focus op misleidende narratieven en vermomde boekhoudkundige manipulatie.
2. Taakontwerp: De formulering van drie complementaire taken die modellen vereisen om gezamenlijk te redeneren over financiële cijfers, de inkadering van verklaringen, herzieningsbewijs en handhavingsgegronde fraudemechanismen, waarmee verder wordt gegaan dan eenvoudige feitenverificatie.
3. Bewijsgegronde Evaluatie: De constructie van de benchmark vanuit authentieke regelgevende bronnen (AAERs) en rapportages, wat een evaluatie mogelijk maakt die de audit-oordeelsvorming en beleggersrelevante disclosure-analyse beter reflecteert.

Evaluatieresultaten
De auteurs evalueerden een reeks propriëtaire (GPT-serie) en open-source (DeepSeek, Qwen-serie) LLM's, inclusief zowel reasoning- als non-reasoning varianten.

• Taak 1 (Toeschrijving van Winstbronnen): De meeste modellen bereikten een bijna perfecte classificatienauwkeurigheid (vaak 1.000), waarbij ze correct identificeerden of een toeschrijving misleidend was. Echter, de verklarende metrieken (ROUGE) bleven laag (bijv. GPT-5.5 behaalde slechts 0.249 ROUGE-1), wat aangeeft dat modellen vaak niet in staat zijn om de werkelijke boekhoudkundige drijver precies te articuleren ondanks de correcte classificatie.
• Taak 2 (Detectie van Misleidende Narratieven): Dit bleek de moeilijkste taak te zijn. Alle modellen presteerden slecht, waarbij het beste model (Qwen3-32b-R) slechts 0.245 nauwkeurigheid en 0.393 F1 behaalde. Dit suggereert aanzienlijke uitdagingen bij het detecteren van misleidende indrukken die niet expliciet onwaar zijn.
• Taak 3 (Classificatie van Fraudepatronen): Modellen toonden een matige maar beperkte bekwaamheid. GPT-5.5 behaalde de hoogste classificatienauwkeurigheid (0.522), terwijl Qwen3-32b-R de beste score voor verklaringen behaalde.
• Algemene Observaties:
  • Reasoning vs. Non-Reasoning: Reasoning-getunede modellen presteerden niet consistent beter dan hun non-reasoning tegenhangers; in sommige gevallen presteerden ze zelfs slechter.
  • Model Schaal: Het vergroten van de modelgrootte (bijv. van Qwen3-8b naar Qwen3-32b) garandeerde geen verbetering, met name niet voor de kwaliteit van de verklaringen.
  • Familie Prestaties: Sterke propriëtaire modellen (GPT, DeepSeek) domineerden kleinere open-source modellen (Qwen) niet betrouwbaar over alle metrieken.

Betekenis
Het artikel stelt dat AuditFraudBench een uitdagende testomgeving biedt voor audit-relevante, bewijsgegronde evaluatie van LLM's. De resultaten geven aan dat huidige modellen, ongeacht grootte of architectuur, moeite hebben met het gezamenlijk redeneren over financieel bewijs, narratieve inkadering en handhavingsgegronde fraudemechanismen. De auteurs concluderen dat het detecteren van dergelijke hoog-risico, opzettelijk vermomde misinformatie gespecialiseerde financiële en boekhoudkundige redeneerkracht vereist die verder gaat dan algemene modelgrootte of generieke reasoning tuning. De benchmark dient hiermee als een noodzakelijk instrument voor het systematisch evalueren of LLM's de financiële analyse en audit-ondersteuning kunnen ondersteunen bij het herkennen van strategische misinformatie.