FinAuditing: A Financial Taxonomy-Structured Multi-Document Benchmark for Evaluating LLMs

1. Het Probleem

Financiële auditing gaat verder dan eenvoudige tekstverwerking; het vereist het detecteren van semantische, structurele en numerieke inconsistenties in grote, gestructureerde openbaarmakingen. Moderne financiële rapporten worden ingediend in XBRL (eXtensible Business Reporting Language), een gestructureerd XML-formaat dat wordt beheerd door accountingstandaarden (zoals US-GAAP).

Het auditeren van deze documenten is een complex probleem omdat:

• Gestructureerde complexiteit: Rapporten bestaan uit duizenden pagina's aan onderling afhankelijke XML-documenten (schema's, linkbases, instantiedocumenten).
• Taxonomie-afhankelijkheid: Concepten en relaties zijn strikt gedefinieerd door officiële taxonomieën. Een fout kan ontstaan door een concept te gebruiken dat semantisch niet past, een hiërarchische relatie te reverseren, of een numerieke berekening die niet klopt met de onderliggende logica.
• Beperkingen van huidige benchmarks: Bestaande benchmarks voor financieel NLP (zoals FinQA of TAT-QA) focussen vaak op geïsoleerde tekstfragmenten of tabellen. Ze missen de cross-document afhankelijkheden, de hiërarchische structuur en de taxonomie-gedreven supervisie die essentieel zijn voor professionele auditing.

Huidige Large Language Models (LLMs) presteren goed op losse taken, maar het is onduidelijk of ze geschikt zijn voor professionele auditing die vereist dat modellen consistent redeneren over complexe, gestructureerde data.

2. Methodologie: FINAUDITING

De auteurs introduceren FINAUDITING, een nieuw benchmark dat is opgebouwd uit echte, real-world US-GAAP-compliant XBRL-indieningen. Het benchmark is ontworpen als een "taxonomie-gealigneerde, structuur-bewuste" testomgeving.

Data Constructie

• Bron: De dataset is afgeleid van 218 XBRL-indieningen van de SEC EDGAR-database (2020-2024).
• Foutdetectie: De "ground truth" (juiste antwoorden) is deterministisch afgeleid van officiële DQC (Data Quality Committee) foutberichten. Dit garandeert dat de fouten in de dataset echte, door regelgeving gedefinieerde inconsistenties zijn.
• Segmentatie: Omdat volledige XBRL-indieningen te groot zijn voor directe verwerking, worden deze opgesplitst in "statement-level" sub-documenten die de oorspronkelijke XML-afhankelijkheden behouden.
• Taxonomie Digitalisering: De US-GAAP-taxonomie is omgezet in gestructureerde "chunks" (kernen en relaties) om semantische toegang en redenering mogelijk te maken.

De Drie Taken

FINAUDITING definieert drie complementaire sub-taken die de auditcapaciteiten van LLMs testen:

1. Financial Semantic Matching (FinSM):

   • Doel: Detecteren of tekstuele vermeldingen in een filing niet overeenkomen met de gestandaardiseerde US-GAAP-taxonomie-concepten.
   • Vraag: Welke tags in het document zijn semantisch onjuist toegewezen?
   • Meting: Hit Rate, Recall en Macro-F1 voor informatie-extractie.

2. Financial Relationship Extraction (FinRE):

   • Doel: Het identificeren van structurele fouten in hiërarchische en compositieve relaties tussen financiële items.
   • Fouttypes:
     • Reversal: Ouder-kind relaties zijn omgekeerd.
     • Inappropriateness: Een kind-element is onjuist gekoppeld aan een ouder.
     • CombinationErr: Ongeldige combinaties van assen en leden.
   • Meting: Accuracy, Precision, Recall en F1-score.

3. Financial Mathematical Reasoning (FinMR):

   • Doel: Numerieke validatie op basis van accountinglogica en berekeningshiërarchieën.
   • Taak: Het model moet een gerapporteerde waarde extraheren en de "ware" waarde berekenen op basis van de berekeningsrelaties in de XBRL-linkbase.
   • Meting: Accuracy, onderverdeeld in Structuurfouten (SER), Extractiefouten (EER) en Berekeningsfouten (CER).

3. Belangrijkste Bijdragen

1. Eerste Taxonomie-Grounded Benchmark: FINAUDITING is het eerste benchmark dat is gebouwd op echte XBRL-indieningen en expliciet multi-document structuren en officiële taxonomieën integreert voor evaluatie.
2. Structuur-bewust Ontwerp: De drie taken (FinSM, FinRE, FinMR) dekken de volledige spectrums van audituitdagingen: semantische alignering, relationele consistentie en numerieke redenering.
3. Systematische Evaluatie: De auteurs bieden een uitgebreide evaluatie van 13 state-of-the-art LLMs, inclusief gespecialiseerde financiële modellen, en tonen aan dat zelfs de beste modellen tekortschieten in deze context.

4. Resultaten en Analyse

De auteurs hebben 13 modellen getest (waaronder GPT-4o, DeepSeek-V3, diverse Llama/Qwen/Gemma-versies en gespecialiseerde financiële modellen zoals Fin-o1 en Fin-R1). De resultaten tonen aanzienlijke gaten:

• FinSM (Semantisch Matching): De prestaties zijn over het algemeen zeer laag (Hit Rate @20 < 13% voor de beste modellen). Grotere modelgrootte of domeinspecifieke pre-training leidt niet tot significante verbetering. Modellen vertrouwen te veel op oppervlakkige semantische gelijkenis in plaats van strikte taxonomie-conformiteit.
• FinRE (Relatie Extractie): GPT-4o presteert het beste, maar zelfs deze model heeft moeite met complexe fouttypes zoals "CombinationErr" (ongeldige as-leden combinaties). Open-source modellen en zelfs gespecialiseerde financiële modellen presteren vaak slechter dan verwacht, wat aangeeft dat domeinpretraining alleen niet voldoende is voor structurele redenering.
• FinMR (Wiskundig Redeneren): De algehele nauwkeurigheid is extreem laag (beste model: ~13,86%).
  • De meeste fouten zijn berekeningsfouten (CER) (70-83%), wat betekent dat modellen wel de juiste feiten vinden, maar falen in het uitvoeren van de multi-stap berekeningen die door de taxonomie worden opgelegd.
  • Veel modellen falen ook in het genereren van de vereiste gestructureerde JSON-output (hoge SER).

Conclusie van de resultaten: Huidige LLMs zijn niet klaar voor professionele auditing. Ze missen het vermogen om consistent te redeneren over hiërarchische structuren en strikte taxonomie-constraints.

5. Betekenis en Toekomstperspectief

FINAUDITING is van groot belang voor de ontwikkeling van betrouwbare financiële AI:

• Realistische Evaluatie: Het verschuift de focus van "tekstbegrip" naar "gestructureerd redeneren" in een gereguleerde omgeving.
• Benchmark voor Toekomstige Ontwikkeling: Het benchmark dient als officiële basis voor een openbare evaluatie-competitie en is beschikbaar voor de gemeenschap (code en dataset).
• Toepassingskader: Het paper suggereert dat toekomstige systemen voor financiële auditing waarschijnlijk een hybride aanpak nodig hebben:
  • Gebruik van RAG (Retrieval-Augmented Generation) voor het ophalen van taxonomie-regels.
  • Specifieke modules voor numerieke validatie.
  • Menselijke supervisie voor kritieke beslissingen, waarbij AI fungeert als een hulpmiddel voor het filteren van potentiële fouten in plaats van een autonome auditor.

Kortom, FINAUDITING benadrukt dat voor het automatiseren van financiële auditing, modellen niet alleen "slimmer" moeten worden, maar vooral beter moeten worden in het begrijpen en toepassen van externe, gestructureerde domeinregels.