FinRule-Bench: A Benchmark for Joint Reasoning over Financial Tables and Principles

Dit paper introduceert FinRule-Bench, een nieuw benchmark voor het evalueren van de diagnostische vaardigheden van grote taalmodellen bij het controleren van echte financiële tabellen op naleving van boekhoudkundige principes, waarbij wordt vastgesteld dat hoewel modellen goed presteren in het verifiëren van individuele regels, hun prestaties sterk afnemen bij het identificeren van overtredingen en het lokaliseren van meerdere gelijktijdige fouten.

De kern

Hier is een uitleg van het paper "FinRule-Bench" in eenvoudig Nederlands, met behulp van creatieve vergelijkingen.

🕵️‍♂️ De Grootse Rekenmeester: FinRule-Bench

Stel je voor dat je een grote, slimme robot (een AI) hebt die alles kan lezen en begrijpen. Deze robot is zo slim dat hij zelfs complexe financiële rapporten van bedrijven kan lezen. Maar er is een groot probleem: is deze robot ook een eerlijke en nauwkeurige accountant?

Tot nu toe hebben we de robot alleen getest op simpele vragen, zoals: "Hoeveel geld heeft dit bedrijf verdiend?" of "Welke trend zie je in de cijfers?". Maar in het echte leven, als je een bedrijf controleert (auditeren), moet je iets veel moeilijks doen: je moet controleren of alle regels worden gevolgd.

Dit paper introduceert een nieuwe test, genaamd FinRule-Bench, om te zien of deze slimme robots echt kunnen controleren of een boekhouding klopt volgens de strenge wetten.

---

🏗️ De Drie Spellen van de Test

De onderzoekers hebben de robot drie verschillende "spelletjes" laten spelen, die steeds moeilijker worden.

1. De Enkele Regel Check (Rule Verification)

• De Analogie: Stel je voor dat je een rekenmachine bent. Iemand geeft je één regel: "De som van de links moet gelijk zijn aan de som van de rechts."
• De Taak: De robot kijkt naar één specifieke regel in een groot document en zegt: "Ja, dat klopt" of "Nee, dat klopt niet".
• Het Resultaat: De robots zijn hier heel goed in. Ze kunnen simpele rekenfouten vinden.

2. De Regel-Detective (Rule Identification)

• De Analogie: Nu geef je de robot een zak vol met 10 verschillende regels (bijvoorbeeld: "Hout moet bruin zijn", "De deur moet open", "De vloer mag niet nat zijn"). Je zegt: "Er is precies één fout in dit huis. Welke regel is gebroken?"
• De Taak: De robot moet niet alleen zien dat er iets mis is, maar ook precies weten welke van de 10 regels er is overtreden.
• Het Resultaat: Hier beginnen de robots te struikelen. Ze zien vaak wel dat er iets mis is, maar ze kunnen de juiste regel niet vinden. Ze raken in de war tussen de verschillende regels.

3. De Complexe Controleur (Joint Rule Diagnosis)

• De Analogie: Dit is de ultieme uitdaging. Stel je voor dat je een huisinspecteur bent die een oud huis binnengaat. Er zijn meerdere fouten tegelijk: de deur staat open, de vloer is nat, en het dak lekt.
• De Taak: De robot moet alle fouten tegelijk vinden, ze precies lokaliseren (bijv. "De vloer in de keuken is nat") en zeggen welke regels er zijn overtreden.
• Het Resultaat: Hier faalt de robot het meest. Hij ziet misschien dat er een probleem is, maar hij mist vaak fouten of wijst de verkeerde plek aan. Het is alsof hij zegt: "Er is ergens water, maar ik weet niet waar het vandaan komt."

---

🧠 Waarom is dit belangrijk? (De "Causale" Truc)

De onderzoekers hebben iets slimme bedacht om te kijken hoe de robot denkt. Ze gebruiken een trucje genaamd "Oorzaak en Gevolg" (Causal-Counterfactual Reasoning).

• De Analogie: Stel je voor dat je de robot vraagt: "Waarom is de vloer nat?"
  • De robot zegt: "Omdat er water op staat."
  • Dan vraagt de onderzoekers: "Wat zou er gebeuren als we dat water droog wisten?"
  • Een slimme robot zegt: "Dan is de vloer droog, en is er geen probleem meer."
  • Een domme robot zegt misschien: "Dan is de vloer nog steeds nat, omdat de muur ook nat is." (Terwijl dat niet waar is).

Door deze vragen te stellen, ontdekten de onderzoekers dat de robots vaak niet echt begrijpen waarom een regel wordt overtreden. Ze gissen alleen. Als je ze vraagt om een kleine verandering te simuleren (een "wat als"-scenario), komen ze er vaak niet uit.

---

📉 Wat leerden we?

1. Slimme robots zijn niet per se slimme accountants. Ze kunnen goed rekenen, maar ze zijn slecht in het toepassen van complexe regels op echte, chaotische documenten.
2. Meer regels = meer verwarring. Hoe meer regels er tegelijk zijn, hoe slechter de robots presteren. Ze verliezen het overzicht.
3. De "Gouden Kooi" van de waarheid. De onderzoekers hebben een test gemaakt met echte bedrijfsrapporten (geen nep-cijfers). Ze hebben bewust kleine foutjes in de juiste regels gestopt om te zien of de robot die zou vinden. Dit is als een "veiligheidsnet" voor AI: we willen weten of ze betrouwbaar zijn voordat we ze in het echt gebruiken.

🎯 Conclusie in één zin

FinRule-Bench is een nieuwe, strenge test die laat zien dat hoewel onze slimme AI-robots goed kunnen lezen en rekenen, ze nog niet klaar zijn om als verantwoordelijke accountant te werken die complexe regels controleert en fouten precies lokaliseert. Ze moeten nog veel leren voordat we ze blindelings kunnen vertrouwen met onze geldzaken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "FinRule-Bench: A Benchmark for Joint Reasoning over Financial Tables and Principles" in het Nederlands.

Titel: FinRule-Bench: Een Benchmark voor Gecombineerd Redeneren over Financiële Tabellen en Principes

1. Het Probleem

Grote Taalmodellen (LLMs) worden steeds vaker ingezet voor financiële analyse, zoals het beantwoorden van vragen over cijfers of het detecteren van anomalieën. Echter, hun vermogen om gestructureerde financiële staten te auditeren onder strikte, expliciete boekhoudprincipes (zoals US GAAP of IFRS) is slecht onderzocht.

Bestaande benchmarks (zoals FinQA of TAT-QA) focussen voornamelijk op:

• Vragen beantwoorden (QA).
• Numeriek redeneren op synthetisch gegenereerde of verstoord data.
• Enkele inconsistenties detecteren.

Het ontbreekt aan benchmarks die evalueren of modellen kunnen:

1. Exhaustief controleren of een correcte financiële staat voldoet aan een complex systeem van onderling afhankelijke regels.
2. Diagnostisch de exacte bron van een overtreding lokaliseren (welke regel is geschonden en op welke specifieke rij/record?).
3. Omgaan met meerdere gelijktijdige overtredingen in één document, wat essentieel is voor realistische auditing.

2. Methodologie: FinRule-Bench

De auteurs introduceren FinRule-Bench, een benchmark gebaseerd op echte, onaangetaste financiële staten (10-K formulieren) die gekoppeld zijn aan menselijk samengestelde boekhoudprincipes.

Dataset Constructie:

• Bron: Real-world corporate filings (Form 10-K) uit 2024, omgezet naar gestructureerde Markdown-tabellen.
• Ground Truth: De tabellen zijn oorspronkelijk correct. Om het benchmark te maken, worden gecontroleerde, minimale fouten (error injection) toegevoegd die specifieke boekhoudregels schenden. Dit gebeurt deterministisch via validators, zodat de "waarheid" exact bekend is.
• Regels: Er zijn vier sets regels voor vier statensoorten: Balans (BS), Kasstroomoverzicht (CF), Eigen Vermogen (SE) en Winst- en Verliesrekening (SI). De regels omvatten rekenkundige consistentie, hiërarchische aggregatie en conditionele toepasbaarheid.

Drie Auditing Taken:
De benchmark definieert drie taken met toenemende complexiteit:

1. Rule Verification (Regelverificatie): Gegeven één tabel en één regel: is de tabel compliant? (Binair: Ja/Nee).
2. Rule Identification (Regelidentificatie): Gegeven een tabel en een set regels: welke enkele regel is geschonden? (Klassificatie tussen concurrerende regels).
3. Joint Rule Diagnosis (Gecombineerde Regel-diagnose): Gegeven een tabel en een set regels: detecteer en localiseer alle gelijktijdige overtredingen op record-niveau. Dit vereist multi-stap redenering.

Evaluatie Protocol:

• Prompting: Modellen worden getest met Zero-shot, Few-shot en Few-shot met Causal-Counterfactual Reasoning.
  • Causal-Counterfactual: Dit protocol gebruikt voorbeelden die niet alleen de fout tonen, maar ook de oorzaak (causaliteit) en een minimale tegenfeitelijke wijziging (counterfactual) die de fout zou herstellen. Dit moet helpen bij het begrijpen van de logische structuur.
• Metrieken: Exact Match, Precision, Recall, F1-score, en kosten-efficiëntie (tokens).
• Modellen: GPT-4o, Gemini 2.5 Pro (Thinking), Gemini 2.0 Flash, en LLaMA 3.3.

3. Belangrijkste Resultaten

De experimenten tonen een duidelijke degradatie in prestaties naarmate de taak complexer wordt:

• Verificatie (Enkele regel): Modellen presteren redelijk goed (hoge nauwkeurigheid). Basis controle van één regel is haalbaar voor moderne LLMs.
• Identificatie (Keuze uit regels): De prestaties dalen aanzienlijk. Modellen hebben moeite om de juiste geschonden regel te onderscheiden van andere mogelijke regels in de set.
• Gecombineerde Diagnose (Meerdere overtredingen): Dit is waar de grootste faille optreedt.
  • Hoewel modellen vaak wel detecteren dat er een fout is (Step-1), falen ze er bijna altijd in om alle overtredingen correct te lokaliseren en te identificeren (Step-2).
  • De "Exact Match" score voor multi-violatie diagnosen is zeer laag (vaak < 30% zelfs voor de beste modellen).
• Foutpatronen: De dominantie van fouten ligt bij onvolledige dekking (missen van overtredingen) en mislocalisatie (de juiste regel vinden, maar op het verkeerde record).
• Invloed van Causal-Counterfactual Prompting:
  • Voor lichtere modellen (zoals LLaMA 3.3 en Gemini 2.0 Flash) leverde dit protocol consistente verbeteringen op.
  • Voor zware "reasoning"-modellen (GPT-4o, Gemini 2.5 Pro) was het effect wisselend; soms zelfs negatief, wat suggereert dat expliciete causale scaffolding redundant kan zijn of de discriminatie verstoort bij modellen die al intern uitgebreid redeneren.
• Kosten-Efficiëntie: Complexere prompting (met causale redenering) verhoogt het token-verbruik aanzienlijk zonder altijd evenredige winst in nauwkeurigheid te bieden, tenzij bij zeer complexe structuren (zoals Winst- en Verliesrekeningen).

4. Kernbijdragen

1. FinRule-Bench Benchmark: Een nieuw, reproduceerbaar dataset gebaseerd op echte financiële staten, gekoppeld aan deterministische validators voor boekhoudregels. Het verschuift de focus van "vragen beantwoorden" naar "compliance auditing".
2. Taak Suite: Formalisatie van drie opeenvolgende auditing taken die de capaciteit van modellen testen voor het combineren van regels, het onderscheiden van overtredingen en het lokaliseren van fouten.
3. Causal-Counterfactual Protocol: Een nieuw prompting-protocol dat modellen dwingt om causale afhankelijkheden en minimale interventies te expliciteren, wat dient als een diagnostisch instrument om inconsistenties in het redeneerproces bloot te leggen.
4. Analyse van Systematische Fouten: Het paper onthult dat bestaande benchmarks de fundamentele beperkingen van LLMs in diagnostisch redeneren (diagnostic completeness) niet vastleggen. Modellen falen systematisch bij het exhaustief toepassen van regelsystemen op complexe, interafhankelijke tabellen.

5. Betekenis en Conclusie

FinRule-Bench toont aan dat hoewel LLMs goed zijn in oppervlakkige numerieke checks, ze fundamenteel tekortschieten in exhaustieve, regelgebaseerde auditing van complexe financiële documenten.

• Voor de Onderzoeksgemeenschap: Het biedt een gestandaardiseerde testomgeving om de "diagnostische dekking" van modellen te meten, wat cruciaal is voor toepassingen met hoge risico's (high-stakes).
• Voor de Praktijk: Het waarschuwt tegen het blindelings vertrouwen op LLMs voor financiële auditing zonder menselijk toezicht. De huidige modellen kunnen niet betrouwbaar alle fouten in een complex rapport lokaliseren.
• Toekomst: Het paper motiveert onderzoek naar betere methoden voor het combineren van symbolische logica (regels) met neurale redenering om de betrouwbaarheid van compliance-verificatie te verbeteren.

De benchmark en de bijbehorende code zijn openbaar gemaakt om verdere studie naar deze beperkingen mogelijk te maken.