💬 NLP

FinBalance: A Multi-Document Accounting Reconciliation Benchmark

Het artikel introduceert FinBalance, een benchmark voor de reconciliatie van boekhoudkundige documenten over meerdere documenten die is opgebouwd uit brondocumenten uit diverse industrieën en met verschillende moeilijkheidsgraden, hetgeen onthult dat huidige grote taalmodellen moeite hebben met het nauwkeurig reconciliëren van bronmaterialen tot consistente balansen, waarbij ze vaak aanzienlijke discrepanties vertonen tussen hun gerapporteerde financiële overzichten en die afgeleid van hun eigen gegenereerde boekingen.

Oorspronkelijke auteurs: Sasank Tumpati, Devansh Agarwal, Ayush Kedia, Arjun Neekhra, Murari Mandal, Krishna Garg, Yash Sinha, Suman Gupta, Dhruv Kumar

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sasank Tumpati, Devansh Agarwal, Ayush Kedia, Arjun Neekhra, Murari Mandal, Krishna Garg, Yash Sinha, Suman Gupta, Dhruv Kumar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een financiële mystery probeert op te lossen. Je hebt een rommelige stapel aan aanwijzingen: facturen, bankafschriften, contracten en bonnetjes. Je taak is niet alleen om ze te lezen; je moet uitzoeken wat er precies is gebeurd, voor elke transactie een formele rapportage (een "journaalpost") schrijven, en ze vervolgens bij elkaar optellen om een definitieve "Balans" te maken (een momentopname van de financiële gezondheid van het bedrijf).

Als je een aanwijzing vindt die met een andere in strijd is (zoals een factuur die zegt dat je \ $100 hebt betaald, terwijl een bankafschrift zegt dat je \$ 120 hebt betaald), moet je die fout direct melden. Je kunt de fout niet negeren of het antwoord niet gokken.

Dit is precies waar het papier FinBalance over gaat. Het introduceert een nieuwe "examensituatie" voor Kunstmatige Intelligentie (AI) om te zien of het dit echte, praktische boekhoudkundige detectivewerk kan doen.

Het Probleisme: AI is goed in lezen, maar slecht in reconciliëren

De auteurs wijzen erop dat de meeste huidige AI-tests lijken op het geven van een afgerond hoofdstuk uit een tekstboek aan een student en vragen: "Wat is de hoofdgedachte?" Het antwoord staat al geschreven; de AI hoeft het alleen maar te vinden.

Maar echte boekhouding is moeilijker. Het is alsof je de student een schoenendoos vol verfrommelde bonnetjes, een bankafschrift en een contract geeft en zegt: "Bereken de wiskunde, schrijf het officiële rapport en vertel me of er zaken niet kloppen."

De Oplossing: De FinBalance Benchmark

De onderzoekers hebben een enorme, synthetische "trainingsgrond" gebouwd genaamd FinBalance.

De Opzet: Ze hebben een computerprogramma gemaakt dat fungeert als een strikte accountant. Het genereert duizenden nep, maar realistische zakelijke scenario's in 8 verschillende sectoren (zoals detailhandel, gezondheidszorg en technologie).
De Documenten: Voor elk scenario creëren ze een bundel documenten met tekst daarin (om gescande PDF's te simuleren). Sommige zijn echt bewijs, sommige zijn "distractoren" (nepdocumenten ontworpen om je te misleiden), en sommige bevatten bewuste tegenstrijdigheden.
De Grondwaarheid (Ground Truth): Omdat een computer het scenario heeft gegenereerd, weet de AI het exacte juiste antwoord. De AI weet de juiste journaalposten, de juiste definitieve balans en precies welke documenten welke cijfers ondersteunen.

De Test: Hoe deed de AI het?

De onderzoekers testten zes van de slimste AI-modellen van dit moment op 710 van deze boekhoudkundige puzzels. De resultaten waren verrassend en nederig:

De "Wiskunde vs. Rapport"-kloof:
Stel je een student voor die de wiskunde perfect in zijn hoofd kan doen, maar het uiteindelijke antwoord fout op het toetsblad schrijft.

De AI-modellen waren verrassend goed in het uitzoeken van de individuele transacties (de "journaalposten").
Echter, wanneer ze probeerden deze op te tellen en de definitieve "Balans" te schrijven, faalden ze vaak.
De Statistiek: In vier van de zes modellen was er een enorme kloof. Ze konden het juiste financiële plaatje reconstrueren vanuit hun eigen aantekeningen, maar het rapport dat ze daadwerkelijk indienen was fout. Het is alsof een chef een perfect gerecht kookt, maar het serveert op het verkeerde bord met het verkeerde label.

Het "Verloren Bonnetje"-probleem:
De grootste fout was niet de wiskunde, maar het koppelen van het antwoord aan het bewijs.

Wanneer de AI een getal goed kreeg, kon de AI vaak niet aanwijzen welk specifiek document dat bewees.
Zelfs toen de onderzoekers de AI vertelden: "Je moet je bronnen citeren," verbeterde dit nauwelijks. De AI worstelde met het vinden van de naald in de hooiberg, niet omdat de AI het niet wilde, maar omdat de AI het verschil niet kon zien tussen het echte bewijs en de distractoren.

De "Tweede Mening"-truc:
De onderzoekers probeerden een slimme oplossing. Nadat de AI zijn antwoord had ingediend, liepen de onderzoekers de cijfers van de AI door een strikte rekenmachine (een "grootboek") en toonden ze de AI het verschil tussen wat het zei en wat de eigen cijfers van de AI impliceren.

Resultaat: Deze "feedback" hielp de AI om zijn definitieve rapport aanzienlijk te verbeteren. Het is als een leraar die zegt: "Je zegt dat het totaal \ $100 is, maar als je jouw eigen lijst optelt, is het \$ 120. Controleer je berekening."
De Keerzijde: Deze fix had een nadeel. Wanneer de AI probeerde tegenstrijdigheden (fouten in de documenten) op te sporen, maakte deze feedback het soms juist slechter in het opsporen van de fouten, omdat de AI te gefocust raakte op het oplossen van de wiskunde in plaats van te beseffen dat de documenten defect waren.

Het Oordeel

De conclusie van het artikel is dat hoewel AI steeds beter wordt in het begrijpen van financiële teksten, het nog niet klaar is om een betrouwbare accountant te zijn. Het heeft moeite met:

Het leggen van de verbanden tussen verschillende documenten.
Het aggregeren (bij elkaar optellen) van de eigen bevindingen tot een consistent definitief rapport.
Het onderscheiden van echt bewijs en nep-distractoren.

De auteurs benadrukken dat deze benchmark een "stress test" is. Als een AI deze schone, door computers gegenereerde puzzels niet perfect kan oplossen, kan het zeker niet vertrouwd worden met de rommelige, echte wereld van de boekhouding, waar bonnetjes wazig zijn, pagina's ontbreken en de regels nog ingewikkelder zijn.

Kortom: AI is momenteel een goede "lezer" van financiële documenten, maar een slechte "reconciliator" ervan. De AI kan de getallen vinden, maar verliest vaak het spoor van het bewijs en slaagt er niet in het definitieve rapport correct op te stellen.

Technische Samenvatting: FinBalance: Een Benchmark voor Multi-Document Rekeningreconciliatie

Probleemdefinitie

Huidige benchmarks voor Natural Language Processing (NLP) in de financiële sector evalueren modellen voornamelijk op basis van voorbewerkte artefacten, zoals geëxtraheerde tabellen uit jaarverslagen of vooraf berekende financiële overzichten. Modellen krijgen doorgaans de taak om vragen te beantwoorden of analyses uit te voeren over deze reeds gestructureerde outputs. Echter, echte accountingworkflows beginnen eerder: ze vereisen de reconciliatie van ruwe brondocumenten (facturen, bankafschriften, contracten, betalingsberichten) naar journaalposten, de aggregatie van die posten naar een balans, en de detectie van tegenstrijdigheden binnen het documentpakket.

Bestaande benchmarks falen in het testen van deze "source-to-statement" pijplijn. Ze vereisen niet van modellen dat zij:

Gebalanceerde journaalposten extraheren met specifieke verwijzingen naar ondersteunende documenten.
Journaalposten aggregeren tot een definitieve balans die de boekhoudkundige vergelijking respecteert.
Inconsistenties tussen brondocumenten identificeren en classificeren in plaats van deze stilzwijgend op te lossen.

Methodologie: De FinBalance Benchmark

De auteurs introduceren FinBalance, een synthetische maar door mensen geschreven benchmark die is ontworpen om de volledige accountingreconciliatie-pijplijn te simuleren.

Constructie van de Benchmark

Generator Architectuur: Een deterministische generator stelt records samen op basis van door mensen geschreven specificaties. Deze specificaties definiëren zakelijke scenario's, documentschema's, accountingbeleid, belasting-/valuta (FX) behandelingen en inconsistentie-templates.
Data Compositie: De generator bemonster deze specificaties om documentpakketten samen te stellen die bestaan uit:
- Boekstukken (Posting Documents): Facturen, rekeningen, afschriften, vouchers.
- Ondersteunende Documenten (Support Documents): Contracten, tarievenlijsten, certificaten.
  eling.
- Aanpassingsdocumenten (Adjustment Documents): Periode-afsluitingen, rollforwards.
- Distractoren (Distractors): Visueel plausibele maar neutrale documenten (duplicaten, ongeldigheidsverklaringen).
- Openende Proefbalans (Opening Trial Balance): De startstatus van het grootboek.
Ground Truth: Omdat de generator een vast dubbel boekhoudkundig grootboek gebruikt, is de ground truth (journaalposten, definitieve balans en inconsistentiecodes) berekenbaar, controleerbaar en reproduceerbaar. Er vindt geen handmatige labeling plaats na de generatie.
Omvang: De benchmark beslaat acht industrieën (bijv. retail, gezondheidszorg), drie periodetypes (maand, kwartaal, jaar) en vijf moeilijkheidsgraden. Het bevat conceptflags voor complexe accountinggebieden zoals ASC 606 omzetverantwoording, leasing, uitgestelde belastingen en meerlandelijke belastingwetgeving.
Inconsistentie Afhandeling: Een specifiek deel van de records (32% van de hoofdverdeling) bevat "geforceerde inconsistenties" (bijv. mismatches in factuurtotalen, ongeldige vrijstellingscertificaten). Voor deze gevallen is de correcte output van het model een inconsistentieflag en een code, in plaats van een gereconcilieerde balans.

Evaluatiemetrieken

Het papier introduceert twee complementaire metrieken om onderscheid te maken tussen het genereren van entries en zelfconsistentie:

$BS_{exact}$ : Meet of de door het model zelf gerapporteerde definitieve balans exact overeenkomt met de ground truth.
$BS_{recon}$ : Parseert de door het model gegenereerde journaalposten, speelt deze opnieuw af via het deterministische grootboek tegenover de openingsbalans, en controleert of de geïmpliceerde balans overeenkomt met de ground truth.
- Het verschil ( $BS_{recon} - BS_{exact}$ ) wordt gedefinieerd als de aggregatiekloof (aggregation gap), wat aangeeft of een model in staat is correcte entries te genereren maar faalt in het consistent aggregeren daarvan tot een balans.
Entry Matching: Strikte matching vereist correcte debet/credit rekeningen, bedragen en gesorteerde documentverwijzingen ( $doc\_refs$ ).
Inconsistentie Code Match: Voor records met geforceerde inconsistenties is de score de mate waarin de specifieke tegenstrijdigheidscode correct wordt geïdentificeerd.

Experimentele Opzet

Modellen: Zes hedendaagse Large Language Models (LLMs) werden geëvalueerd: Gemini 3 Flash, GPT-5, Claude Haiku 4.5, Grok-4.3, DeepSeek Chat, en Qwen 3 235B.
Ablatie-studies: De auteurs testten diverse interventies, waaronder:
- Citation Pressure: Expliciete prompts om documenten te citeren.
- Zichtbaarheid: Het verwijderen van accountlijsten of ondersteunende documenten.
- Context Stress: Het toevoegen van distractoren of het vertragen van relevant bewijs.
- Ledger Feedback: Het verstrekken van het verschil tussen de gerapporteerde balans en de balans die wordt geïmpliceerd door de eigen entries aan het model, waardoor één revisieronde mogelijk is.
- Best-of-3: Het bemonsteren van meerdere kandidaten en het selecteren van de beste.
Validatie: Deskundige financiële professionals van grote investeringsbanken en een gecertificeerd accountant hebben een subset van de records beoordeeld om de benchmark-ontwerp, de kalibratie van de moeilijkheidsgraad en de juistheid van de labels te valideren.

Belangrijkste Resultaten

1. Lage Algehele Prestaties

Op de 710-record evaluatiesplit behaalde het best presterende model (GPT-5) slechts 46% exacte nauwkeurigheid van de definitieve balans ( $BS_{exact}$ ). De strikte document-gegronde end-to-end nauwkeurigheid bleef aanzienlijk lager.

2. De Aggregatiekloof

Een cruciale bevinding is de divergentie tussen de kwaliteit van de entries en de consistentie van de definitieve verklaring:

Vier van de zes modellen vertoonden een kloof van 26–41 procentpunt tussen $BS_{recon}$ (geherspeelde entries) en $BS_{exact}$ (zelf gerapporteerd).
Bijvoorbeeld: DeepSeek Chat behaalde een $BS_{recon}$ van 47,3% maar slechts 6,7% $BS_{exact}$ .
Dit geeft aan dat modellen vaak numeriek plausibele journaalposten genereren, maar er niet in slagen deze te koppelen aan bewijsmateriaal of ze consistent te aggregeren tot een balans. GPT-5 was een uitzondering, met een hoge zelfconsistentie (46,5% $BS_{exact}$ vs. 46,3% $BS_{recon}$ ).

3. Document Linking als Primaire Foutmodus

Retrieval Disambiguation: Bij entries met correcte rekeningen en bedragen citeerde 52% de verkeerde ondersteunende documenten.
Ineffectiviteit van Prompts: Expliciete "citation-pressure" prompting verminderde deze foutmarge met slechts 1,4 procentpunt.
Afhankelijkheid van Bewijs: Wanneer modellen een "evidence-only" oracle kregen (waarbij distractoren werden verborgen), daalde de mismatch-ratio met 26,4 procentpunten, wat suggereert dat de fout ligt in het selecteren van het juiste bewijs, en niet in het volgen van citatie-instructies.

4. Impact van Ledger Feedback

Herstellen van Balansen: Het verstrekken van de ledger feedback (de verschillen tussen de gerapporteerde en de geïmpliceerde balans) verbeterde $BS_{exact}$ met 30–33 procentpunt voor modellen met een aggregatiekloof.
Trade-off: Deze verbetering ging gepaard met een prijs. Ledger feedback verslechterde de detectie van inconsistentiecodes met 13–52 procentpunt bij kleinere modellen. Het feedbackmechanisme stuurt het model aan richting het reconciliëren van tegenstrijdige documenten in plaats van ze als fouten te markeren.

5. Moeilijkheidsgraad en Context

Schaalbaarheid van Moeilijkheid: De nauwkeurigheid daalde scherp van 88% bij Moeilijkheidsgraad 1 naar 0% bij Niveau 5.
Context vs. Logica: Hoewel het toevoegen van distractoren (context stress) de nauwkeurigheid verminderde, was de primaire oorzaak van falen de complexiteit van de accounting-afhankelijkheden en de keuze van documenten, en niet louter de lengte van de context.

Betekenis en Claims

De auteurs positioneren FinBalance niet als een opgelost probleem, maar als een diagnostische testomgeving en een gecontroleerde vereiste voor echte implementatie.

Noodzaak van de Benchmark: Het artikel voert aan dat als een model niet in staat is om schone, volledig gespecificeerde documentpakketten met een exacte ground truth te reconciliëren, het onwaarschijnlijk is dat het betrouwbaar zal zijn in echte accountingomgevingen waar lay-outs, OCR-fouten en ontbrekend bewijs chaotischer zijn.
Synthetisch maar door Mensen Geschreven: Hoewel de data synthetisch is, zijn de accountinglogica, beleid en scenario's door mensen geschreven, wat ervoor zorgt dat de benchmark werkelijke domeinredenering test in plaats van door het model verzonnen patronen.
Diagnostische Waarde: De benchmark onthult specifieke foutmodi (aggregatiekloven, retrieval disambiguation) die onzichtbaar zijn in standaard QA-benchmarks.
Toekomstig Nut: Door de generator vrij te geven (in plaats van alleen een statische dataset), stellen de auteurs de creatie van verse, gestratificeerde monsters mogelijk om datacontaminatie te voorkomen en de scenario-ruimte uit te breiden (nieuwe industrieën, beleid, tegenstrijdigheden) zonder handmatige her-labeling.

Het paper concludeert dat huidige LLM's moeite hebben met de volledige pijplijn van document-gegronde accounting. Hoewel ze vaak plausibele entries kunnen identificen, slagen ze er niet in deze consistent te koppelen aan bewijs en ze te aggregeren tot een correcte definitieve verklaring, wat wijst op een aanzienlijke kloof tussen de huidige capaciteiten en de vereisten van professionele accountingworkflows.