FinSheet-Bench: From Simple Lookups to Complex Reasoning, Where LLMs Break on Financial Spreadsheets

Het paper introduceert FinSheet-Bench, een benchmark voor synthetische financiële spreadsheetdata die aantoont dat huidige LLM's, ondanks redelijke prestaties op eenvoudige taken, nog onbetrouwbaar zijn voor onbewaakte gebruik in complexe financiële analyses vanwege hun gebrek aan nauwkeurigheid bij numerieke redenering en het verwerken van grote, gestructureerde tabellen.

De kern

Stel je voor dat je een enorme, rommelige schuur moet opruimen. In deze schuur liggen duizenden documenten: sommige zijn nette lijsten, andere zijn krabbelige aantekeningen, en weer andere zijn ingewikkelde tabellen met cijfers die overal op staan.

Dit is precies wat FinSheet-Bench onderzoekt. Het is een nieuwe test voor de slimste computers ter wereld (de zogenaamde "AI's" of Large Language Models) om te zien of ze deze rommelige financiële documenten – zoals Excel-sheets van investeringsfondsen – echt kunnen begrijpen.

Hier is wat het paper vertelt, vertaald naar een simpel verhaal:

1. Het Probleem: De "Schuur" is te rommelig

In de financiële wereld (denk aan mensen die geld beheren voor grote fondsen) moeten ze vaak duizenden Excel-bestanden bekijken om te beslissen waar ze geld in steken. Deze bestanden zijn vaak een puinhoop:

• Ze hebben geen vaste vorm.
• Cijfers staan soms in samengevoegde vakjes.
• Er staan opmerkingen en lijntjes die betekenis hebben, maar die een computer niet "ziet" als hij alleen tekst leest.

Vroeger deden mensen dit handmatig. Nu hopen ze dat AI het voor hen kan doen. Maar de vraag is: Kan een AI echt goed lezen in deze rommelige schuur?

2. De Test: Een Nieuwe "Rijbewijstest" voor AI

Omdat echte financiële documenten geheim zijn (zoals een kluis met geld), hebben de onderzoekers een synthetische schuur gebouwd. Ze hebben echte, ingewikkelde Excel-templates genomen en de cijfers erin veranderd in fictieve getallen. Zo hebben ze 24 verschillende "schuurtjes" gemaakt, variërend van klein en overzichtelijk tot gigantisch en chaotisch.

Ze hebben 10 verschillende AI-modellen (van bedrijven als Google, OpenAI en Anthropic) laten proberen vragen te beantwoorden over deze schuurtjes.

• Vraag 1 (Eenvoudig): "Hoeveel fondsen zijn er?" (Dit is alsof je telt hoeveel dozen er in de schuur staan).
• Vraag 2 (Moeilijk): "Wat is het gemiddelde rendement van de bedrijven in het tweede fonds, afgerond op twee decimalen?" (Dit is alsof je alle dozen moet openmaken, de inhoud moet wegen, optellen en delen).

3. De Resultaten: Slim, maar nog niet klaar voor de baan

De resultaten zijn een mix van goed nieuws en slecht nieuws:

• Het goede nieuws: De nieuwste AI's zijn veel slimmer dan de oude. Twee jaar geleden kon een AI nauwelijks een zin begrijpen in zo'n bestand (ongeveer 25% goed). Vandaag de dag halen de beste modellen ongeveer 82%. Dat is een enorme sprong!
• Het slechte nieuws: 82% is niet goed genoeg voor echte financiële beslissingen.
  • Stel je voor dat je een bankier bent. Als je AI 1 op de 6 vragen verkeerd beantwoordt, kan dat betekenen dat je miljoenen euro's verkeerd investeert. In de financiële wereld wil je 99% zekerheid.
  • De AI's zijn heel goed in het vinden van losse feiten (zoals "Hoe heet dit bedrijf?"). Maar zodra ze moeten rekenen, sorteren of samenvatten (bijvoorbeeld: "Bereken het gemiddelde"), gaan ze vaak de mist in. Het is alsof ze een briljant geheugen hebben, maar slecht kunnen tellen.

4. Waarom lukt het niet? De "Vertaalprobleem"

De onderzoekers ontdekten een belangrijke oorzaak van de fouten.
Stel je voor dat je een 3D-puzzel (het Excel-bestand) moet beschrijven aan iemand die alleen tekst kan horen. Je moet de puzzel platdrukken tot een lange rij letters en komma's.

• In het Excel-bestand staat een cijfer in een vakje dat visueel duidelijk bij een kolomhoofd hoort.
• Als je dit omzet naar tekst, verdwijnt die visuele structuur. De AI moet nu raden welk cijfer bij welke kolom hoort.
• Daarnaast zijn AI's niet gemaakt om exact te rekenen. Ze zijn gemaakt om taal te voorspellen. Als je vraagt om een complexe som, "gokken" ze vaak het antwoord in plaats van het stap voor stap uit te rekenen.

5. De Oplossing: Geen superheld, maar een team

De conclusie van het paper is dat we niet hoeven te wachten op een AI die plotseling perfect wordt. In plaats daarvan moeten we de taak opsplitsen:

1. De AI als "Schrijver": Laat de AI de documenten lezen en de losse feiten eruit halen (bijv. "Bedrijf A heeft 10 miljoen omzet"). Dit lukt ze al heel goed.
2. De Computer als "Rekenaar": Laat een traditionele, simpele computer (die niet slim is, maar wel exact kan rekenen) de sommen maken op basis van die feiten.

Dit is als het verschil tussen een chef-kok en een rekenmachine. De chef (AI) kan de ingrediënten (gegevens) uit de koelkast halen en de recepten lezen. Maar laat de chef niet de exacte gewichten berekenen; gebruik daarvoor de weegschaal (de rekenmachine).

Samenvatting in één zin

De slimste AI's van vandaag kunnen prima door een rommelige financiële schuur lopen en dingen vinden, maar ze zijn nog niet betrouwbaar genoeg om zelf de complexe rekenwerkjes te doen; daarvoor hebben we een slimme combinatie van AI en traditionele software nodig.

Technische samenvatting

Titel: FinSheet-Bench: Van Simpele Zoekopdrachten tot Complexe Redenering, Waar LLM's Breken op Financiële Spreadsheets

Auteurs: Jan Ravnik et al. (Qubera AG & Universiteit van Zürich)
Datum: Maart 2026

---

1. Het Probleem

Hoewel Large Language Models (LLM's) tekstgerichte taken in de due diligence van alternatieve investeringen (zoals het analyseren van juridische overeenkomsten) kunnen versnellen, bestaat er een aanzienlijke kloof in hun vermogen om gestructureerde, tabulaire data uit complexe financiële spreadsheets nauwkeurig te extraheren en te redeneren.

De belangrijkste obstakels zijn:

• Gebrek aan benchmarks: Financiële data in private equity is vertrouwelijk, waardoor er geen openbare, realistische datasets bestaan om systemen te testen. Bestaande benchmarks (zoals WikiTableQuestions) gebruiken te schone, gestructureerde tabellen die de complexiteit van echte financiële modellen niet weergeven.
• Complexiteit van spreadsheets: Financiële spreadsheets bevatten samengevoegde cellen, hiërarchische headers, cross-sheet referenties, en visuele opmaak die semantische betekenis draagt.
• Nul tolerantie voor fouten: In de financiële sector kunnen kleine numerieke fouten leiden tot miljoenen aan verkeerde investeringsbeslissingen. De industrie vereist een nauwkeurigheid van >97% voor geautomatiseerde workflows.

2. Methodologie

A. De FinSheet-Bench Dataset

De auteurs hebben een nieuwe benchmark ontwikkeld, FinSheet-Bench, bestaande uit synthetische data die is gebaseerd op de structurele templates van 8 echte private equity portfolio-spreadsheets.

• Constructie: De data is volledig geanonimiseerd en gesynthetiseerd. Bedrijfsnamen, data en bedragen zijn vervangen door fictieve waarden, maar de structuur (sheets, headers, samengevoegde cellen, fund-dividers) blijft intact.
• Variatie: Er zijn 24 bestanden gegenereerd (8 basisbestanden, elk met twee varianten: B en C, waarbij rijen zijn verwijderd of kolommen zijn gesplitst/gesamengevoegd) om verschillende niveaus van complexiteit en grootte te testen (van ~30 tot 152 bedrijven).
• Ground Truth: Antwoorden zijn deterministisch gegenereerd via Python-scripts op gestandaardiseerde tabellen, wat zorgt voor exacte waarheidswaarden.

B. Experimenteel Opzet

• Modellen: Tien modelconfiguraties van drie providers werden getest: OpenAI (GPT-3.5 tot GPT-5.2), Google (Gemini 2.0 Flash tot 3.1 Pro) en Anthropic (Claude Opus 4.6).
• Input Formaat: Spreadsheets zijn omgezet naar tekst-serialisatie (CSV-achtig). Dit is een bewuste keuze omdat dit de industriestandaard is voor RAG-pipelines, maar het betekent dat visuele cues (kleuren, lijnen) verloren gaan.
• Vragen: 16 vraagtemplates verdeeld over 7 categorieën van toenemende complexiteit:
  • Laag: Simpele zoekopdrachten (bijv. "Hoeveel fondsen?").
  • Middel: Filteren, tellen, lijstextractie.
  • Hoog: Aggregatie (som, gemiddelde), sorteren.
  • Zeer Hoog: Complexe statistische berekeningen (mediaan, percentielen).
• Evaluatie: Een drielaags verificatiesysteem (Exact match -> Fuzzy match -> LLM-adjudicatie) werd gebruikt om de antwoorden van de modellen te beoordelen.

3. Belangrijkste Bijdragen

1. FinSheet-Bench: De eerste open benchmark specifiek ontworpen voor het testen van LLM's op complexe, realistische financiële spreadsheets uit de private equity-sector.
2. Empirisch Bewijs van Grenzen: Het paper levert hard bewijs dat zelfs de meest geavanceerde LLM's (per maart 2026) niet betrouwbaar genoeg zijn voor onbewaakte gebruik in professionele financiële toepassingen.
3. Architecturale Inzicht: Het paper stelt dat de oplossing niet ligt in "slimmere" standalone modellen, maar in een architecturale scheiding tussen documentbegrip (wat de LLM goed doet) en deterministische berekening (wat de LLM slecht doet).

4. Resultaten

Algemene Prestaties

• Geen model is productieklaar: Geen enkel model bereikte de vereiste nauwkeurigheid van ~97%.
• Beste Model: Gemini 3.1 Pro behaalde de hoogste nauwkeurigheid van 82,4% (ongeveer 1 fout per 6 vragen).
• Anderen: GPT-5.2 (met redenering) en Claude Opus 4.6 (met denken) behaalden respectievelijk 80,4% en 80,2%.
• Afname bij complexiteit: De prestaties dalen drastisch bij grotere en complexere bestanden. Op het grootste bestand (152 bedrijven, 8 fondsen) daalde de gemiddelde nauwkeurigheid naar slechts 48,6%.

Complexiteit en Redenering

• Stijgende moeilijkheidsgraad: Er is een duidelijke correlatie tussen taakcomplexiteit en nauwkeurigheid:
  • Simpele zoekopdrachten: ~89-94% (voor topmodellen).
  • Aggregatie en tellen: ~66-76%.
  • Complexe aggregatie (mediaan, sorteren): Daalt naar 33,3% (voor topmodellen) en zelfs lager voor oudere modellen.
• Redenering helpt, maar niet genoeg: Het inschakelen van "reasoning" of "thinking" modes (bijv. bij GPT-5.2 en Claude) leverde grote winsten op (+13 tot +22 punten), maar loste de fundamentele problemen bij complexe berekeningen niet volledig op.

Foutanalyse

De fouten worden veroorzaakt door:

1. Tokenisatie: De lineaire omzetting van 2D-spreadsheets naar tekst verstoort de ruimtelijke relatie tussen headers en waarden.
2. Numerieke precisie: LLM's zijn niet ontworpen voor deterministische wiskunde en maken fouten in berekeningen en sorteringen.
3. Context: Bij lange bestanden (honderden rijen) raken modellen de structuur kwijt.

5. Betekenis en Conclusie

Conclusie:
Standalone LLM's zijn op dit moment niet geschikt voor onbewaakte extractie van financiële spreadsheets in de alternatieve beleggingswereld. Hoewel de voortgang snel is (van ~33% nauwkeurigheid met GPT-3.5 naar ~82% met de nieuwste modellen), blijft de foutmarge te groot voor risicovolle financiële beslissingen.

Aanbevolen Architectuur:
Het paper pleit voor een gestage pipeline-architectuur in plaats van één "end-to-end" LLM-oplossing:

1. Schema-discovery: Gebruik een LLM om de structuur (kolommen, fondsgrenzen) te identificeren.
2. Rij-gebaseerde extractie: Gebruik de LLM om waarden per rij te extraheren (waarbij ze goed zijn in simpele zoekopdrachten).
3. Deterministische berekening: Voer alle berekeningen (som, gemiddelde, mediaan, ratios) uit met traditionele code (Python/SQL) op de geëxtraheerde data.

Toekomstperspectief:
Voor de industrie betekent dit dat LLM's analisten kunnen helpen bij het versnellen van het mechanische werk, maar dat menselijke verificatie en deterministische rekenmodules essentieel blijven. Toekomstig werk moet focussen op het testen van multimodale inputs (afbeeldingen van spreadsheets) en agentische systemen die deze gescheiden architectuur implementeren.