BankMathBench: A Benchmark for Numerical Reasoning in Banking Scenarios

Titel: BankMathBench: Een Benchmark voor Numeriek Redeneren in Bankscenario's

1. Het Probleem

Grote Taalmodellen (LLMs) worden steeds vaker ingezet in de financiële sector, met name voor digitale klantenservice. Hoewel deze modellen goed zijn in het beantwoorden van algemene vragen, vertonen ze aanzienlijke tekortkomingen in kernbankberekeningen. Specifieke problemen zijn:

• Onnauwkeurigheid in berekeningen: Fouten bij het schatten van totale uitkeringen, het vergelijken van producten met verschillende rentetarieven en het berekenen van rente bij vervroegde aflossing.
• Gebrek aan contextueel begrip: LLMs interpreteren producttypes verkeerd, passen voorwaarden incorrect toe of falen in basisberekeningen die machten en meetkundige reeksen vereisen.
• Tekortkomingen in bestaande benchmarks: Bestaande wiskundige datasets (zoals GSM8K) richten zich op educatieve problemen, terwijl financiële benchmarks zich voornamelijk op financiële verslagen en effectenanalyse richten. Er is een groot gat in de evaluatie van dagelijkse bankscenario's ( deposito's, spaarrekeningen, leningen) die multi-stap numeriek redeneren vereisen.

2. Methodologie

De auteurs introduceren BankMathBench, een domeinspecifiek dataset en benchmark die is ontworpen om numeriek redeneren in realistische bankomgevingen te evalueren.

• Dataset Structuur:
  De dataset bevat 13.839 vraag-antwoord-reasoning triaden in het Koreaans en Engels, verdeeld over drie moeilijkheidsgraden:

  1. Basis: Redeneren over één enkel product (bijv. rente berekenen op een deposito). Vereist meervoudige berekeningen (rekenkundige/meetkundige reeksen).
  2. Intermediair: Vergelijking van twee producten (bijv. verschil in uitkering tussen een vast deposito en een spaarrekening). Vereist het uitvoeren van aparte berekeningen en het vergelijken van resultaten.
  3. Geavanceerd: Complexe scenario's met meerdere voorwaarden (bijv. leningen met variabele rente, vervroegde opname met boetes, belastingen).

• Data Generatie Pijplijn:
  Een volledig geautomatiseerde pijplijn (met GPT-4o en o1-mini) genereert de data in drie fasen:

  1. Vraaggeneratie: Realistische scenario's worden gegenereerd met gevarieerde variabelen (bedragen, rentetarieven, periodes).
  2. Oplossinggeneratie & Validatie: Voor elke vraag worden twee uitvoerbare oplossingen gegenereerd (wiskundige formules en Python-code). Alleen paren met consistente resultaten worden behouden.
  3. Redeneringgeneratie: Stap-voor-stap redenering wordt gegenereerd die natuurlijke taal combineert met wiskundige uitdrukkingen, waarbij berekeningen in specifieke tags (<calc>, <result>) worden geplaatst voor tool-augmentatie.
  • Expert Validatie: Alle data is handmatig gecontroleerd door bankprofessionals om logische consistentie en praktische relevantie te garanderen.
  • Data Augmentatie: Om de realiteit te benaderen, worden "onregelmatige" numerieke waarden gebruikt (in plaats van ronde getallen) en worden soms voorwaarden gemaskeerd om contextueel redeneren te testen.

• Experimenteel Ontwerp:
  Verschillende open-source en gesloten LLMs (zoals LLaMA-3, Qwen, DeepSeek, Claude, GPT-4o) werden geëvalueerd in drie settings:

  1. Zero-shot: Directe prestatie zonder training.
  2. Supervised Fine-Tuning (SFT): Training op de BankMathBench dataset.
  3. Tool-Augmented SFT: Fine-tuning waarbij het model wordt geleerd om externe rekenhulpmiddelen (calculators) te gebruiken voor de berekeningen binnen de redenering.

3. Belangrijkste Bijdragen

• BankMathBench Benchmark: De eerste uitgebreide benchmark die zich specifiek richt op numeriek redeneren in dagelijkse bankzaken (deposito's, spaarrekeningen, leningen) met drie niveaus van complexiteit.
• Geautomatiseerde, Expert-gevalideerde Data: Een reproduceerbare pijplijn voor het genereren van hoogwaardige, realistische financiële data die vrij is van menselijke rekenfouten dankzij dubbele verificatie en Python-validatie.
• Tool-Augmented Learning: Het paper demonstreert effectief hoe het combineren van fine-tuning met tool-gebruik (het laten uitvoeren van berekeningen door een calculator in plaats van door het model zelf) de nauwkeurigheid drastisch verbetert.

4. Resultaten

De experimenten tonen aan dat bestaande modellen (zowel gespecialiseerde wiskunde-modellen als financiële modellen) zeer slecht presteren in zero-shot settings op deze benchmark (vaak <10% nauwkeurigheid bij geavanceerde taken).

• Verbetering door Fine-Tuning:

  • Open-source modellen vertoonden aanzienlijke verbeteringen na training op BankMathBench.
  • Bijvoorbeeld, op de basis dataset steeg de nauwkeurigheid van modellen zoals Qwen3-8B met ongeveer 42-44 procentpunten ten opzichte van zero-shot.
  • Op de intermediaire en geavanceerde datasets waren de gains nog groter, met name bij complexe multi-product vergelijkingen.

• Impact van Tool-Augmentatie:

  • De grootste winst werd behaald met Tool-Augmented SFT.
  • Gemiddelde nauwkeurigheidsstijgingen ten opzichte van zero-shot:
    • Basis: +57,6%
    • Intermediair: +75,1%
    • Geavanceerd: +62,9%
  • Dit bewijst dat hoewel fine-tuning het vermogen om formules te genereren verbetert, het gebruik van externe tools essentieel is om cumulatieve rekenfouten te elimineren bij complexe taken.

• Modelgrootte: Grotere modellen (7B/8B) presteerden over het algemeen beter, maar ook kleinere modellen (1.5B/2.1B) konden effectief worden getraind om domeinspecifiek redeneren te beheersen, mits ze goed werden gefinetuned.

5. Betekenis en Conclusie

BankMathBench vult een kritieke lacune in de evaluatie van LLMs voor de financiële sector. Het paper concludeert dat:

1. Algemene of wiskundig gespecialiseerde modellen niet voldoende zijn voor realistische banktoepassingen zonder domeinspecifieke training.
2. Tool-augmentatie een noodzakelijke stap is voor betrouwbare numerieke taken in de financiële wereld, omdat het de kwetsbaarheid van LLMs voor rekenfouten wegneemt.
3. De dataset een solide basis vormt voor het ontwikkelen van digitale bankassistenten die nauwkeurige, op berekeningen gebaseerde antwoorden kunnen geven die direct bruikbaar zijn voor klanten.

De auteurs bevelen aan dat toekomstig onderzoek zich richt op het uitbreiden van de dataset naar andere financiële domeinen (zoals verzekeringen en fondsen) en het evalueren van de kwaliteit van het redeneerproces zelf, niet alleen het eindantwoord.