FinToolBench: Evaluating LLM Agents for Real-World Financial Tool Use

Dit paper introduceert FinToolBench, het eerste uitvoerbare benchmark-omgeving voor het evalueren van LLM-agenten in de financiële sector, die 760 realistische tools combineert met een nieuw evaluatiekader en de FATR-basismethode om betrouwbaarheid en naleving te waarborgen.

De kern

Stel je voor dat je een zeer slimme, geavanceerde robot hebt die alles over geld weet. Hij kan boeken lezen, nieuwsartikelen analyseren en zelfs complexe formules in zijn hoofd berekenen. Maar er is een probleem: deze robot zit vast in een kamer zonder ramen. Hij weet niet wat de beursvrijdag is, hij ziet niet of een bedrijf net failliet is gegaan, en hij kan geen echte transacties doen. Hij is slim, maar hij is doof en blind voor de echte wereld.

Dit is precies het probleem waar de auteurs van dit paper, FinToolBench, mee worstelen. Ze hebben een nieuwe manier bedacht om te testen of deze slimme robots (die ze "LLM-agents" noemen) echt kunnen werken in de financiële wereld, waar fouten maken duur kan zijn.

Hier is een uitleg van hun werk, vertaald naar een simpel verhaal met een paar creatieve vergelijkingen:

1. Het Probleem: De Robot met de Verouderde Kaart

Vroeger testten wetenschappers deze robots met simpele vragen, zoals "Wat is de hoofdstad van Frankrijk?" of "Leg uit hoe een aandelenbeurs werkt". Dit is alsof je een auto test door hem op een speelgoedcircuit te laten rijden. Het ziet er leuk uit, maar het zegt je niets over of die auto veilig is op een nat, gladde snelweg.

In de echte financiële wereld is het anders:

• Tijdsgevoeligheid: Als je vraagt om de "huidige" koers van een munt, en de robot geeft je de koers van gisteren, is het antwoord fout, zelfs als de berekening perfect was.
• Intentie: Als je vraagt "Hoeveel kost dit aandeel?", wil je een antwoord. Als de robot per ongeluk een order plaatst om het te kopen, is dat een ramp.
• Regels: Je kunt geen crypto-gegevens gebruiken om een vraag over staatsobligaties te beantwoorden. Dat is alsof je een vis in de woestijn probeert te laten zwemmen.

Bestaande tests keken alleen of de robot de "knop" kon indrukken. FinToolBench kijkt of de robot de juiste knop indrukt, op het juiste moment, voor de juiste reden.

2. De Oplossing: FinToolBench (De Echte Testbaan)

De auteurs hebben een enorme, realistische testbaan gebouwd. In plaats van een speelgoedcircuit, hebben ze een echte racebaan gemaakt met 760 echte gereedschappen (zoals live beursdata, nieuwsfeeds en rekenmachines) en 295 moeilijke vragen.

Stel je dit voor als een gigantische supermarkt voor robots:

• De robot moet een vraag krijgen (bijv. "Wat is de winst van Tesla?").
• De robot moet zelf beslissen welk "gereedschap" hij uit de schappen haalt.
• Hij moet het gereedschap gebruiken, de gegevens ophalen en het antwoord geven.
• De twist: De test kijkt niet alleen of het antwoord klopt, maar ook of de robot de regels van de supermarkt heeft gevolgd.

Ze hebben drie nieuwe regels toegevoegd aan de test:

1. Is het vers? (Tijdsgevoeligheid: Is de data van nu of van gisteren?)
2. Wat wilde de klant? (Intentie: Wou de klant alleen info, of een daad?)
3. Past het bij elkaar? (Regelgebied: Gebruik je de juiste tools voor de juiste markt?)

3. De Baseline: FATR (De Slimme Assistent)

Om te zien of hun test werkt, hebben ze een eigen robot-assistent gebouwd genaamd FATR.
Stel je FATR voor als een ervaren stagiair die een nieuwe robot helpt.

• Normaal gesproken krijgt een robot alleen een lijst met gereedschappen.
• FATR plakt er gekleurde stickers op elk gereedschap. Bijvoorbeeld: "Dit is alleen voor live-data" of "Dit mag nooit gebruikt worden om geld te sturen".
• Dankzij deze stickers maakt de robot minder fouten. Hij wordt niet afgeleid door gereedschappen die niet passen bij de vraag.

4. Wat Leerden Ze? (De Resultaten)

Toen ze verschillende robots op deze testbaan zetten, zagen ze interessante dingen:

• Sommige robots zijn te stoutmoedig: Ze proberen alles te doen, maar maken veel fouten in de uitvoering (ze drukken op de verkeerde knop).
• Sommige robots zijn te bang: Ze durven geen gereedschap te gebruiken, zelfs niet als het nodig is, omdat ze bang zijn om een fout te maken.
• De beste robots zijn die die een balans vinden: ze durven te werken, maar ze kijken goed naar de "stickers" (de regels) voordat ze iets doen.

Conclusie: Waarom is dit belangrijk?

Dit paper is als een rijexamen voor AI in de financiële wereld. Tot nu toe konden robots alleen theorie-examens doen. Met FinToolBench moeten ze nu een praktijkexamen afleggen in een omgeving die lijkt op de echte wereld, met alle valkuilen en regels die daarbij horen.

Het doel is om ervoor te zorgen dat als we in de toekomst AI gebruiken om ons geld te beheren, deze systemen niet alleen slim zijn, maar ook veilig, accuraat en betrouwbaar zijn. Ze willen voorkomen dat een robot per ongeluk je spaarrekening leeghaalt omdat hij dacht dat hij een nieuwsartikel moest schrijven.

Kortom: FinToolBench zorgt ervoor dat de robots niet alleen kunnen praten over geld, maar dat ze het ook veilig kunnen beheren.

Technische samenvatting

1. Probleemstelling

De integratie van Large Language Models (LLM's) in de financiële sector verschuift van passieve informatievergaring naar dynamische, agentische interactie. Echter, de huidige evaluatiebenchmarks voor tool-gebruik vertonen een kritiek gat:

• Algemene benchmarks (zoals API-Bank of StableToolBench) focussen op algemene API-correctheid en uitvoerbaarheid, maar missen de specifieke, strenge beperkingen van de financiële wereld (zoals compliance, timeliness en intent-beperkingen).
• Bestaande financiële benchmarks (zoals FinQA of FinanceBench) focussen voornamelijk op statische tekstanalyse of document-gebaseerde vragen, en negeren de complexiteit van het daadwerkelijk uitvoeren van tools. Ze vertrouwen vaak op statische datasets of nep-API's.

In de financiële sector kan een verkeerde tool-aanroep catastrofaal zijn, zelfs als de syntaxis correct is. Drie specifieke faalmodi worden geïdentificeerd die huidige metrics missen:

1. Timeliness (Tijdsbetrouwbaarheid): Een antwoord is fout als het verouderde data gebruikt, zelfs als de API-oproep technisch geslaagd is (bijv. "huidige" koersen vs. een dagelijkse snapshot).
2. Intent Restraint (Intentiebeperking): Agents moeten strikt onderscheid maken tussen informatieve queries en transactieve acties. Een agent mag nooit zonder expliciete autorisatie overgaan tot uitvoering (transactie).
3. Domain Alignment (Domein-uitlijning): De gekozen toolketen moet strikt overeenkomen met het gereguleerde marktsegment (bijv. het gebruik van aandelenmarktools voor crypto-vragen is een "domein-hallucinatie").

2. Methodologie: FinToolBench

Om deze kloof te dichten, stellen de auteurs FinToolBench voor, het eerste uitvoerbare benchmark voor financiële tool-learning agents.

A. Dataset Constructie

• Tool Library: Bestaat uit 760 uitvoerbare tools uit twee bronnen:
  • RapidAPI: Een marktplaats met realtime webdiensten (gefilterd op free-tier toegankelijkheid en uitvoerbaarheid).
  • AkShare: Een open-source Python-bibliotheek voor financiële data.
  • De tools zijn genormaliseerd tot een uniek manifest met gestandaardiseerde handtekeningen en argumenten.
• Vraagset: 295 vragen die specifiek tool-gebruik vereisen (166 single-tool, 129 multi-tool). Deze zijn afgeleid van bestaande datasets (FinanceBench, OpenFinData) maar gefilterd zodat ze niet met statische kennis beantwoord kunnen worden.
• Financiële Attributen: Elk instrument is gelabeld met drie kritieke attributen:
  1. Update Frequency: (realtime, daily, as_filed, periodic, static).
  2. Intent Type: (informational, advisory, transactional).
  3. Regulatory Domain: (equity, bond, crypto, etc.).

B. Evaluatie Framework

In plaats van alleen te kijken of een antwoord correct is, splitst FinToolBench de evaluatie op in twee dimensies:

1. Capability (Vermogen):
   • TIR (Tool Invocation Rate): Hoe vaak worden tools aangeroepen?
   • TESR (Tool Execution Success Rate): Slagen de uitvoeringen?
   • CER (Conditional Execution Rate): Succesratio gegeven dat een tool is aangeroepen.
2. Compliance (Naleving):
   • TMR (Timeliness Mismatch Rate): Hoe vaak wordt verouderde data gebruikt?
   • IMR (Intent Mismatch Rate): Hoe vaak wordt een transactieve tool gebruikt voor een informatieve vraag?
   • DMR (Domain Mismatch Rate): Hoe vaak wordt een tool uit het verkeerde marktsegment gebruikt?

C. Baseline: FATR (Finance-Aware Tool Retrieval)

De auteurs introduceren FATR, een lichtgewicht baseline die financiële beperkingen expliciet maakt voor een generieke LLM-planner:

• Attribute Injection: Financiële tags (tijdsbetrouwbaarheid, intent, domein) worden toegevoegd aan de "Tool Cards" die aan de planner worden gepresenteerd.
• Constraint-Aware Planning: De planner moet eerst de vereisten van de vraag afleiden en vervolgens tools selecteren die aan deze beperkingen voldoen (bijv. vermijden van transactieve tools tenzij expliciet gevraagd).
• Stabiliteit: Gebruik van caching, retries en output-compressie om uitvoeringsfouten te minimaliseren.

3. Belangrijkste Resultaten

De benchmark werd getest op verschillende LLM-backends (o.a. Doubao-Seed-1.6, Qwen3-8B, GLM-4.7-Flash, GPT-4o).

• Trade-off tussen Activiteit en Nauwkeurigheid:
  • Qwen3-8B had de hoogste tool-aanroepkans (TIR = 0.87) en hoogste soft-score, maar een lage uitvoeringssuccesratio (CER = 0.34), wat wijst op veel fouten bij het construeren van argumenten.
  • GPT-4o was extreem conservatief (lage TIR = 0.23), maar had de hoogste nauwkeurigheid bij uitvoering (CER = 0.62) en de laagste mismatch-rates. Het prioriteerde veiligheid boven recall.
  • Doubao-Seed-1.6 bood de meest gebalanceerde prestaties met een hoge uitvoeringssuccesratio (TESR = 0.32) en een goede CER.
• Effect van Attribute Injection:
  • Het toevoegen van financiële tags aan de tool-cards (FATR) verlaagde licht de totale tool-aanroepkans (TIR), omdat de planner risicovolle calls vermijdt.
  • Echter, dit leidde tot een significant hogere Conditional Execution Rate (CER) en lagere mismatch-rates (TMR, IMR, DMR). Dit bewijst dat het expliciet maken van beperkingen de kwaliteit van de tool-selectie verbetert, zelfs als het aantal pogingen daalt.
• Complexiteit: De dataset toont aan dat multi-tool vragen (gemiddeld 3 tools per query) veel vaker voorkomen dan single-tool vragen, wat de noodzaak van robuuste planning onderstreept.

4. Bijdragen

1. FinToolBench: Een uitvoerbaar benchmark met 760 real-world tools en 295 vragen, specifiek ontworpen voor financiële agenten.
2. Nieuwe Evaluatiemetrics: Introductie van compliance-metrics (TMR, IMR, DMR) die specifiek meten of tool-keuzes voldoen aan financiële regels (tijd, intent, domein), niet alleen of ze technisch werken.
3. FATR Baseline: Een referentie-implementatie die aantoont dat het injecteren van domeinkennis in tool-cards de betrouwbaarheid en naleving van agents aanzienlijk verbetert.
4. Open Source: De tool-manifest, uitvoeringsomgeving en evaluatiecode zijn open-source beschikbaar gesteld om herhaalbaarheid te waarborgen.

5. Betekenis en Impact

FinToolBench stelt een nieuwe standaard voor het evalueren van AI in de financiële sector. Het artikel benadrukt dat voor financiële toepassingen "werkend" niet genoeg is; de tool-keuzes moeten ook compliant zijn.

• Het verschuift de focus van "kan de agent de API aanroepen?" naar "is de tool-keuze veilig, actueel en relevant voor dit specifieke marktsegment?".
• Het biedt een testomgeving voor auditable (controleerbare) financiële uitvoering, wat essentieel is voor het opbouwen van vertrouwen in autonome financiële agents.
• Het identificeert dat toekomstige modellen niet alleen beter moeten worden in het vinden van tools, maar vooral in het begrijpen van de contextuele beperkingen van de financiële wereld.

Kortom, FinToolBench is een cruciale stap richting betrouwbare, real-world toepassing van LLM-agents in de hoog-risico financiële sector.