FinToolBench: Evaluating LLM Agents for Real-World Financial Tool Use

Das Paper stellt FinToolBench vor, das erste ausführbare Benchmark-System mit 760 realen Finanzwerkzeugen und einem spezialisierten Evaluierungsrahmen, um die Leistung von LLM-Agenten in komplexen, regulatorisch anspruchsvollen Finanzszenarien zu bewerten.

Das Wesentliche

Stell dir vor, du hast einen extrem klugen, aber manchmal etwas naiven Assistenten, den wir "KI-Agent" nennen. Dieser Assistent ist wie ein junger, hochintelligenter Praktikant, der alles über die Welt weiß, aber noch nie wirklich in einem echten Büro gearbeitet hat.

Bisher haben wir diesen Praktikanten nur mit Fragen getestet, die er aus seinem Gedächtnis beantworten musste (wie "Wer war der erste Präsident der USA?"). Aber in der echten Welt der Finanzen reicht Wissen allein nicht. Man muss Handeln können: Aktienkurse in Echtzeit abrufen, Verträge prüfen oder Berechnungen anstellen.

Das Problem: Wenn dieser KI-Assistent in der echten Finanzwelt versucht, Werkzeuge zu benutzen, kann er katastrophale Fehler machen. Er könnte veraltete Daten nutzen, versehentlich einen Kaufauftrag auslösen, wenn er nur eine Information wollte, oder sich in einem völlig falschen Markt (z. B. Krypto statt Aktien) verirren.

Hier kommt FinToolBench ins Spiel.

Was ist FinToolBench? (Der "Flugzeug-Flugsimulator" für Finanz-KI)

Stell dir FinToolBench wie einen hochmodernen Flugsimulator vor, aber statt für Piloten ist er für KI-Assistenten gebaut.

• Das alte Training: Bisher trainierte man diese KIs nur mit alten Flugzeug-Modellen aus Pappe (simulierten Daten). Sie lernten, wie man den Hebel bewegt, aber nie, wie sich das echte Flugzeug bei Sturm verhält.
• Das neue Training (FinToolBench): Hier haben die Forscher eine riesige, echte Werkstatt mit 760 echten Werkzeugen (APIs) aufgebaut. Es gibt echte Daten für Aktien, Fonds, Währungen und mehr. Dazu haben sie 295 komplexe Aufgaben erstellt, die man nur lösen kann, wenn man diese Werkzeuge benutzt.

Das Besondere: Der Simulator zeichnet jeden einzelnen Schritt auf. Nicht nur, ob der Assistent am Ende die richtige Antwort hatte, sondern wie er dorthin kam.

Die drei tödlichen Fallen (Die "Finanz-Regeln")

In der Finanzwelt gibt es Regeln, die für einen normalen Chatbot irrelevant sind, aber hier lebenswichtig sind. FinToolBench prüft drei Dinge, die wie ein strenger Chef wirken:

1. Die Zeitfalle (Timeliness):

   • Szenario: Du fragst: "Was kostet der Kaffee jetzt?"
   • Der Fehler: Der Assistent schaut in ein altes Buch von gestern.
   • Die Regel: In der Finanzwelt ist "gestern" oft so gut wie "nie". FinToolBench bestraft den Assistenten, wenn er veraltete Daten nutzt, selbst wenn die Antwort technisch korrekt aussieht.

2. Die Absichts-Falle (Intent):

   • Szenario: Du fragst: "Wie viel kostet die Aktie von Tesla?" (Du willst nur wissen).
   • Der Fehler: Der Assistent ruft das Werkzeug auf, um die Aktie zu kaufen.
   • Die Regel: Ein Assistent darf niemals handeln (kaufen/verkaufen), wenn du ihn nur nach Informationen gefragt hast. Das wäre wie ein Koch, der das Essen verbrennt, nur weil du gefragt hast, wie es schmeckt.

3. Die Domänen-Falle (Domain):

   • Szenario: Du fragst nach einer Kryptowährung.
   • Der Fehler: Der Assistent nutzt Werkzeuge für normale Aktienmärkte.
   • Die Regel: Das ist, als würdest du einen Schraubenschlüssel benutzen, um einen Nagel in eine Wand zu schlagen. Es passt nicht zusammen. FinToolBench prüft, ob der Assistent das richtige Werkzeug für den richtigen Markt gewählt hat.

Der neue "Super-Assistent" (FATR)

Die Forscher haben nicht nur den Simulator gebaut, sondern auch einen neuen Trainingsansatz namens FATR vorgestellt.

Stell dir FATR wie einen kleinen Zettel vor, den der Assistent an seine Stirn klebt, bevor er arbeitet. Auf diesem Zettel steht nicht nur, was das Werkzeug tut, sondern auch:

• "Dieses Werkzeug ist nur für heutige Daten."
• "Dieses Werkzeug ist nur zum Lesen, nicht zum Kaufen."
• "Dieses Werkzeug gehört nur zur Aktien-Abteilung."

Dank dieses Zettels macht FATR weniger Fehler. Er ist vorsichtiger, wählt die richtigen Werkzeuge und scheitert seltener an den strengen Finanzregeln.

Warum ist das wichtig?

Bisher haben wir KIs in der Finanzwelt getestet, als wären sie in einem Spielzeug-Laden. FinToolBench bringt sie in die echte Fabrik.

• Vertrauen: Wir können jetzt sehen, ob eine KI wirklich sicher genug ist, um echte Geldgeschäfte zu überwachen.
• Transparenz: Wir sehen genau, wo sie hängen bleibt (z. B. bei veralteten Daten oder falschen Werkzeugen).
• Zukunft: Es ist der erste Schritt zu KI-Assistenten, die wir wirklich im Finanzsektor einsetzen können, ohne Angst zu haben, dass sie versehentlich das Bankkonto leerräumen oder mit falschen Daten handeln.

Zusammenfassend: FinToolBench ist wie ein strenger Prüfling, der einen KI-Assistenten nicht nur fragt, ob er die Antworten weiß, sondern ob er auch die richtigen Werkzeuge zur richtigen Zeit, am richtigen Ort und mit der richtigen Absicht benutzt. Nur so wird die KI wirklich vertrauenswürdig für die Welt des Geldes.

Technische Zusammenfassung

1. Problemstellung

Die Integration von Large Language Models (LLMs) in den Finanzsektor verspricht einen Wandel von passiver Informationsrecherche hin zu dynamischen, agentenbasierten Interaktionen. Bisherige Evaluierungsansätze weisen jedoch erhebliche Lücken auf:

• Allgemeine Tool-Benchmarks: Diese konzentrieren sich oft auf „Toy"-Umgebungen oder eine geringe Anzahl von APIs und berücksichtigen nicht die spezifischen Anforderungen des Finanzsektors (hohe Risiken, strenge Compliance, schnelle Datenvolatilität).
• Finanz-spezifische Benchmarks: Die meisten existierenden Datensätze (z. B. FinQA, FinanceBench) basieren auf statischen Texten oder Dokumenten-Frage-Antwort-Aufgaben. Sie ignorieren die Ausführung von Tools und testen nicht, ob ein Agent in der Lage ist, Echtzeit-APIs korrekt und konform aufzurufen.
• Kritische Defizite: Ein falscher Tool-Aufruf ist im Finanzbereich oft schädlicher als eine falsche freie Antwort, da er „grounded" (auf Daten basierend) wirken kann, aber auf veralteten Daten, falschen Märkten oder unzulässigen Transaktionen beruht. Es fehlen Metriken, um Aktualität (Timeliness), Intent-Einschränkung (Intent Restraint) und Domänen-Alignment (Regulatory Domain) zu bewerten.

2. Methodik: FinToolBench

Die Autoren stellen FinToolBench vor, den ersten ausführbaren Benchmark, der speziell für die Evaluierung von Finanz-Tool-Learning-Agenten entwickelt wurde.

A. Datenaufbau und Tool-Bibliothek

• Quellen: Die Bibliothek wurde aus zwei komplementären Ökosystemen zusammengestellt: RapidAPI (für Echtzeit-Dienste) und AkShare (eine Open-Source-Bibliothek für Finanzdaten).
• Filterung: Von ursprünglich 5.470 Kandidaten wurden nur 760 ausführbare Tools ausgewählt. Die Filterkriterien umfassten:
  • Gültigkeit der Schnittstelle und Vollständigkeit der Parameter.
  • Entfernung von Duplikaten.
  • Ausreichende Rate-Limits (Free-Tier).
  • Authentifizierbarkeit ohne proprietäre Verträge.
  • Erfolgreiche Test-Aufrufe.
• Normalisierung: Alle Tools wurden in ein einheitliches Manifest-Schema überführt (stabile IDs, normalisierte Parameter, konsistente Ausgabeformate), um die Evaluierung zu vereinheitlichen.

B. Frage-Set (Question Set)

• Der Datensatz enthält 295 Fragen, die zwingend Tool-Aufrufe erfordern (166 Single-Tool, 129 Multi-Tool).
• Die Fragen stammen aus bestehenden Finanz-Datensätzen (FinanceBench, OpenFinData), wurden jedoch strikt gefiltert, um Fragen zu entfernen, die durch statisches Wissen beantwortet werden könnten.
• Alignment: Eine zweistufige Pipeline (semantische Retrieval + LLM-Verifikation) stellt sicher, dass jede Frage mit den korrekten Tools abgeglichen ist.

C. Finanz-Attribute (Finance Attributes)

Ein Kerninnovation ist die Annotation jedes Tools mit drei finanzspezifischen Attributen, die für die Compliance-Bewertung genutzt werden:

1. Update Frequency (Aktualität): Echtzeit, täglich, bei Einreichung, periodisch, statisch.
2. Intent Type (Absicht): Informationsorientiert, beratend, transaktional.
3. Regulatory Domain (Regulatorische Domäne): z. B. Aktien, Anleihen, Krypto, Makroökonomie.

D. Evaluierungs-Protokoll

Die Evaluierung trennt Fähigkeit (Capability) von Compliance:

• Capability-Metriken:
  • TIR (Tool Invocation Rate): Anteil der Fragen, bei denen Tools aufgerufen wurden.
  • TESR (Tool Execution Success Rate): Anteil der erfolgreich ausgeführten Tool-Traces.
  • CER (Conditional Execution Rate): Erfolgswahrscheinlichkeit gegeben, dass ein Tool aufgerufen wurde.
• Compliance-Metriken (Mismatch Rates):
  • TMR (Timeliness Mismatch Rate): Wird ein veraltetes Tool für eine Echtzeit-Anfrage genutzt?
  • IMR (Intent Mismatch Rate): Wird ein transaktionaler Tool für eine reine Informationsabfrage genutzt (ohne explizite Autorisierung)?
  • DMR (Domain Mismatch Rate): Wird ein Tool aus dem falschen Marktsegment genutzt (z. B. Krypto-Tools für Aktien)?

3. Baseline: FATR (Finance-Aware Tool Retrieval)

Um die Benchmarks nutzbar zu machen, stellen die Autoren FATR als Referenz-Baseline vor.

• Konzept: FATR injiziert die Finanz-Attribute direkt in die „Tool Cards", die dem LLM-Planer präsentiert werden.
• Prozess:
  1. Retrieval: Top-K-Tools werden basierend auf semantischer Ähnlichkeit ausgewählt.
  2. Constraint-Aware Planning: Der Agent inferiert die Anforderungen der Frage (z. B. „Echtzeit-Daten benötigt") und wählt Tools aus, deren Attribute (Timeliness, Intent, Domain) kompatibel sind.
  3. Stabilisierung: Einsatz von Caching, Retries und Output-Kompression, um die Ausführung zu stabilisieren.
• FATR dient nicht als trainiertes Modell, sondern als implementierungsfreundlicher Rahmen, der zeigt, wie Constraints in den Prompt integriert werden können.

4. Ergebnisse

Die Evaluierung verschiedener LLM-Backends (Doubao-Seed-1.6, Qwen3-8B, GLM-4.7-Flash, GPT-4o) ergab folgende Erkenntnisse:

• Trade-off zwischen Recall und Precision:
  • Qwen3-8B zeigte die höchste Tool-Nutzungsrate (TIR = 0,87), aber eine niedrige bedingte Erfolgsrate (CER = 0,34), was auf viele Fehler bei der Argumentkonstruktion hindeutet.
  • GPT-4o war extrem konservativ (niedrigste TIR = 0,23), erreichte aber bei erfolgreichen Aufrufen die höchste Präzision (höchste CER und CSS) und die niedrigsten Mismatch-Raten.
  • Doubao-Seed-1.6 erzielte die beste Balance mit der höchsten Gesamt-Erfolgsrate (TESR) und einer soliden CER.
• Einfluss der Attribute: Der Vergleich von FATR mit und ohne Attribute-Injektion zeigte, dass die explizite Nennung von Finanz-Constraints die Compliance (niedrigere TMR, IMR, DMR) und die bedingte Zuverlässigkeit (CER) verbessert, auch wenn die reine Tool-Nutzungsrate (TIR) leicht sinkt, da der Agent risikoreiche Aufrufe vermeidet.
• Fehlermodi: Viele Fehler lagen nicht im Nicht-Aufrufen von Tools, sondern in der falschen Auswahl (Domänen-Mismatch) oder der Nutzung veralteter Datenquellen für Echtzeit-Fragen.

5. Bedeutung und Beiträge

• Erster ausführbarer Finanz-Benchmark: FinToolBench füllt die Lücke zwischen statischen Finanz-QA-Datensätzen und allgemeinen Tool-Benchmarks, indem es eine realistische, ausführbare Umgebung mit 760 Tools bietet.
• Neue Evaluierungsdimensionen: Die Einführung von Metriken für Timeliness, Intent Restraint und Domain Alignment zwingt die Forschung, über die reine „Richtigkeit der Antwort" hinaus zu denken und die Sicherheit und Konformität von Tool-Traces zu bewerten.
• Reproduzierbarkeit: Da alle Tools auf Free-Tier-APIs basieren und der Code, das Manifest und die Evaluierungsskripte Open-Source sind (GitHub), kann die Community fair und konsistent neue Agenten evaluieren.
• Praxisrelevanz: Die Arbeit unterstreicht, dass für den Einsatz von LLMs im Finanzwesen nicht nur die Fähigkeit, Tools zu nutzen, sondern auch die Einhaltung regulatorischer und zeitlicher Constraints entscheidend ist.

Zusammenfassend setzt FinToolBench einen neuen Standard für vertrauenswürdige KI im Finanzwesen, indem es die Evaluierung von Agenten auf die Ebene der ausführbaren Tool-Traces und deren Compliance mit domänenspezifischen Regeln hebt.