FinBloom: Knowledge Grounding Large Language Model with Real-time Financial Data

Die Arbeit stellt FinBloom vor, ein auf Echtzeit-Finanzdaten spezialisiertes, 7-Milliarden-Parameter-LLM, das durch eine Kombination aus umfangreichem Feinabstimmungsdatenmaterial und einem kontextbasierten Agenten-Ansatz präzise und latenzarme Antworten auf dynamische Finanzanfragen ermöglicht.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen genialen, aber etwas vergesslichen Finanzberater, der Millionen von Büchern gelesen hat. Er kennt alle Finanzbegriffe, versteht komplexe Zusammenhänge und kann Texte perfekt analysieren. Das ist unser Großes Sprachmodell (LLM).

Das Problem ist: Dieser Berater wurde vor ein paar Jahren "eingefroren". Er weiß nicht, was heute passiert. Wenn Sie ihn fragen: "Wie steht es um die Aktie von Tesla heute?", antwortet er vielleicht mit Daten von 2023 oder er erfindet Zahlen, weil er keine Ahnung hat. In der Finanzwelt ist das aber katastrophal – dort zählt jede Minute und jeder Cent.

Die Autoren dieses Papers haben eine clevere Lösung namens FinBloom entwickelt. Hier ist die Erklärung, wie das funktioniert, mit ein paar einfachen Bildern:

1. Der vergessliche Experte vs. der lebendige Bibliothekar

Stellen Sie sich den normalen KI-Modell wie einen Experten in einem schallisolierten Raum vor. Er kann alles über die Welt sagen, aber er hat kein Fenster nach draußen. Wenn draußen ein Sturm tobt (z. B. eine neue Nachricht über Inflation), merkt er davon nichts.

FinBloom fügt diesem Experten ein Fenster und einen schnellen Boten hinzu.

• Der Experte (FinBloom 7B): Das ist das Gehirn. Es wurde nicht nur mit allgemeinen Büchern gefüttert, sondern mit 14 Millionen Finanznachrichten und Millionen von offiziellen Unternehmensberichten. Es spricht die Sprache der Finanzwelt fließend.
• Der Bote (Der Financial Agent): Das ist das neue Herzstück. Wenn Sie eine Frage stellen, rennt dieser Bote sofort zur Live-Datenbank (die Bibliothek mit den aktuellen Kursen und Nachrichten), holt sich die neuesten Fakten und bringt sie zum Experten.

2. Das Problem mit den "Halluzinationen"

Ohne diesen Boten würde der Experte raten. Das nennt man "Halluzinieren".

• Beispiel: Sie fragen: "Wie viel Umsatz machte General Motors im letzten Quartal?"
• Ohne FinBloom: Der Experte schaut in sein altes Gedächtnis, sieht Lücken und erfindet eine plausible Zahl. Das ist gefährlich.
• Mit FinBloom: Der Bote holt den echten Zahlenwert aus der Datenbank, legt ihn vor den Experten und sagt: "Hier sind die echten Zahlen, bitte antworte darauf." Der Experte gibt dann eine präzise, faktenbasierte Antwort.

3. Die "Finanz-Kontext-Datenbank" (Der Trainingsplan)

Um den Boten so schlau zu machen, dass er genau weiß, welche Daten der Experte braucht, haben die Forscher eine riesige Übungstabelle erstellt.
Stellen Sie sich vor, sie haben 50.000 Übungsfragen von echten Investoren gesammelt. Dazu haben sie notiert: "Wenn der Investor nach dem Gewinn fragt, muss ich auch den Umsatz und die Kosten herholen, damit der Experte alles richtig versteht."
Diese Übungstabelle hat sie benutzt, um den Boten zu trainieren. Jetzt weiß der Bote genau, welche Daten er aus der Datenbank ziehen muss, bevor er zum Experten geht.

4. Warum ist das so schnell?

Normalerweise müsste man das ganze KI-Modell ständig neu lernen lassen, wenn neue Nachrichten kommen. Das wäre wie ein Schüler, der jeden Morgen die ganze Schule neu besuchen muss, um zu wissen, was heute in der Pause passiert ist. Das ist zu langsam und zu teuer.

FinBloom macht es anders:

• Der Experte (das Modell) bleibt stabil und lernt nicht ständig neu.
• Nur der Bote holt sich die frischen Informationen.
• Das ist wie ein Live-Sport-Kommentator: Er kennt die Regeln des Spiels (das Modell), aber er schaut auf das Spielfeld, um zu sehen, wer gerade den Ball hat (die Live-Daten), und kommentiert dann sofort.

Zusammenfassung in einem Satz

FinBloom ist wie ein Super-Experte mit einem Live-Ticker im Ohr: Er versteht die komplexe Sprache der Finanzen perfekt, aber er wartet nicht auf alte Bücher, sondern holt sich die neuesten Nachrichten und Kursdaten in Echtzeit, um Ihnen eine Antwort zu geben, die heute wirklich stimmt.

Das macht es möglich, dass KI nicht nur für Schulzwecke genutzt wird, sondern echte, schnelle Entscheidungen im Finanzalltag unterstützen kann – ohne dass der Nutzer selbst mühsam Daten suchen muss.

Technische Zusammenfassung

1. Problemstellung

Große Sprachmodelle (LLMs) sind zwar hervorragend im Generieren menschenähnlicher Antworten, stoßen jedoch bei interaktiven Aufgaben, die Zugriff auf Echtzeitinformationen erfordern, an ihre Grenzen. Im Finanzsektor ist dies ein kritisches Hindernis, da Entscheidungen oft auf aktuellen Nachrichten, Aktienkursen und tabellarischen Finanzdaten basieren müssen.

• Statische Modelle: Herkömmliche LLMs sind „eingefrorene" Systeme mit statischem Wissen. Sie können nicht auf hochfrequent fließende Daten zugreifen.
• Kosten der Aktualisierung: Das ständige Fine-Tuning von Modellen auf neue Finanzdaten ist rechenintensiv, teuer und aufgrund der Geschwindigkeit der Datenströme oft nicht praktikabel.
• Limitationen traditioneller RAG-Systeme: Herkömmliche Retrieval-Augmented Generation (RAG)-Ansätze, die auf dichten Vektorrepräsentationen (Embeddings) und Approximate Nearest Neighbor (ANN) Suche basieren, sind für strukturierte Finanzdaten (Tabellen, Zeitreihen, Metriken) ungeeignet. Die Umwandlung strukturierter Daten in unstrukturierten Text führt zu Informationsverlust, Redundanz und Fehlern bei der präzisen Abfrage von Zellwerten.

2. Methodik und Architektur

Die Autoren schlagen einen modularen Ansatz vor, der ein spezialisiertes „Financial Agent"-System integriert, um LLMs mit Echtzeitwissen zu versehen, ohne die Gewichte des Haupt-LLMs ständig neu trainieren zu müssen. Das System besteht aus drei Hauptkomponenten:

A. Datenmodul (Data Module)

Dieses Modul fungiert als Repository für dynamische Finanzdaten und ist in zwei Backends unterteilt:

1. Strukturierte Daten: Eine relationale Datenbank (PostgreSQL) für tabellarische Daten wie Kurse, Kennzahlen und Jahresabschlüsse.
2. Unstrukturierte Daten: Ein Dokumentenspeicher (Elasticsearch) mit Vektorindizes für Finanznachrichten.

• Abfragemechanismus: Statt einer reinen Vektorsuche nutzt das System eine schema-abgestimmte Abfragevorhersage. Der Financial Agent generiert eine strukturierte Datenanfrage (Structured Data Request), die direkt in SQL-Abfragen oder präzise Filter für die Datenbank übersetzt wird. Dies vermeidet die Fehleranfälligkeit von Text-basierten Retrieval-Methoden bei numerischen Daten.
• Semantische Suche: Für Nachrichten wird ein feinabgestimmtes Modell (FinRoBERTa) verwendet, um Ähnlichkeiten zwischen Benutzeranfragen und Nachrichtenüberschriften zu erkennen.

B. Financial Agent

Der Agent ist ein eigenständiges LLM, das als Vermittler zwischen der Benutzeranfrage und dem Datenmodul agiert.

• Aufgabe: Er analysiert die natürliche Sprachanfrage des Nutzers, extrahiert die benötigten Entitäten (Unternehmen, Metriken, Datumsbereiche), identifiziert relevante „Related Metrics" (zusammenhängende Kennzahlen) und formuliert eine strukturierte Anfrage für das Datenmodul.
• Kontextgenerierung: Nach dem Abruf der Daten durch das Datenmodul fasst der Agent diese in einen textuellen Kontext zusammen und ergänzt die ursprüngliche Anfrage.

C. FinBloom 7B (Das spezialisierte LLM)

Als Basis für den Agenten wurde ein 7-Milliarden-Parameter-Modell entwickelt:

• Basis: Das Open-Source-Modell Bloom 7B.
• Pre-Training: Das Modell wurde auf einem massiven Korpus von über 14 Millionen Finanzartikeln (Reuters, DPA) und einer Stichprobe von 3 Millionen SEC-Einreichungen (25% von 12 Mio.) feinabgestimmt. Dies verleiht dem Modell tiefes domänenspezifisches Verständnis.
• Fine-Tuning: Anschließend wurde FinBloom 7B auf dem neu erstellten „Financial Context Dataset" trainiert, um die Rolle des Financial Agents zu übernehmen (Umwandlung von Fragen in strukturierte Datenanfragen).

3. Schlüsselbeiträge

1. Financial Context Dataset: Erstellung eines Datensatzes mit über 50.000 Finanzanfragen, die mit dem notwendigen Kontext (benötigte Daten, strukturierte Anfragen, verwandte Metriken) gepaart sind. Der Datensatz wurde durch eine Kombination aus echten Kundenanfragen, Experteninterviews und templatengesteuerter Generierung erstellt.
2. FinBloom 7B: Entwicklung und Veröffentlichung eines spezialisierten Finanz-LLMs, der auf großen Mengen echter Finanznachrichten und regulatorischer Dokumente trainiert wurde.
3. Financial Agent Framework: Ein neuer Architekturstil, der ein kleines, spezialisiertes LLM (den Agenten) nutzt, um strukturierte Daten für ein größeres LLM (z. B. GPT-3.5/4) zu extrahieren und zu kontextualisieren. Dies reduziert Latenz und verhindert Halluzinationen bei numerischen Daten.

4. Ergebnisse und Evaluation

• Benchmark-Leistung (FinBen): FinBloom 7B wurde auf dem umfassenden FinBen-Benchmark getestet. Im Vergleich zu anderen Finanz-LLMs (wie FinMA, FinGPT, CFGPT) erzielte FinBloom 7B die höchste durchschnittliche F1-Score über 25 verschiedene Datensätze hinweg, obwohl es nicht auf den spezifischen Testdaten vortrainiert wurde.
• Agenten-Genauigkeit: Beim Fine-Tuning auf dem Financial Context Dataset zeigte das feinabgestimmte FinBloom 7B signifikant bessere Ergebnisse (BLEU: 0,96 vs. 0,87; ROUGE-L: 0,97 vs. 0,89) als das allgemeine Bloom 7B-Modell bei der Generierung korrekter strukturierter Datenanfragen.
• Vergleich mit Web-Zugriff: In Fallstudien (Appendix D) wurde gezeigt, dass ChatGPT mit direktem Webzugriff oft veraltete, ungenaue oder geschätzte Finanzdaten liefert (Halluzinationen bei Quartalszahlen). Das vorgeschlagene System liefert hingegen präzise, datenbankgestützte Antworten, da der Agent direkt auf die strukturierte Datenbank zugreift.

5. Bedeutung und Fazit

Die Arbeit adressiert die kritische Lücke zwischen der generativen Kraft von LLMs und der Notwendigkeit präziser, Echtzeit-Daten im Finanzwesen.

• Effizienz: Durch die Trennung von Datenabruf (Agent) und Antwortgenerierung (LLM) wird die Latenz minimiert, was für algorithmisches Trading und hochfrequente Datenströme essenziell ist.
• Zuverlässigkeit: Der Ansatz eliminiert das Problem der „stale data" (veraltete Daten) und reduziert Halluzinationen, da die Fakten direkt aus einer strukturierten Quelle stammen.
• Skalierbarkeit: Das modulare Design ermöglicht es, Datenquellen zu aktualisieren, ohne das gesamte LLM neu trainieren zu müssen.

Zusammenfassend demonstriert FinBloom, dass die Kombination aus domänenspezifischem Pre-Training, einem spezialisierten Agenten für strukturierte Datenabfragen und einem modularen Knowledge-Grounding-Ansatz den Weg für zuverlässige, datengestützte KI-Systeme im Finanzsektor ebnet.