💬 NLP

FinRAG-12B: A Production-Validated Recipe for Grounded Question Answering in Banking

FinRAG-12B ist ein produktionsvalidiertes, dateneffizientes 12-Milliarden-Parameter-Framework, das eine spezialisierte Trainingspipeline mit kalibrierten Ablehnungsmechanismen kombiniert, um hochpräzise, fundierte und kosteneffektive Fragenbeantwortung für über 40 Finanzinstitute zu liefern, und dabei GPT-4.1 sowohl in der Zitierqualität als auch bei der Abfrageauflösung übertrifft, während es gleichzeitig die Latenz und die Betriebskosten erheblich senkt.

Ursprüngliche Autoren: Denys Katerenchuk, Pablo Duboue, Keelan Evanini, David Gondek, Nithin Govindugari, Olivier Allauzen, Joshua Baptiste, David J More, Joshua Schechter

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Denys Katerenchuk, Pablo Duboue, Keelan Evanini, David Gondek, Nithin Govindugari, Olivier Allauzen, Joshua Baptiste, David J More, Joshua Schechter

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen neuen Assistenten für eine Bank ein. Sie benötigen jemanden, der unglaublich intelligent ist, die Regeln der Bank in- und auswendig kennt und – am wichtigsten – niemals etwas erfindet. Wenn er die Antwort nicht weiß, muss er sagen: „Ich weiß es nicht", anstatt zu raten und Ihnen schlechte Finanzberatung zu geben, die die Bank in Schwierigkeiten bringen könnte.

Dieser Artikel stellt FinRAG-12B vor, einen spezialisierten KI-Assistenten, der genau für diese Aufgabe entwickelt wurde. Hier wird einfach erklärt, wie die Autoren ihn erstellt haben und warum er funktioniert.

Das Problem: Der „übermäßig zustimmungsbereite" Assistent

Standard-KI-Modelle (wie die, mit denen Sie online chatten könnten) sind großartig beim Schreiben von Geschichten oder beim Programmieren, haben aber in der Bankwelt eine schlechte Angewohnheit: Sie sind zu sehr bestrebt, es allen recht zu machen. Wenn Sie sie eine Frage stellen, die sie nicht aus ihrem Gedächtnis beantworten können, erfinden sie oft einfach eine plausible Antwort. In einer Bank ist das gefährlich. Wenn ein Kunde nach Strafgebühren für Hypotheken fragt und die KI falsch rät, könnte dies zu Klagen oder Geldverlust führen.

Die Lösung: Ein „Rezept" für einen intelligenten, ehrlichen Assistenten

Das Team hat eine KI mit 12 Milliarden Parametern erstellt (stellen Sie sich dies als ein sehr großes, aber nicht riesiges Gehirn vor) und sie mit einem spezifischen „Rezept" trainiert, um diese Probleme zu beheben. Sie haben ihr nicht einfach einen riesigen Datenhaufen gefüttert; sie haben einen hochwertigen, kleineren Datensatz kuratiert (nur 143 Millionen „Tokens" oder Wörter), um ihr drei spezifische Fähigkeiten beizubringen:

1. Die „Zitier"-Fähigkeit (Zeigen Sie Ihre Arbeit)

Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt. Eine normale KI würde einfach die Antwort hinschreiben. FinRAG-12B ist so trainiert, dass es sich wie ein Schüler verhält, der seine Rechnung aufzeigen muss.

Wie sie es gemacht haben: Sie erstellten eine Trainingspipeline, in der die KI Fragen ausschließlich mit Hilfe spezifischer, ihr zur Verfügung gestellter Dokumente beantworten musste (wie einem Handbuch der Bankrichtlinien).
Das Ergebnis: Wenn die KI antwortet, verweist sie auf den genauen Satz im Dokument, der ihre Antwort stützt. Sie lernte zu sagen: „Laut Seite 4 der Richtlinie beträgt die Gebühr 50 US-Dollar", anstatt einfach nur zu raten. In Tests war sie darin sogar besser als die fortschrittlichsten kommerziellen KI-Modelle.

2. Die „Ehrlichkeits"-Fähigkeit (Wissen, wann man aufhört)

Dies ist der kritischste Teil. Das Team erkannte, dass eine KI, die nur auf Fragen trainiert wird, die sie beantworten kann, niemals lernt, „Ich weiß es nicht" zu sagen.

Die Analogie: Stellen Sie sich einen Lehrer vor, der nur Fragen stellt, auf die der Schüler die Antwort kennt. Der Schüler wird niemals lernen, Unwissenheit einzugestehen.
Die Lösung: Das Team fütterte die KI absichtlich mit 22 % der Fragen, bei denen die Antwort nicht in den bereitgestellten Dokumenten enthalten war. Sie lehrten sie, dass in diesen Fällen die richtige Antwort „Ich weiß es nicht" lautet.
Das Ergebnis: Die KI lernte, „kalibriert" zu sein. Sie weigert sich, zu antworten, wenn sie unsicher ist (12 % der Fälle), was viel sicherer ist als das Basismodell (das in 95 % der Fälle riet) und weniger störend als andere Modelle, die sich zu oft weigern (20 % der Fälle).

3. Das „Curriculum"-Lernen (Die KI zur Schule schicken)

Sie haben nicht alle Daten auf einmal in die KI gestopft. Sie verwendeten einen „Curriculum"-Ansatz, wie ein Schulsystem:

Stufe 1 (Allgemeine Schule): Sie lehrten die KI allgemeine Finanzsprache mit Open-Source-Daten. Dies gab ihr ein solides Fundament.
Stufe 2 (Spezialisierte Ausbildung): Dann stellten sie sie echten, privaten Bankgesprächen und spezifischen Regeln vor.
Warum das wichtig ist: Wenn sie diese beiden Datentypen zufällig gemischt hätten, wäre die KI verwirrt geworden und schlecht abgeschnitten. Durch das schrittweise Lernen lernte sie zuerst die Regeln und dann, wie man sie im echten Leben anwendet.

Ergebnisse aus der Praxis: Der „Live-Test"

Die Autoren testeten dies nicht nur im Labor; sie setzten es in über 40 Finanzinstitutionen ein. Hier ist, was passierte:

Mehr gelöste Fragen: Die neue KI beantwortete erfolgreich 7,1 % mehr Kundenfragen als das alte System, ohne dass ein Mensch eingreifen musste.
Geschwindigkeit und Kosten: Sie ist 3 bis 5 Mal schneller als die Nutzung einer kommerziellen KI-API der Spitzenklasse. Noch wichtiger ist, dass der Betrieb 20 bis 50 Mal günstiger ist.
- Analogie: Die Nutzung der alten kommerziellen KI ist wie die Nutzung eines Privatjets für eine kurze Fahrt zum Supermarkt. FinRAG-12B ist wie das Fahren eines zuverlässigen, effizienten Elektroautos. Es bringt Sie schneller und zu einem Bruchteil des Preises dorthin.
Kundenzufriedenheit: Obwohl sich die Qualität einzelner Antworten nicht drastisch änderte, waren die Kunden insgesamt zufriedener, weil mehr ihrer Fragen erfolgreich beantwortet wurden.

Zusammenfassung

FinRAG-12B ist eine spezialisierte Banken-KI, die darauf trainiert wurde, ehrlich, fundiert und effizient zu sein. Indem die Autoren sie lehrten, ihre Quellen zu zitieren und einzugestehen, wenn sie die Antwort nicht weiß, schufen sie ein System, das für Banken sicherer, im Betrieb günstiger ist und tatsächlich mehr Kundenprobleme löst als die „vom Band" verfügbaren Alternativen.

Hinweis zu Einschränkungen: Die Autoren betonen sorgfältig, dass dies spezifisch für Bankfragen (wie Kredite und Konten) getestet wurde. Sie behaupten nicht, dass es bereits für den Aktienhandel oder die Versicherung funktioniert, und sie konnten ihre privaten Trainingsdaten aufgrund von Datenschutzgesetzen nicht teilen, obwohl sie ihre öffentlichen Trainingsmethoden mitgeteilt haben.

Technische Zusammenfassung: FinRAG-12B

Problemstellung

Die Einführung von Large Language Models (LLMs) im Bankensektor wird durch strenge Anforderungen an faktische Richtigkeit, regulatorische Compliance und überprüfbare Fundierung behindert. Kommerziell verfügbare Modelle leiden häufig unter Halluzinationen, übermäßigem Anpassungsverhalten (Sycophancy) und mangelnder Abstimmung mit dynamischen, domänenspezifischen Daten wie Zinssätzen und institutionellen Richtlinien. In Retrieval-Augmented Generation (RAG)-Systemen ignorieren Modelle möglicherweise den abgerufenen Kontext, verlassen sich auf irrelevante Passagen oder erfinden Antworten, wenn Informationen nicht verfügbar sind. Dies birgt erhebliche regulatorische und finanzielle Risiken. Darüber hinaus scheitern bestehende Lösungen häufig daran, den Kompromiss zwischen der Beantwortung von Anfragen und der Verweigerung der Antwort bei unzureichenden Beweisen auszubalancieren, was entweder zu unsicheren Halluzinationen oder zu übermäßiger Verweigerung (übermäßige Vorsicht) führt.

Methodik

Die Autoren schlagen FinRAG-12B vor, ein 12B-Parameter-LLM, das für Banking-RAG optimiert ist und auf dem Basis-Modell Gemma 3 12B-IT aufbaut. Der Ansatz konzentriert sich auf ein einheitliches, dateneffizientes Trainingsframework, das die Antwortqualität, die Fundierung durch Zitate und die kalibrierte Verweigerung gemeinsam optimiert.

1. Datenkuratierungs-Pipeline

Das Trainingskorpus besteht aus 98.648 Beispielen (143 Mio. Tokens) und priorisiert Qualität vor Skalierbarkeit. Die Pipeline umfasst:

RAG-v1 (Open Source): 43.581 Beispiele, die über JudgeLM gefiltert wurden, um eine hochwertige Überwachung sicherzustellen.
Synthetische SEC-Frage-Antwort-Paare: 16.773 Beispiele, die aus SEC-Einreichungen (10-K, 10-Q) unter Verwendung einer fünfstufigen Pipeline generiert wurden. Dies umfasst die Segmentierung von Dokumenten, die Generierung von Fragen auf vier Schwierigkeitsstufen, das Umformulieren zur Anpassung an reale Verteilungen von Benutzeranfragen (Stil, Länge, Formalität), die Erzwingung von Zitier-stil-Ausgaben und das Einfügen von Ablenkungspassagen, um Retrieval-Rauschen zu simulieren.
CommonCrawl-Finanz-Teilmenge: 20.499 Beispiele, die von echten Benutzeranfragen (ohne PII) und relevanten Passagen abgeleitet wurden und über einen Random-Forest-Klassifikator gefiltert wurden, um die Einhaltung der Datenschutzbestimmungen sicherzustellen.
Kalibrierungsdaten für Verweigerung: 17.795 proprietäre Beispiele (22 % der Mischung), bei denen der abgerufene Kontext thematisch relevant, aber unzureichend ist. Das Zieloutput ist ein explizites „Ich weiß es nicht", um das Modell zu trainieren, sich zurückzuhalten, anstatt zu halluzinieren.

2. Trainingsstrategie

Das Modell verwendet einen zweistufigen Curriculum-Learning-Ansatz:

Stufe 1 (Domänenanpassung): Training auf 60.354 Beispielen (RAG-v1 + Synthetische SEC) mit einer konservativen Lernrate ( $1 \times 10^{-6}$ ). Dies etabliert grundlegende Fähigkeiten für fundierte Generierung und Zitat-Abstimmung unter Verwendung reproduzierbarer Daten.
Stufe 2 (Aufgabenspezialisierung): Weiteres Training auf 38.294 Beispielen (CommonCrawl + Proprietäres Banking) mit einer höheren Lernrate ( $5 \times 10^{-6}$ ). Diese Stufe führt reale Verteilungen von Benutzeranfragen ein und kalibriert das Verweigerungsverhalten.
Minderung von Positionsverzerrungen: Um die Tendenz von Modellen zu kompensieren, unverhältnismäßig stark auf den Anfang oder das Ende des Kontexts zu achten, randomisieren die Autoren die Platzierung relevanter Passagen unter den Ablenkungen unter Verwendung einer Mischung diskreter rechter trapezförmiger harmonischer Zerfall-Verteilungen.
Kalibrierung der Verweigerung: Eine systematische Abtastung ergab, dass ein Verhältnis von 22 % unbeantwortbarer Beispiele den optimalen Kompromiss liefert, unbelegte Antworten minimiert und gleichzeitig übermäßige Verweigerung bei beantwortbaren Anfragen vermeidet.

3. Modellkonfiguration und Bereitstellung

Fine-Tuning: Nutzung von LoRA (Low-Rank Adaptation) auf allen Attention- und MLP-Schichten ( $r=64, \alpha=256$ ).
Quantisierung: Das Modell wird mit SmoothQuant auf W4A16 (4-Bit-Gewichte, 16-Bit-Aktivierungen) quantisiert, wodurch der Speicherbedarf von 24 GB auf 8,4 GB reduziert wird, was eine effiziente Bereitstellung auf einer einzelnen GPU mit minimaler Leistungsminderung ermöglicht.

Hauptbeiträge

Dateneffiziente Pipeline: Eine mehrstufige Pipeline, die LLM-as-a-Judge-Filterung, stilbedingte synthetische Generierung und datenschutzkonforme Extraktion realer Daten kombiniert, um einen hochwertigen, fundierten Trainingsdatensatz mit nur 143 Mio. Tokens zu erstellen.
Kalibrierter Verweigerungsmechanismus: Eine Strategie auf Basis kontrollierten negativen Samplings (22 % unbeantwortbarer Beispiele), die Halluzinationen signifikant reduziert und gleichzeitig die bei allgemeinen Modellen übliche übermäßige Verweigerung verhindert.
End-to-End-Produktionsframework: Eine validierte Methodik, die von der Datenkuratierung über Curriculum-Learning bis hin zur quantisierten Bereitstellung reicht und bei über 40 Finanzinstituten eingesetzt wird.

Ergebnisse

Die Evaluierung erfolgte auf einem proprietären Bankentestset (258 Beispiele) und dem öffentlichen Benchmark FinanceBench.

Antwortqualität und Fundierung: FinRAG-12B erreichte einen JudgeLM-Score von 6,21 und übertraf damit GPT-4.1 (5,72) und das Basis-Modell Gemma 3 (5,70). Es verbesserte zudem die Zitierqualität auf 73,1 (vs. 70,8 für GPT-4.1) und zeigte eine selektivere und relevantere Fundierung durch Zitate.
Kalibrierung der Verweigerung: Das Modell erreichte eine Abstinenzrate von 12,0 % bei unbeantwortbaren Anfragen. Dies stellt eine erhebliche Verbesserung gegenüber der unsicheren Rate von 4,3 % des Basis-Modells (Unter-Verweigerung) und der Rate von 20,2 % von GPT-4.1 (Über-Verweigerung) dar.
Generalisierung: Auf FinanceBench erreichte FinRAG-12B die höchste F1-Score (0,284) mit einer Zitierquote von 97,3 % und übertraf sowohl das Basis-Modell als auch GPT-4.1.
Ablationsstudien: Das gleichzeitige gemeinsame Training auf allen Datenquellen führte zu einem Zusammenbruch der Leistung (JudgeLM 3,28, 46,5 % Über-Verweigerung). Das zweistufige Curriculum war entscheidend, um den Konflikt zwischen dem Erlernen von Zitierkonventionen und der Kalibrierung der Verweigerung zu lösen.
Latenz und Kosten: FinRAG-12B arbeitet 3–5-mal schneller als GPT-4.1 (0,57 s Gesamtzeit bis zum Abschluss vs. 1,83 s) und verursacht 20–50-mal geringere Kosten pro Anfrage, wenn es auf einer einzelnen RTX 6000 Ada GPU bereitgestellt wird.
Auswirkung auf die Produktion: Bei einer Live-Bereitstellung in einer großen US-Kreditgenossenschaft verbesserte FinRAG-12B die Auflösungsrate von Anfragen um 7,1 Prozentpunkte (von 77,4 % auf 84,5 %, $p < 0,001$ ). Die Zufriedenheit der Nutzer stieg von 59,5 % auf 62,9 %, hauptsächlich getrieben durch die höhere Auflösungsrate und nicht durch marginale Verbesserungen der Qualität pro Antwort.

Bedeutung

Die Arbeit behauptet, dass FinRAG-12B zeigt, dass Datenqualität, Fundierung und Trainingsmethodik für den Aufbau zuverlässiger LLMs in regulierten Domänen kritischer sind als die Modellgröße. Durch die Integration einer dateneffizienten Pipeline mit kalibrierter Verweigerung erreicht das System hohe Genauigkeit und Sicherheit ohne die Latenz- und Kostenbelastungen großer kommerzieller APIs. Die Arbeit unterstreicht, dass in produktiven RAG-Systemen die Steigerung der Auflösungsrate der primäre Treiber der Nutzerzufriedenheit ist und dass ein einheitliches Framework die Kompromisse zwischen Beantworten, Zitieren und Abstinenz in hochriskanten Finanzumgebungen erfolgreich navigieren kann.