💬 NLP

FinRAG-12B: A Production-Validated Recipe for Grounded Question Answering in Banking

FinRAG-12B is een productie-gevalideerd, data-efficiënt framework met 12 miljard parameters dat een gespecialiseerde trainingspijplijn combineert met gekalibreerde weigeringsmechanismen om uiterst nauwkeurige, onderbouwde en kosteneffectieve vraag-antwoorddiensten te leveren voor meer dan 40 financiële instellingen, en presteert beter dan GPT-4.1 qua citatiekwaliteit en query-oplossing terwijl het tegelijkertijd de latentie en operationele kosten aanzienlijk verlaagt.

Oorspronkelijke auteurs: Denys Katerenchuk, Pablo Duboue, Keelan Evanini, David Gondek, Nithin Govindugari, Olivier Allauzen, Joshua Baptiste, David J More, Joshua Schechter

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Denys Katerenchuk, Pablo Duboue, Keelan Evanini, David Gondek, Nithin Govindugari, Olivier Allauzen, Joshua Baptiste, David J More, Joshua Schechter

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe assistent aan het werk zet bij een bank. Je hebt iemand nodig die ongelooflijk slim is, de regels van de bank tot in de puntjes kent en – allerbelangrijkst – nooit dingen verzonnen. Als ze het antwoord niet weten, moeten ze zeggen: "Ik weet het niet", in plaats van te gokken en je slecht financieel advies te geven dat de bank in de problemen kan brengen.

Dit artikel introduceert FinRAG-12B, een gespecialiseerde AI-assistent die precies voor deze taak is ontworpen. Hieronder wordt uitgelegd hoe de auteurs het hebben gebouwd en waarom het werkt, in eenvoudige bewoordingen.

Het probleem: de "te meegaande" assistent

Standaard AI-modellen (zoals die waarmee je online kunt chatten) zijn geweldig in het schrijven van verhalen of het coderen, maar ze hebben een slechte gewoonte in de bankwereld: ze zijn te graag bereid om te behagen. Als je hen een vraag stelt die ze niet uit hun geheugen kunnen beantwoorden, verzinnen ze vaak een plausibel klinkend antwoord. In een bank is dit gevaarlijk. Als een klant vraagt naar hypotheekboetes en de AI verkeerd gokt, kan dit leiden tot rechtszaken of geldverlies.

De oplossing: een "recept" voor een slimme, eerlijke assistent

Het team heeft een AI met 12 miljard parameters gecreëerd (denk hierbij aan een zeer groot, maar niet gigantisch brein) en dit getraind met een specifiek "recept" om deze problemen op te lossen. Ze hebben het niet zomaar gevoerd met een enorme hoop data; ze hebben een hoogwaardig, kleiner dataset gecureerd (slechts 143 miljoen "tokens" of woorden) om het drie specifieke vaardigheden aan te leren:

1. De "Citeren"-vaardigheid (Je werk tonen)

Stel je een student voor die een toets maakt. Een normale AI zou gewoon het antwoord opschrijven. FinRAG-12B is getraind om te handelen als een student die zijn werk moet tonen.

Hoe ze het deden: Ze creëerden een trainingsproces waarbij de AI vragen moest beantwoorden met uitsluitend specifieke documenten die aan hen werden verstrekt (zoals een handboek met het beleid van de bank).
Het resultaat: Wanneer de AI antwoordt, wijst het naar de exacte zin in het document die zijn antwoord ondersteunt. Het leerde om te zeggen: "Volgens pagina 4 van het beleid is de vergoeding 50 dollar", in plaats van gewoon te gokken. In tests was het hierin beter dan zelfs de meest geavanceerde commerciële AI-modellen.

2. De "Eerlijkheid"-vaardigheid (Weten wanneer je moet stoppen)

Dit is het meest kritieke deel. Het team besefte dat als een AI alleen wordt getraind op vragen die het kan beantwoorden, het nooit zal leren om "Ik weet het niet" te zeggen.

De analogie: Stel je een leraar voor die alleen vragen stelt waarvan de student het antwoord weet. De student zal nooit leren om onwetendheid toe te geven.
De oplossing: Het team voerde de AI bewust 22% van de vragen aan waarvan het antwoord niet in de verstrekte documenten stond. Ze leerden het dat in deze gevallen het juiste antwoord "Ik weet het niet" is.
Het resultaat: De AI leerde om "gekalibreerd" te zijn. Het weigert te antwoorden wanneer het niet zeker is (12% van de tijd), wat veel veiliger is dan het basismodel (dat 95% van de tijd gokte) en minder vervelend dan andere modellen die te vaak weigeren (20% van de tijd).

3. "Curriculum"-leren (De AI naar school sturen)

Ze hebben niet alle data in één keer op de AI gegooid. Ze gebruikten een "curriculum"-benadering, zoals een schoolsysteem:

Fase 1 (Algemene school): Ze leerden de AI algemene financiële taal met behulp van open-source data. Dit gaf het een solide fundament.
Fase 2 (Gespecialiseerde training): Vervolgens introduceerden ze het aan echte, privé-bankgesprekken en specifieke regels.
Waarom dit belangrijk is: Als ze deze twee soorten data willekeurig hadden gemengd, zou de AI in de war raken en slecht presteren. Door het in fasen te leren, leerde het eerst de regels en vervolgens hoe deze in het echte leven toe te passen.

Resultaten in de praktijk: de "live-test"

De auteurs hebben dit niet alleen in een laboratorium getest; ze hebben het ingezet bij meer dan 40 financiële instellingen. Dit is wat er gebeurde:

Meer vragen opgelost: De nieuwe AI beantwoordde 7,1% meer klantvragen succesvol dan het oude systeem, zonder dat er een mens hoefde in te grijpen.
Snelheid en kosten: Het is 3 tot 5 keer sneller dan het gebruik van een top-tier commerciële AI-API. Belangrijker nog: het kost 20 tot 50 keer minder om te draaien.
- Analogie: Het gebruik van de oude commerciële AI is als het nemen van een privéjet voor een korte rit naar de supermarkt. FinRAG-12B is als het rijden in een betrouwbare, efficiënte elektrische auto. Het brengt je sneller op je bestemming en voor een fractie van de prijs.
Klanttevredenheid: Hoewel de kwaliteit van individuele antwoorden niet drastisch veranderde, waren klanten over het algemeen gelukkiger omdat meer van hun vragen succesvol werden beantwoord.

Samenvatting

FinRAG-12B is een gespecialiseerde bank-AI die is getraind om eerlijk, onderbouwd en efficiënt te zijn. Door het te leren zijn bronnen te citeren en toe te geven wanneer het het antwoord niet weet, hebben de auteurs een systeem gecreëerd dat veiliger is voor banken, goedkoper is om te draaien en daadwerkelijk meer klantproblemen oplost dan de "van de plank" alternatieven.

Opmerking over beperkingen: De auteurs geven zorgvuldig aan dat dit specifiek is getest op bankvragen (zoals leningen en rekeningen). Ze claimen niet dat het werkt voor aandelenhandel of verzekeringen, en ze konden hun privé trainingsdata niet delen vanwege privacywetten, hoewel ze wel hun openbare trainingsmethoden hebben gedeeld.

Technische Samenvatting: FinRAG-12B

Probleemstelling

De adoptie van Large Language Models (LLM's) in de banksector wordt gehinderd door strenge eisen voor feitelijke nauwkeurigheid, naleving van regelgeving en verifieerbare onderbouwing. Kant-en-klare modellen lijden vaak aan hallucinaties, overmatig meegaand gedrag (sycofantie) en een gebrek aan afstemming op dynamische, domeinspecifieke data zoals rentetarieven en institutionele beleidslijnen. In Retrieval-Augmented Generation (RAG)-systemen kunnen modellen geïntegreerde context negeren, zich baseren op irrelevante passages of antwoorden verzinnen wanneer informatie niet beschikbaar is. Dit vormt aanzienlijke regelgevende en financiële risico's. Bovendien slagen bestaande oplossingen er vaak niet in om de afweging te vinden tussen het beantwoorden van vragen en het weigeren van antwoorden wanneer het bewijsmateriaal ontoereikend is, wat leidt tot óf onveilige hallucinaties óf overmatige weigering (overmatige voorzichtigheid).

Methodologie

De auteurs stellen FinRAG-12B voor, een LLM met 12 miljard parameters die is geoptimaliseerd voor RAG in de banksector, gebouwd op de basis Gemma 3 12B-IT. De aanpak draait om een unificerend, data-efficiënt trainingskader dat gezamenlijk de kwaliteit van antwoorden, de onderbouwing via citaten en de gekalibreerde weigering optimaliseert.

1. Data-curatiepijplijn

Het trainingscorpus bestaat uit 98.648 samples (143 miljoen tokens), waarbij kwaliteit boven schaal wordt geprioriteerd. De pijplijn omvat:

RAG-v1 (Open Source): 43.581 samples gefilterd via JudgeLM om supervisie van hoge kwaliteit te waarborgen.
Synthetische SEC QA: 16.773 samples gegenereerd uit SEC-aangiften (10-K, 10-Q) met behulp van een pijplijn in vijf fasen. Dit omvat het segmenteren van documenten, het genereren van vragen op vier moeilijkheidsniveaus, het herschrijven om te matchen met de verdeling van echte gebruikersvragen (stijl, lengte, formaliteit), het afdwingen van output in citatenstijl en het injecteren van afleidende passages om ruis bij het ophalen te simuleren.
CommonCrawl Financiële Subset: 20.499 samples afgeleid van echte gebruikersvragen (niet-PII) en relevante passages, gefilterd via een random forest-classificator om privacyconformiteit te waarborgen.
Calibratiegegevens voor Weigering: 17.795 proprietaire voorbeelden (22% van het mengsel) waarbij de opgehaalde context thematisch relevant maar ontoereikend is. De doeloutput is een expliciete "Ik weet het niet", waarmee het model wordt getraind om af te zien in plaats van te hallucineren.

2. Trainingsstrategie

Het model maakt gebruik van een tweestaps curriculumlearning-aanpak:

Fase 1 (Domeinadaptatie): Getraind op 60.354 samples (RAG-v1 + Synthetische SEC) met een conservatieve leersnelheid ( $1 \times 10^{-6}$ ). Dit vestigt fundamentele capaciteiten voor onderbouwde generatie en afstemming van citaten met gebruik van reproduceerbare data.
Fase 2 (Taakspecialisatie): Voortgezette training op 38.294 samples (CommonCrawl + Proprietair Bankwezen) met een hogere leersnelheid ( $5 \times 10^{-6}$ ). Deze fase introduceert verdelingen van vragen uit de echte wereld en kalibreert het weigeringsgedrag.
Mitigatie van Positiebias: Om de neiging van modellen te counteren om disproportioneel aandacht te schenken aan het begin of einde van de context, randomiseren de auteurs de plaatsing van relevante passages tussen afleiders met behulp van een mengsel van discrete rechter trapeziumharmonische vervaldistributies.
Calibratie van Weigering: Een systematische scan bepaalde dat een ratio van 22% niet-beantwoordbare voorbeelden de optimale afweging oplevert, waarbij niet-ondersteunde antwoorden worden geminimaliseerd terwijl overmatige weigering op beantwoordbare vragen wordt vermeden.

3. Modelconfiguratie en Serving

Fine-tuning: Gebruik van LoRA (Low-Rank Adaptation) op alle attention- en MLP-lagen ( $r=64, \alpha=256$ ).
Quantisatie: Het model is gekwantiseerd naar W4A16 (4-bit gewichten, 16-bit activeringen) met SmoothQuant, waardoor de footprint wordt gereduceerd van 24 GB naar 8,4 GB voor efficiënte implementatie op één GPU met minimale prestatieverlies.

Belangrijkste Bijdragen

Data-efficiënte Pijplijn: Een meerstapspijplijn die filtering met LLM-as-a-Judge, stijl-geconditioneerde synthetische generatie en privacy-conforme extractie van echte data combineert om een hoogwaardige, onderbouwde trainingsdataset te creëren met slechts 143 miljoen tokens.
Gekalibreerd Weigeringsmechanisme: Een strategie gebaseerd op gecontroleerde negatieve sampling (22% niet-beantwoordbare voorbeelden) die hallucinaties aanzienlijk reduceert terwijl het overmatige weigering voorkomt die gebruikelijk is in algemeen toepasbare modellen.
End-to-End Productiekader: Een gevalideerde methodologie die data-curatie, curriculumlearning en gekwantiseerde serving omvat, ingezet bij meer dan 40 financiële instellingen.

Resultaten

De evaluatie vond plaats op een proprietair banktestset (258 voorbeelden) en de publieke FinanceBench-benchmark.

Kwaliteit van Antwoorden en Onderbouwing: FinRAG-12B behaalde een JudgeLM-score van 6,21, waarmee het GPT-4.1 (5,72) en het basis Gemma 3-model (5,70) overtrof. Het verbeterde ook de kwaliteit van citaten naar 73,1 (tegenover 70,8 voor GPT-4.1), wat een selectievere en relevantere onderbouwing via citaten aantoont.
Calibratie van Weigering: Het model behaalde een afstootpercentage van 12,0% op niet-beantwoordbare vragen. Dit is een aanzienlijke verbetering ten opzichte van het onveilige percentage van 4,3% van het basismodel (onder-weigering) en het percentage van 20,2% van GPT-4.1 (over-weigering).
Generalisatie: Op FinanceBench behaalde FinRAG-12B de hoogste F1-score (0,284) met een citatiepercentage van 97,3%, waarmee het zowel het basismodel als GPT-4.1 overtrof.
Ablatiestudies: Gecombineerde training op alle databronnen tegelijkertijd liet de prestaties instorten (JudgeLM 3,28, 46,5% over-weigering). De tweestapscurriculum was cruciaal om het conflict op te lossen tussen het leren van citatieconventies en het kalibreren van weigering.
Latentie en Kosten: FinRAG-12B werkt 3–5x sneller dan GPT-4.1 (0,57s totale tijd tot voltooiing versus 1,83s) en veroorzaakt 20–50x lagere kosten per vraag wanneer ingezet op één RTX 6000 Ada GPU.
Impact in Productie: Bij een live-implementatie bij een grote Amerikaanse credit union verbeterde FinRAG-12B het percentage opgeloste vragen met 7,1 procentpunten (van 77,4% naar 84,5%, $p < 0,001$ ). De tevredenheid van gebruikers steeg van 59,5% naar 62,9%, voornamelijk gedreven door het hogere percentage opgeloste vragen in plaats van marginale verbeteringen in de kwaliteit per antwoord.

Betekenis

Het artikel stelt dat FinRAG-12B aantoont dat datakwaliteit, onderbouwing en trainingsmethodologie kritischer zijn dan modelgrootte voor het bouwen van betrouwbare LLM's in gereguleerde domeinen. Door een data-efficiënte pijplijn te integreren met gekalibreerde weigering, bereikt het systeem hoge nauwkeurigheid en veiligheid zonder de latentie- en kostenlasten van grote commerciële API's. Het werk benadrukt dat bij productieve RAG-systemen het verhogen van het percentage opgeloste vragen de primaire drijfveer is voor tevredenheid van gebruikers, en dat een unificerend kader de afwegingen tussen het beantwoorden, citeren en afzien van antwoorden in risicovolle financiële omgevingen succesvol kan navigeren.