💬 NLP

FinRAG-12B: A Production-Validated Recipe for Grounded Question Answering in Banking

FinRAG-12B est un cadre de 12 milliards de paramètres validé en production et économe en données, qui combine un pipeline d'entraînement spécialisé avec des mécanismes de refus calibrés pour fournir des réponses à des questions hautement précises, étayées et rentables à plus de 40 institutions financières, surpassant GPT-4.1 en qualité de citations et en résolution de requêtes tout en réduisant considérablement la latence et les coûts opérationnels.

Auteurs originaux : Denys Katerenchuk, Pablo Duboue, Keelan Evanini, David Gondek, Nithin Govindugari, Olivier Allauzen, Joshua Baptiste, David J More, Joshua Schechter

Publié 2026-05-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Denys Katerenchuk, Pablo Duboue, Keelan Evanini, David Gondek, Nithin Govindugari, Olivier Allauzen, Joshua Baptiste, David J More, Joshua Schechter

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez un nouvel assistant pour une banque. Vous avez besoin de quelqu'un d'extrêmement intelligent, qui connaît les règles de la banque sur le bout des doigts et qui, surtout, ne se contente jamais d'inventer des choses. S'il ne connaît pas la réponse, il doit dire « Je ne sais pas », plutôt que de deviner et de vous donner de mauvais conseils financiers susceptibles de mettre la banque en difficulté.

Ce document présente FinRAG-12B, un assistant IA spécialisé conçu exactement pour ce poste. Voici comment les auteurs l'ont construit et pourquoi il fonctionne, expliqué simplement.

Le problème : l'assistant « trop complaisant »

Les modèles d'IA standards (comme ceux avec lesquels vous pourriez discuter en ligne) sont excellents pour écrire des histoires ou coder, mais ils ont une mauvaise habitude dans le secteur bancaire : ils sont trop désireux de plaire. Si vous leur posez une question qu'ils ne peuvent pas répondre à partir de leur mémoire, ils inventent souvent une réponse qui semble plausible. Dans une banque, c'est dangereux. Si un client demande des informations sur les pénalités de remboursement de prêt et que l'IA se trompe en devinant, cela pourrait entraîner des poursuites judiciaires ou des pertes financières.

La solution : une « recette » pour un assistant intelligent et honnête

L'équipe a créé une IA de 12 milliards de paramètres (pensez-y comme un cerveau très grand, mais pas gigantesque) et l'a entraînée en utilisant une « recette » spécifique pour résoudre ces problèmes. Ils ne se sont pas contentés de lui fournir un immense tas de données ; ils ont sélectionné un ensemble de données de haute qualité, plus petit (seulement 143 millions de « tokens », ou mots), pour lui enseigner trois compétences spécifiques :

1. La compétence « Citation » (Montrer son travail)

Imaginez un étudiant passant un examen. Une IA normale se contenterait d'écrire la réponse. FinRAG-12B est entraîné à agir comme un étudiant qui doit montrer son travail.

Comment ils l'ont fait : Ils ont créé un pipeline d'entraînement où l'IA devait répondre aux questions en utilisant uniquement des documents spécifiques qui lui étaient fournis (comme un manuel de politique bancaire).
Le résultat : Lorsque l'IA répond, elle indique la phrase exacte du document qui étaye sa réponse. Elle a appris à dire : « Selon la page 4 de la politique, les frais sont de 50 $ », plutôt que de simplement deviner. Lors des tests, elle s'est révélée meilleure sur ce point que même les modèles d'IA commerciaux les plus avancés.

2. La compétence « Honnêteté » (Savoir quand s'arrêter)

C'est la partie la plus critique. L'équipe a réalisé que si une IA est entraînée uniquement sur des questions qu'elle peut répondre, elle n'apprendra jamais à dire « Je ne sais pas ».

L'analogie : Imaginez un enseignant qui ne pose que des questions dont l'élève connaît la réponse. L'élève n'apprendra jamais à admettre son ignorance.
La correction : L'équipe a délibérément soumis à l'IA 22 % de questions dont la réponse n'était pas dans les documents fournis. Ils lui ont appris que dans ces cas, la bonne réponse est « Je ne sais pas ».
Le résultat : L'IA a appris à être « calibrée ». Elle refuse de répondre lorsqu'elle n'est pas sûre (12 % du temps), ce qui est beaucoup plus sûr que le modèle de base (qui devinait 95 % du temps) et moins agaçant que d'autres modèles qui refusent trop souvent (20 % du temps).

3. L'apprentissage par « curriculum » (Mettre l'IA à l'école)

Ils n'ont pas jeté toutes les données à l'IA d'un coup. Ils ont utilisé une approche par « curriculum », comme un système scolaire :

Étape 1 (École générale) : Ils ont enseigné à l'IA le langage financier général en utilisant des données open source. Cela lui a donné des bases solides.
Étape 2 (Formation spécialisée) : Ensuite, ils l'ont exposée à de vraies conversations bancaires privées et à des règles spécifiques.
Pourquoi cela compte : S'ils avaient mélangé ces deux types de données de manière aléatoire, l'IA aurait été confuse et aurait mal performé. En l'enseignant par étapes, elle a d'abord appris les règles, puis comment les appliquer à la vie réelle.

Résultats concrets : le « test en direct »

Les auteurs ne l'ont pas seulement testé en laboratoire ; ils l'ont déployé dans plus de 40 institutions financières. Voici ce qui s'est passé :

Plus de questions résolues : La nouvelle IA a répondu avec succès à 7,1 % de questions clients de plus que l'ancien système, sans avoir besoin qu'un humain intervienne.
Vitesse et coût : Elle est 3 à 5 fois plus rapide que l'utilisation d'une API d'IA commerciale haut de gamme. Plus important encore, son coût d'exécution est 20 à 50 fois inférieur.
- Analogie : Utiliser l'ancienne IA commerciale, c'est comme prendre un jet privé pour un court trajet jusqu'à l'épicerie. FinRAG-12B, c'est comme conduire une voiture électrique fiable et efficace. Elle vous y emmène plus vite et pour une fraction du prix.
Satisfaction client : Bien que la qualité des réponses individuelles n'ait pas changé radicalement, les clients étaient globalement plus satisfaits car davantage de leurs questions étaient résolues avec succès.

Résumé

FinRAG-12B est une IA bancaire spécialisée entraînée pour être honnête, ancrée dans la réalité et efficace. En lui apprenant à citer ses sources et à admettre quand elle ne connaît pas la réponse, les auteurs ont créé un système plus sûr pour les banques, moins cher à exploiter et capable de résoudre davantage de problèmes clients que les solutions « toutes faites ».

Note sur les limites : Les auteurs précisent soigneusement que cela a été testé spécifiquement sur des questions bancaires (comme les prêts et les comptes). Ils ne prétendent pas que cela fonctionne pour le trading boursier ou l'assurance pour le moment, et ils n'ont pas pu partager leurs données d'entraînement privées en raison des lois sur la confidentialité, bien qu'ils aient partagé leurs méthodes d'entraînement publiques.

Résumé Technique : FinRAG-12B

Énoncé du Problème

L'adoption des modèles de langage de grande taille (LLM) dans le secteur bancaire est entravée par des exigences strictes en matière de précision factuelle, de conformité réglementaire et d'ancrage vérifiable. Les modèles du commerce souffrent souvent d'hallucinations, d'un comportement excessivement complaisant (sycophancie) et d'un manque d'alignement avec des données dynamiques et spécifiques au domaine, telles que les taux d'intérêt et les politiques institutionnelles. Dans les systèmes de génération augmentée par la récupération (RAG), les modèles peuvent ignorer le contexte récupéré, se fier à des passages non pertinents ou fabriquer des réponses lorsque l'information est indisponible. Cela pose des risques réglementaires et financiers significatifs. De plus, les solutions existantes échouent souvent à équilibrer le compromis entre répondre aux requêtes et refuser de répondre lorsque les preuves sont insuffisantes, conduisant soit à des hallucinations dangereuses, soit à un refus excessif (prudence excessive).

Méthodologie

Les auteurs proposent FinRAG-12B, un LLM de 12 milliards de paramètres optimisé pour le RAG bancaire, construit sur la base du modèle de base Gemma 3 12B-IT. L'approche repose sur un cadre d'entraînement unifié et économe en données qui optimise conjointement la qualité des réponses, l'ancrage des citations et le refus calibré.

1. Pipeline de Curation des Données

Le corpus d'entraînement se compose de 98 648 échantillons (143 millions de tokens), privilégiant la qualité à l'échelle. Le pipeline comprend :

RAG-v1 (Open Source) : 43 581 échantillons filtrés via JudgeLM pour garantir une supervision de haute qualité.
SEC QA Synthétique : 16 773 échantillons générés à partir de déclarations de la SEC (10-K, 10-Q) utilisant un pipeline en cinq étapes. Cela inclut la segmentation des documents, la génération de questions à quatre niveaux de difficulté, le reformage pour correspondre aux distributions réelles des requêtes utilisateurs (style, longueur, formalité), l'imposition de sorties de style citation, et l'injection de passages distracteurs pour simuler le bruit de récupération.
Sous-ensemble Financier CommonCrawl : 20 499 échantillons dérivés de requêtes utilisateurs réelles (non-PII) et de passages pertinents, filtrés via un classificateur forêt aléatoire pour garantir la conformité en matière de confidentialité.
Données de Calibration du Refus : 17 795 exemples propriétaires (22 % du mélange) où le contexte récupéré est topiquement pertinent mais insuffisant. La sortie cible est un « Je ne sais pas » explicite, entraînant le modèle à s'abstenir plutôt qu'à halluciner.

2. Stratégie d'Entraînement

Le modèle emploie une approche d'apprentissage curriculaire en deux étapes :

Étape 1 (Adaptation au Domaine) : Entraîné sur 60 354 échantillons (RAG-v1 + SEC Synthétique) avec un taux d'apprentissage conservateur ( $1 \times 10^{-6}$ ). Cela établit des capacités fondamentales pour la génération ancrée et l'alignement des citations en utilisant des données reproductibles.
Étape 2 (Spécialisation des Tâches) : Entraînement continu sur 38 294 échantillons (CommonCrawl + Bancaire Propriétaire) avec un taux d'apprentissage plus élevé ( $5 \times 10^{-6}$ ). Cette étape introduit les distributions de requêtes réelles et calibre le comportement de refus.
Atténuation du Biais Positionnel : Pour contrer la tendance des modèles à prêter une attention disproportionnée au début ou à la fin du contexte, les auteurs randomisent le placement des passages pertinents parmi les distracteurs en utilisant un mélange de distributions d'harmonique de déclin trapézoïdal discret.
Calibration du Refus : Un balayage systématique a déterminé qu'un ratio de 22 % d'exemples non répondables produit le compromis optimal, minimisant les réponses non étayées tout en évitant un refus excessif sur les requêtes répondables.

3. Configuration du Modèle et Mise en Service

Affinage (Fine-tuning) : Utilise LoRA (Adaptation de Rang Faible) sur toutes les couches d'attention et MLP ( $r=64, \alpha=256$ ).
Quantification : Le modèle est quantifié en W4A16 (poids 4 bits, activations 16 bits) utilisant SmoothQuant, réduisant l'empreinte de 24 Go à 8,4 Go pour un déploiement efficace sur un seul GPU avec une dégradation minimale des performances.

Contributions Clés

Pipeline Économe en Données : Un pipeline multi-étapes combinant le filtrage par LLM-as-a-Judge, la génération synthétique conditionnée par le style et l'extraction de données réelles conformes à la confidentialité pour créer un jeu de données d'entraînement de haute qualité et ancré avec seulement 143 millions de tokens.
Mécanisme de Refus Calibré : Une stratégie basée sur l'échantillonnage négatif contrôlé (22 % d'exemples non répondables) qui réduit considérablement les hallucinations tout en empêchant le refus excessif courant dans les modèles à usage général.
Cadre de Production de Bout en Bout : Une méthodologie validée couvrant la curation des données, l'apprentissage curriculaire et la mise en service quantifiée, déployée dans plus de 40 institutions financières.

Résultats

L'évaluation a été menée sur un jeu de tests bancaire propriétaire (258 exemples) et sur le benchmark public FinanceBench.

Qualité de la Réponse et Ancrage : FinRAG-12B a obtenu un score JudgeLM de 6,21, surpassant GPT-4.1 (5,72) et le modèle de base Gemma 3 (5,70). Il a également amélioré la qualité des citations à 73,1 (contre 70,8 pour GPT-4.1), démontrant un ancrage de citations plus sélectif et pertinent.
Calibration du Refus : Le modèle a atteint un taux d'abstention de 12,0 % sur les requêtes non répondables. Cela représente une amélioration substantielle par rapport au taux dangereux de 4,3 % du modèle de base (sous-refus) et au taux de 20,2 % de GPT-4.1 (sur-refus).
Généralisation : Sur FinanceBench, FinRAG-12B a obtenu le score F1 le plus élevé (0,284) avec un taux de citation de 97,3 %, surpassant à la fois le modèle de base et GPT-4.1.
Études d'Ablation : L'entraînement conjoint sur toutes les sources de données simultanément a effondré les performances (JudgeLM 3,28, 46,5 % de sur-refus). Le curriculum en deux étapes était crucial pour résoudre le conflit entre l'apprentissage des conventions de citation et la calibration du refus.
Latence et Coût : FinRAG-12B fonctionne 3 à 5 fois plus vite que GPT-4.1 (0,57 s de temps total d'achèvement contre 1,83 s) et engendre des coûts 20 à 50 fois inférieurs par requête lorsqu'il est déployé sur un seul GPU RTX 6000 Ada.
Impact en Production : Dans un déploiement en direct au sein d'une grande union de crédit américaine, FinRAG-12B a amélioré le taux de résolution des requêtes de 7,1 points de pourcentage (de 77,4 % à 84,5 %, $p < 0,001$ ). La satisfaction des utilisateurs est passée de 59,5 % à 62,9 %, principalement due au taux de résolution plus élevé plutôt qu'à des améliorations marginales de la qualité par réponse.

Importance

L'article affirme que FinRAG-12B démontre que la qualité des données, l'ancrage et la méthodologie d'entraînement sont plus critiques que l'échelle du modèle pour construire des LLM fiables dans des domaines réglementés. En intégrant un pipeline économe en données avec un refus calibré, le système atteint une haute précision et sécurité sans les charges de latence et de coût des grandes API commerciales. Le travail souligne que dans les systèmes RAG de production, l'augmentation du taux de résolution est le principal moteur de la satisfaction des utilisateurs, et qu'un cadre unifié peut naviguer avec succès dans les compromis entre répondre, citer et s'abstenir dans des environnements financiers à haut risque.