💻 computer science

FinGround: Detecting and Grounding Financial Hallucinations via Atomic Claim Verification

FinGround est un pipeline de vérification en trois étapes conçu pour détecter et corriger les hallucinations financières dans les LLM en décomposant les réponses en affirmations atomiques et en les confrontant aux données textuelles et tabulaires des documents réglementaires.

Auteurs originaux : Dongxin Guo, Jikun Wu, Siu Ming Yiu

Publié 2026-04-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Dongxin Guo, Jikun Wu, Siu Ming Yiu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🏦 Le Problème : L'IA qui "invente" des chiffres (Le Syndrome du Comptable Fantasque)

Imaginez que vous demandiez à un assistant très intelligent, mais un peu trop créatif, de lire un rapport financier de 200 pages pour vous dire si une entreprise a gagné de l'argent.

L'IA vous répond avec assurance : "Oui, ils ont fait 42 milliards de dollars de profit !". Mais quand vous vérifiez, le vrai chiffre est de 38 milliards. L'IA n'a pas menti par méchanceté, elle a simplement "halluciné" : elle a mélangé des chiffres, confondu des dates ou fait une erreur de calcul stupide.

Dans le monde de la finance, une telle erreur peut coûter des millions ou entraîner des sanctions juridiques graves. C'est ce que les chercheurs appellent les hallucinations financières.

🛠️ La Solution : FinGround (Le "Détecteur de Mensonges" de Précision)

Les chercheurs ont créé FinGround. Au lieu de simplement faire confiance à l'IA, ils ont construit un système de vérification en trois étapes, comme un inspecteur des impôts ultra-rigoureux.

1. La Recherche de l'Élément de Preuve (Le Détective) 🔍

Quand vous posez une question, FinGround ne se contente pas de lire du texte. Il sait faire la différence entre un paragraphe de texte et un tableau complexe. Il va chercher la preuve exacte, que ce soit une phrase ou une petite case précise dans un tableau de chiffres.

2. Le Découpage en "Micro-Vérités" (Le Microscope) 🔬

C'est là que la magie opère. Au lieu de vérifier toute la réponse d'un coup (ce qui est trop gros et risqué), FinGround la découpe en toutes petites briques, des "claims atomiques".

Exemple : Si l'IA dit : "En 2023, le bénéfice a augmenté de 5% grâce à la vente de logiciels".
FinGround va séparer cela en trois micro-tests :
1. L'année est-elle bien 2023 ? (Vérification du Temps)
2. Le chiffre est-il bien 5% ? (Vérification du Nombre)
3. Est-ce bien grâce aux logiciels ? (Vérification de la Cause)

Pour les calculs (comme les marges de profit), FinGround ne se contente pas de lire ; il refait le calcul lui-même avec une calculatrice pour être sûr que l'IA n'a pas fait d'erreur de mathématiques.

3. La Réécriture avec Preuves (Le Correcteur de Texte) ✍️

Si FinGround détecte qu'une brique est fausse, il ne se contente pas de dire "C'est faux". Il prend sa plume et réécrit la phrase correctement, en ajoutant une petite note de bas de page pour vous montrer exactement où il a trouvé l'info : "Le bénéfice était de 38 milliards [Source : Tableau 2, Ligne 4, Colonne B]".

🚀 Pourquoi est-ce une révolution ?

C'est ultra-rapide et pas cher : Les chercheurs ont réussi à "compresser" l'intelligence de modèles géants (comme GPT-4) dans un modèle beaucoup plus petit et léger. C'est comme si on avait réussi à mettre la puissance d'une bibliothèque entière dans un smartphone.
C'est une armure contre les erreurs : Le système réduit les erreurs de l'IA de près de 78%.
C'est prêt pour la loi : L'Europe arrive avec des lois strictes sur l'IA (l'AI Act). FinGround est conçu pour que les banques et les analystes puissent utiliser l'IA en toute sécurité, sans craindre de commettre une erreur réglementaire.

💡 En résumé (L'analogie finale)

Utiliser une IA classique en finance, c'est comme écouter un témoin qui raconte un accident : il est très éloquent, mais il peut se tromper sur les détails.

Utiliser FinGround, c'est comme avoir ce même témoin, mais avec un détective privé à côté de lui qui vérifie chaque mot, chaque chiffre et chaque minute de l'histoire en consultant les vidéos de surveillance en temps réel.

Résumé Technique : FinGround

1. Problématique (Le Problème)

Les systèmes d'IA financière basés sur les grands modèles de langage (LLM) font face à un défi critique : la hallucination de données structurées. Contrairement aux hallucinations textuelles classiques, les erreurs financières sont souvent de nature quantitative (fabrication de métriques, erreurs de calcul de ratios, citations réglementaires inventées).

L'étude identifie trois lacunes majeures dans les systèmes actuels (RAG - Retrieval-Augmented Generation) :

Uniformité du traitement : Les détecteurs actuels traitent toutes les affirmations de la même manière, échouant à vérifier les calculs mathématiques qui nécessitent une re-vérification arithmétique contre des tableaux.
Manque de granularité structurelle : Les systèmes ne parviennent pas à attribuer correctement une information à une cellule spécifique d'un tableau financier.
Conséquences réglementaires : Avec l'entrée en vigueur de l'EU AI Act (août 2026), les systèmes d'IA à haut risque en finance devront garantir une précision et une interprétabilité strictes, ce que les LLM actuels ne peuvent assurer seuls.

2. Méthodologie (Le Système FinGround)

Les auteurs proposent un pipeline de vérification et d'ancrage (grounding) en trois étapes :

Étape 1 : Récupération hybride sensible à la finance (Finance-Aware Hybrid Retrieval)
Le système classe les requêtes par complexité (Simple, Modérée, Complexe). Il utilise une approche hybride combinant la recherche textuelle (BM25), la recherche dense (E5-large) et une extraction de tableaux intelligente qui préserve les relations lignes-colonnes grâce à des métadonnées d'en-tête.

Étape 2 : Vérification atomique des affirmations (Atomic Financial Claim Verification)
C'est le cœur de l'innovation. Au lieu de vérifier la réponse entière, le système :

Décompose la réponse en "affirmations atomiques".
Classifie chaque affirmation selon une taxonomie de six types : numérique, temporel, entité-attribut, comparatif, réglementaire et computationnel.
Route la vérification selon le type : par exemple, pour les affirmations computationnelles, le système reconstruit la formule mathématique et effectue un nouveau calcul à partir des données brutes des tableaux.

Étape 3 : Régénération ancrée (Grounded Regeneration)
Les affirmations identifiées comme contradictoires ou non vérifiables sont réécrites. Le système génère une nouvelle version de l'affirmation en y intégrant des citations précises au niveau de la cellule du tableau ou du paragraphe (ex: [Doc: 10-K, Table 2, Row: Revenue, Col: Q4]).

3. Contributions Clés

Taxonomie spécialisée : Une classification des erreurs financières qui permet d'appliquer des stratégies de vérification spécifiques (notamment la re-computation arithmétique).
Évaluation par égalisation de la récupération (Retrieval-Equalized Evaluation) : Une nouvelle méthodologie de recherche qui consiste à donner les mêmes documents de référence à tous les modèles comparés, afin d'isoler la valeur réelle de la vérification de celle de la récupération.
Distillation de modèle : Le passage d'un modèle "enseignant" (GPT-4o) à un modèle "élève" de 8 milliards de paramètres (Llama-3-8B), optimisant le rapport performance/coût pour une utilisation industrielle.

4. Résultats Principaux

Réduction des hallucinations : FinGround réduit le taux d'hallucination de 78 % par rapport à GPT-4o + CoT.
Performance de détection : Le modèle distillé (8B) atteint un score F1 de 91,4 %, conservant 96,2 % de la performance de GPT-4o tout en étant 18 fois plus rapide par affirmation.
Efficacité économique : Le coût par requête est réduit de 15,7 fois (passant de 0,047 $à 0,003$ avec GPT-4o).
Supériorité architecturale : Même lorsqu'on adapte les modèles de base avec des données financières, FinGround maintient une avance de 10 à 12 points de F1, prouvant que son architecture (vérification par type) est plus importante que la simple quantité de données d'entraînement.

5. Signification et Impact

L'étude démontre que pour les domaines critiques comme la finance, la solution ne réside pas seulement dans l'augmentation de la taille des modèles, mais dans une architecture de vérification granulaire et spécialisée.

FinGround offre une voie concrète vers la conformité avec l'EU AI Act, en transformant les LLM de "générateurs de texte probabilistes" en "systèmes de réponse vérifiables et sourcés", capables de fournir des preuves auditables (cellules de tableaux, références réglementaires) pour chaque chiffre avancé.