Neuro-Symbolic Financial Reasoning via Deterministic Fact Ledgers and Adversarial Low-Latency Hallucination Detector

Ce papier présente VeNRA, une architecture neuro-symbolique pour le raisonnement financier qui remplace la récupération textuelle probabiliste par un registre de faits déterministes et un détecteur d'hallucinations adversaire entraîné sur des erreurs écologiques simulées, afin d'assurer une précision mathématique absolue et une confiance opérationnelle nulle tolérance aux erreurs.

L'essentiel

🏦 VeNRA : Le Comptable Robot qui ne fait jamais d'erreurs de calcul

Imaginez que vous essayez de demander à un grand expert (une Intelligence Artificielle) de vérifier les comptes d'une entreprise. Le problème, c'est que les IA actuelles sont comme des artistes très doués mais un peu distraits : elles savent écrire de très belles phrases, mais elles sont terribles en mathématiques. Si vous leur demandez de faire une addition, elles peuvent inventer un chiffre qui semble logique, mais qui est faux.

Dans la finance, une erreur de 1 % est inacceptable. C'est comme si un pilote d'avion ratait sa piste d'atterrissage de quelques centimètres : ça ne passe pas.

L'article présente VeNRA, une nouvelle méthode qui transforme l'IA en un système infaillible. Voici comment ça marche, avec des analogies simples :

1. Le Grand Livre de Vérité (Le "Ledger") 📖

Au lieu de laisser l'IA chercher des réponses dans un tas de documents flous (comme chercher une aiguille dans une botte de foin), VeNRA crée d'abord un Grand Livre de Vérité (appelé Universal Fact Ledger).

• L'analogie : Imaginez que vous avez une bibliothèque chaotique. Au lieu de laisser l'IA lire tout le livre pour trouver un chiffre, un robot très rigoureux (un "parsing" déterministe) lit le livre et remplit un tableau Excel parfait avec des cases strictes : "Revenu 2023", "Dépenses 2023".
• Le résultat : L'IA ne devine plus rien. Elle ne fait que lire ce tableau Excel. Si le chiffre n'est pas dans le tableau, elle ne l'invente pas.

2. Le Double Verrou de Sécurité 🔒

Pour s'assurer que le robot n'a pas mis le mauvais chiffre dans le tableau, VeNRA utilise un système de Double Verrou :

1. Le verrou mécanique : Le robot doit montrer exactement où il a trouvé le chiffre dans le texte original (comme surligner la phrase).
2. Le verrou sémantique : Il vérifie que le nom du chiffre correspond bien à ce qu'on demande (par exemple, s'assurer qu'on ne confond pas "Bénéfice Net" avec "Perte Nette", même si les mots se ressemblent).

3. L'Architecte et le Maçon 🏗️

Dans le système VeNRA, l'IA ne fait plus les calculs elle-même.

• L'Architecte (l'IA) : Elle dessine le plan. Elle dit : "Pour trouver le profit, je dois soustraire les dépenses des revenus". Elle écrit le code informatique (Python) pour le faire.
• Le Maçon (le code Python) : C'est une calculatrice robotique qui exécute le plan. Elle fait les maths.
• Pourquoi c'est génial ? L'IA ne fait plus d'erreurs de calcul parce qu'elle ne fait pas les calculs. Elle se contente de donner les instructions à une machine qui ne se trompe jamais.

4. Le Gardien Sentinel (Le "VeNRA Sentinel") 🕵️‍♂️

C'est la partie la plus intelligente du système. Même avec un bon plan, l'IA pourrait se tromper en choisissant les mauvais chiffres dans le tableau. C'est là qu'intervient le Sentinel.

• L'analogie : Imaginez un inspecteur de police très rapide (un petit robot de 3 milliards de "cerveaux") qui regarde le travail de l'Architecte.
• Son travail : Il ne lit pas tout le livre. Il vérifie en 50 millisecondes (plus vite que vous ne pouvez cligner des yeux) si le code de l'Architecte utilise les bons chiffres.
• L'entraînement spécial : Pour former ce gardien, les chercheurs ne lui ont pas donné de fausses réponses inventées par d'autres IA (ce qui est trop facile à repérer). Ils ont créé un simulateur de piratage (Adversarial Simulation). Ils ont pris de vrais documents financiers et ont programmé des erreurs subtiles : "Ah, j'ai pris le chiffre de l'année 2022 au lieu de 2023" ou "J'ai mélangé les colonnes". Le gardien a appris à repérer ces erreurs "écologiques" (réalistes) plutôt que des erreurs de dessin.

5. Le Problème de la "Fatigue de l'Attention" et la Solution

Les IA ont souvent un problème : quand elles lisent un document très long (comme un rapport financier de 100 pages), elles oublient ce qu'il y a au milieu (le syndrome "Perdu au milieu").

• La solution de VeNRA : Ils utilisent une technique de "Boucle de Rappels". Ils disent à l'IA : "Voici la question au début... [voici tout le texte] ... et voici la question à la fin". C'est comme si un professeur vous disait : "Rappelez-vous, je veux savoir le chiffre X" avant de commencer le cours, et vous le redit juste avant l'examen.

En résumé 🌟

VeNRA est une révolution parce qu'il arrête de demander à l'IA d'être un mathématicien (ce qu'elle est mauvaise) et la transforme en architecte et vérificateur.

1. Il remplace la lecture floue par un tableau de données strict.
2. Il délègue les calculs à un code informatique infaillible.
3. Il utilise un petit gardien ultra-rapide entraîné sur des erreurs réalistes pour vérifier le tout avant de donner la réponse.

C'est comme passer d'un pilote qui improvise à un avion piloté par un système automatique vérifié par un ingénieur, garantissant que votre argent (ou vos données financières) est traité avec une précision chirurgicale.

Résumé technique

Voici un résumé technique détaillé de l'article "Neuro-Symbolic Financial Reasoning via Deterministic Fact Ledgers and Adversarial Low-Latency Hallucination Detector" (Raisonnement financier neuro-symbolique via des registres de faits déterministes et un détecteur d'hallucinations à faible latence et adversaire).

1. Problématique : Les limites du RAG standard en finance

L'article identifie que les architectures standard de Génération Augmentée par Récupération (RAG) échouent dans les domaines financiers à haut risque en raison de deux limitations fondamentales :

1. Incompétence arithmétique des LLM : Les grands modèles de langage (LLM) sont des prédicteurs de tokens probabilistes, pas des moteurs de calcul. Ils simulent la syntaxe du calcul sans respecter les invariants mathématiques, générant des chiffres plausibles mais faux.
2. Conflation sémantique des vecteurs denses : Les modèles de récupération par vecteurs denses (embedding) regroupent des termes mathématiquement opposés (ex: "Revenu Net" vs "Perte Nette") en raison de leur proximité contextuelle linguistique, entraînant des récupérations d'informations erronées.

Dans la finance, une précision de 99 % est inacceptable (0 % de confiance opérationnelle) car une erreur de signe ou de date peut avoir des conséquences catastrophiques. Les méthodes actuelles (modèles plus grands, benchmarks génératifs comme HaluEval) sont insuffisantes car elles introduisent une latence excessive et ne simulent pas les erreurs réelles des systèmes de production.

2. Méthodologie : L'architecture VeNRA

Les auteurs proposent VeNRA (Verifiable Numerical Reasoning Agent), un cadre neuro-symbolique qui déplace le paradigme du RAG de la "récupération de texte" à la "récupération de variables déterministes".

A. Le Registre de Faits Universel (UFL) et l'Ingestion Déterministe

Au lieu de récupérer du texte brut, VeNRA parse les documents (ex: formulaires 10-K) dans un Universal Fact Ledger (UFL), une base de données fortement typée.

• Fusion de tables déterministe : Utilisation de routines Pandas (et non de LLM) pour extraire les données tabulaires 2D, évitant les erreurs d'OCR et de parsing.
• Ancrage Double-Lock (Double-Lock Grounding) : Chaque fait extrait doit passer deux vérifications :
  1. Ancrage Mécanique : Le chiffre extrait doit correspondre exactement à une sous-chaîne de caractères dans le document source (avec des algorithmes de correspondance en trois niveaux : exact, partiel, flou).
  2. Ancrage Sémantique : Le nom de la métrique doit avoir un recouvrement sémantique suffisant avec le texte source pour éviter les "métriques fantômes".
• Délestage Cognitif par Schéma : Les LLM sont contraints de classer les faits (Réel, Limite, Formule) via un schéma Pydantic. Les formules mathématiques sont neutralisées (valeur None) pour empêcher le LLM d'essayer de calculer sur des données partielles.

B. Récupération Hybride Lexico-Sémantique

Pour éviter la conflation des vecteurs, VeNRA utilise un Porte Lexicale (Lexical Gate) déterministe avant la recherche vectorielle.

• Un algorithme calcule un rappel de tokens (Recall) strict, en filtrant les mots de stop financiers non discriminants (ex: "Net", "Total").
• Seuls les candidats passant ce filtre lexical entrent dans la fenêtre de contexte, garantissant que "Revenu Net" ne récupère pas "Perte Nette".

C. Exécution Assistée par Programme

Le LLM agit uniquement comme un architecte de code :

1. Il génère un plan logique et du code Python déterministe pour calculer la réponse.
2. Le code est exécuté dans un sous-processus Python isolé.
3. Si les données UFL sont manquantes ou corrompues, le système bascule vers une extraction directe depuis le texte brut ("Trust Text Over Data").

3. VeNRA-Data : Simulation Adversaire et Entraînement

Pour entraîner un détecteur d'hallucinations fiable, les auteurs rejettent les benchmarks génératifs (qui créent des mensonges linguistiques évidents) au profit de la Simulation Adversaire.

• Moteur de Sabotage (Saboteur Engine) : Il prend des données financières "Gold" (correctes) et les mutine algorithmiquement pour créer des erreurs mécaniques réalistes :
  • Mensonge de Code Logique (Logic Code Lie) : Le code Python est valide, mais les variables d'entrée sont remplacées par des valeurs erronées provenant du contexte.
  • Piège du Voisin Numérique (Numeric Neighbor Trap) : Décalage de colonnes ou de lignes dans les tableaux (ex: année 2022 au lieu de 2023).
  • Distorsion Temporelle et Sémantique : Changement d'unités (millions vs milliards) ou de dates.
• Protocole Enseignant-Auditeur : Un modèle "Enseignant" valide les données sabotées pour s'assurer qu'elles sont bien erronées, évitant les "vérités accidentelles".
• Split Familial Hybride : Pour éviter la fuite de données, les ensembles d'entraînement et de test sont séparés par "familles" (un document original + ses clones sabotés), garantissant que le modèle n'apprend pas par cœur le contexte mais la logique de l'erreur.

4. Le VeNRA Sentinel : Audit Forensique à Faible Latence

Le cœur de la détection est le VeNRA Sentinel, un modèle de langage de petite taille (SLM) de 3 milliards de paramètres (basé sur Qwen-2.5-Coder).

• Paradigme "Label-First" (Reverse-CoT) : Contrairement au Chain-of-Thought classique (raisonnement puis réponse), le Sentinel génère d'abord l'étiquette (Verdict) puis l'analyse. Cela permet d'arrêter la génération après le premier token si le verdict est suffisant, réduisant la latence à < 50ms.
• Tokens Orthogonaux : Utilisation de labels uniques et sémantiquement distincts ("Found", "Fake", "General") pour faciliter la séparation des vecteurs latents.
• Micro-Chunking Loss (Solution OOM) : Pour entraîner ce modèle avec un poids de perte différentiel massif (50x) sur le token de verdict (pour contrer la dilution du gradient), les auteurs ont développé un algorithme de calcul de perte par micro-blocs. Cela permet de calculer la perte pondérée sans dépasser la mémoire VRAM (OOM-safe), rendant l'entraînement possible sur du matériel grand public.
• Gestion de l'incertitude : Si l'écart de probabilité entre les deux meilleurs tokens est faible, le système marque la réponse comme "Incertitude" et route vers un audit humain.

5. Résultats et Contributions Clés

• Architecture Neuro-Symbolique : Démonstration qu'il est possible d'atteindre une précision arithmétique "zéro hallucination" en déléguant le calcul aux machines et en utilisant des LLM uniquement pour l'orchestration logique.
• Nouvelle Méthodologie de Données : Introduction de VeNRA-Data, un ensemble de données basé sur la simulation d'erreurs mécaniques réelles plutôt que sur la génération de bruit sémantique, offrant un benchmark plus rigoureux pour la finance.
• Efficacité et Latence : Le Sentinel (3B paramètres) atteint des performances d'audit de niveau "frontier" avec une latence inférieure à 50ms, rendant possible la surveillance en temps réel (guardrails) dans les applications de production.
• Innovations Techniques :
  • Algorithme de perte Micro-Chunking pour l'entraînement de classificateurs discriminatifs sur GPU grand public.
  • Stratégie de Double-Lock Grounding pour éliminer les extractions non fondées.

6. Signification et Conclusion

L'article remet en question l'hypothèse selon laquelle la seule solution aux hallucinations est l'augmentation de la taille des modèles (parametric scaling). Il propose une voie alternative : le délestage cognitif neuro-symbolique.

En combinant une extraction déterministe rigoureuse (UFL), une exécution de code isolée et un audit forensique rapide entraîné sur des données adverses réalistes, VeNRA fournit une architecture viable pour les systèmes financiers à haut risque. Cela permet de démocratiser l'audit financier automatisé en le rendant précis, rapide et déployable localement, sans dépendre de modèles coûteux et lents.

Limites mentionnées : L'architecture repose sur une extraction initiale parfaite ; si l'extraction échoue (ex: notes de bas de page complexes ou relations récursives non capturées), le système peut échouer. De plus, la filtration lexicale stricte pourrait rejeter des métriques financières non standardisées.