🤖 AI

AgentFinVQA: A Deployable Multi-Agent Pipeline for Auditable Financial Chart QA

AgentFinVQA est un pipeline multi-agents déployable pour le questionnement auditable de graphiques financiers qui atteint une précision de pointe sur le benchmark FinMME tout en garantissant la résidence des données et en fournissant une vérification traçable pour les environnements réglementés.

Auteurs originaux : Aravind Narayanan, Shaina Raza

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aravind Narayanan, Shaina Raza

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un analyste financier essayant de lire un graphique complexe pour répondre à une question telle que : « Quelles années ont eu des ventes comprises entre 10 000 $ et 25 000 $ ? »

Si vous posez la question à une IA standard (un modèle « zero-shot »), c'est comme demander à un stagiaire brillant mais impatient de jeter un coup d'œil au graphique et de crier la réponse. Il pourrait avoir raison, mais il pourrait aussi deviner, halluciner des chiffres ou rater un détail infime. Pire encore, vous n'avez aucune idée de la manière dont il est parvenu à la réponse, et si il se trompe, vous ne pouvez pas le prouver. Dans le monde de la finance, où les règles sont strictes et les données sensibles, on ne peut pas simplement faire confiance à la réponse d'une « boîte noire ». Vous avez besoin de connaître les étapes, et vous ne pouvez pas envoyer les données privées de vos clients sur l'ordinateur d'un étranger.

AgentFinVQA est la solution construite par les auteurs. Ne voyez pas cela comme un seul génie, mais comme une chaîne de montage spécialisée pour répondre aux questions sur les graphiques. Au lieu d'une seule personne faisant tout, le travail est divisé en une équipe de spécialistes, chacun ayant un poste spécifique, et chaque étape est consignée dans un « reçu » permanent (appelé Model Evaluation Packet ou MEP) afin que vous puissiez auditer exactement ce qui s'est passé.

Voici comment fonctionne leur « usine », étape par étape :

Le Planificateur (L'Architecte) : Avant que quiconque ne regarde le graphique, cet agent textuel lit la question et les options à choix multiples. Il ne voit pas encore l'image. Il crée une liste de contrôle : « D'accord, nous devons vérifier les couleurs, regarder les années et comparer les barres. » Il dit à l'équipe exactement ce qu'il faut chercher.
Le Lecteur OCR (Le Scribe) : Cet agent regarde le graphique et lit uniquement le texte (titres, étiquettes d'axes, nombres). Il note cela dans une liste propre. Cela empêche les étapes suivantes de mal lire une étiquette floue.
Le Localisateur de Légende (Le Traducteur) : Les graphiques utilisent souvent des couleurs (ligne rouge, barre bleue) pour représenter différentes choses. Cet agent associe les couleurs à leurs noms (par exemple, « Rouge = Ventes 2023 »). Il crée une carte pour que personne ne confonde les couleurs plus tard.
L'Outil de Surface de Couleur (Le Mètre Ruban) : Pour les graphiques difficiles comme les diagrammes circulaires ou les barres empilées, estimer les tailles à l'œil nu est difficile. Ce n'est pas une IA intelligente ; c'est une calculatrice simple et basique. Elle compte littéralement les pixels d'une couleur spécifique pour donner une mesure exacte. C'est comme utiliser une règle plutôt que de deviner avec les yeux.
L'Agent de Vision (L'Inspecteur) : Maintenant, l'agent principal regarde le graphique avec la liste de contrôle, la liste de texte, la carte des couleurs et les mesures de pixels. Il rassemble tout cela pour rédiger une réponse.
Le Vérificateur (Le Responsable du Contrôle Qualité) : C'est l'étape la plus importante pour la confiance. Un second agent indépendant examine la réponse provisoire et le graphique à nouveau. Il demande : « Est-ce que cela correspond réellement aux données ? »
- S'il est d'accord, il dit « Confirmé ».
- S'il n'est pas d'accord, il dit « Réviser ».
- Crucialement, le système enregistre un « score de confiance ». Si le responsable hésite, il signale la réponse pour une vérification humaine. Cela permet aux entreprises de concentrer leurs réviseurs humains uniquement sur les réponses qui sont susceptibles d'être fausses, ce qui permet de gagner du temps.

Pourquoi est-ce une avancée majeure ?

C'est Auditable : Parce que chaque étape est enregistrée dans ce « reçu » (le MEP), vous pouvez revenir en arrière et dire : « Ah, le système a échoué parce qu'il a confondu la ligne rouge et la ligne bleue. » Vous savez exactement pourquoi.
C'est Privé : Vous pouvez faire fonctionner toute cette usine sur vos propres ordinateurs (sur site/on-premise) en utilisant des logiciels open-source. Vous n'avez jamais besoin d'envoyer les graphiques secrets de vos clients vers le cloud d'une grande entreprise technologique.
C'est Précis : Les auteurs ont testé cela sur un ensemble de données de graphiques financiers exigeant appelé FinMME.
- En utilisant une IA commerciale de premier plan (Gemini-3), leur usine a obtenu 7,68 % de réponses correctes de plus qu'en posant simplement la question directement à l'IA.
- En utilisant une IA gratuite et open-source (Qwen) tournant sur leurs propres serveurs, ils ont tout de même obtenu 4,84 % de réponses correctes de plus.
- Le « Responsable du Contrôle Qualité » (Vérificateur) était très efficace pour repérer les erreurs : quand il disait « Confirmé », la réponse était correcte 68,2 % du temps. Quand il disait « Réviser », la réponse originale était souvent erronée.

Qu'est-ce qui n'a pas fonctionné parfaitement ?

Les auteurs admettent que le système n'est pas magique. Environ deux tiers des erreurs se sont produites parce que :

L'IA a mal compris la question (par exemple, pensant que « le plus élevé » signifiait « le plus bas »).
Elle a été confuse par la légende (mélangeant quelle couleur correspondait à quelle année).
Elle a mal lu un nombre bien qu'elle ait trouvé le bon endroit sur le graphique.

Il est intéressant de noter que le « Responsable du Contrôle Qualité » n'était pas très doué pour détecter ces types spécifiques d'erreurs. Cela indique aux auteurs exactement ce qu'ils doivent corriger ensuite.

En bref : AgentFinVQA transforme une supposition d'IA risquée et opaque en un processus d'usine transparent, étape par étape. Il prouve que vous pouvez avoir une haute précision, une confidentialité totale et une piste d'audit claire, tout cela en même temps, ce qui est précisément ce dont les institutions financières ont besoin pour faire confiance à l'IA avec leurs données.

Résumé Technique : AgentFinVQA

Énoncé du Problème

Le questionnement (QA) sur les graphiques financiers dans les environnements réglementés fait face à une triade de défis que les solutions existantes ne parviennent pas à traiter simultanément :

Auditabilité : Les praticiens ont besoin de visibilité sur le raisonnement pour accorder leur confiance aux réponses, pourtant les agents actuels sont souvent des « boîtes noires » opaques.
Résidence des Données : De nombreuses institutions financières ne peuvent pas transmettre de données clients sensibles à des fournisseurs d'API externes, ce qui nécessite un déploiement sur site (on-premise).
Précision vs Transparence : Les systèmes existants privilégient soit la précision brute en utilisant des API propriétaires (manquant de pistes d'audit), soit s'appuient sur la segmentation locale et des modèles spécifiques qui sont difficiles à déployer et à auditer.

Les frameworks agentiques actuels reposent souvent sur des outils de vision par ordinateur locaux pour manipuler des images ou nécessitent un réglage fin (fine-tuning) intensif sur des ensembles de données annotées, créant ainsi des barrières à l'entrée pour les secteurs réglementés. Il existe un manque pour un système qui soit uniquement basé sur le prompting (sans segmentation locale ou réglage fin spécifique à une tâche), entièrement auditable et déployable sur des modèles à poids ouverts (open-weight) sans perte de précision significative.

Méthodologie : Le Pipeline AgentFinVQA

Les auteurs proposent AgentFinVQA, un pipeline multi-agents qui décompose le QA de graphiques en étapes séquentielles et traçables. Le système opère sur une image de graphique financier ( $c$ ), une question en langage naturel ( $q$ ) et des options de choix multiples optionnelles ( $O$ ).

Architecture Centrale

Le pipeline exécute les étapes dans un ordre fixe : Planification $\rightarrow$ OCR $\rightarrow$ Ancrage $\rightarrow$ Couleur-Surface $\rightarrow$ Inspection $\rightarrow$ Vérification. Chaque étape écrit les entrées, les sorties et les traces d'outils dans un Paquet d'Évaluation de Modèle (MEP), un artefact JSON portable permettant une auditabilité complète et une attribution d'erreur a posteriori.

Planificateur (Planner) : Un LLM textuel analyse la question et les options du QCM (sans voir l'image) pour générer un plan d'inspection structuré en JSON. Il classifie le type de question et instruit l'agent de vision suivant sur la manière de gérer les requêtes à sélection unique ou multiple.
Lecteur OCR : Un appel de Modèle de Langage-Vision (VLM) ciblé transcrit tout le texte visible (étiquettes d'axes, graduations, légendes, annotations) en métadonnées structurées. Cela empêche l'agent de vision de mal lire le texte ultérieurement.
Ancrage de Légende (Legend Grounder) : Un appel VLM ciblé associe les entrées de la légende à des propriétés visuelles (descriptions de couleurs, RGB approximatif, style de ligne). Cette carte est injectée dans le prompt de vision comme preuve explicite, avec un contrôle de conformité garantissant que l'agent de vision se réfère à ces étiquettes.
Outil Couleur-Surface (Colour-Area Tool) : Une étape déterministe basée sur des règles (utilisant OpenCV) qui s'active pour les graphiques à barres/secteurs/beignets présentant des mots-clés de comparaison. Elle applique des masques de couleur HSV basés sur la carte de légende pour compter les pixels par série, fournissant une « indication de l'étiquette dominante » à l'agent de vision. Cette étape ne nécessite ni GPU ni modèles entraînés.
Agent de Vision : Un agent orchestré (utilisant CrewAI) exécute le plan d'inspection en utilisant l'image du graphique, les métadonnées OCR, la carte de légende et les indications de couleur-surface. Il produit une réponse provisoire et des scores de confiance par choix. Un mécanisme de « tentative de réessai par choix forcé » gère le refus excessif dans les QCM.
Vérificateur (Verifier) : Un appel VLM indépendant audite la réponse provisoire par rapport à l'image du graphique. Il émet un verdict CONFIRM ou REVISE avec un score de confiance auto-rapporté. Une porte de confiance (seuil de 0,75) empêche les révisions à faible confiance de lasser les sorties de vision de haute qualité.

Flexibilité de Déploiement

Le système utilise une abstraction de backend configurable. Il supporte les API propriétaires (ex: Gemini-3 Flash) et les modèles à poids ouverts servis localement (ex: Qwen3.6-27B-FP8 via vLLM). Cela permet aux institutions d'exécuter l'ensemble du pipeline sur site sur un seul GPU A100, garantissant que les données ne quittent jamais leur infrastructure.

Contributions Clés

Pipeline AgentFinVQA : Un cadre multi-agents uniquement basé sur le prompting, qui décompose le QA de graphiques en étapes spécialisées, enregistrant chaque action dans un MEP traçable pour une auditabilité complète.
Viabilité des Modèles à Poids Ouverts : Preuve empirique que les gains de précision de la décomposition agentique se transfèrent des backbones propriétaires aux modèles à poids ouverts servis localement, soutenant le déploiment interne avec un compromis d'exactitude modeste.
Routage Basé sur la Confiance : Le verdict du vérificateur sert de signal de confiance pratique. Les réponses marquées comme « Révisées » sont signalées pour une revue humaine, tandis que les réponses « Confirmées » sont traitées comme une priorité moindre, optimisant le flux de travail humain-dans-la-boucle.

Résultats

Évalué sur le benchmark FinMME (~11 000 échantillons), AgentFinVQA démontre des améliorations significatives par rapport aux bases zero-shot appariées au modèle :

Backbone Propriétaire (Gemini-3 Flash) :
- Précision Moyenne : 71,24 % contre 63,56 % (Zero-shot).
- Amélioration : +7,68 points de pourcentage (pp).
- Précision QCM : +8,1 pp.
- Signification Statistique : McNemar $p \approx 1,1 \times 10^{-16}$ .
Backbone à Poids Ouverts (Qwen3.6-27B-FP8, Local) :
- Précision Moyenne : 66,52 % contre 61,68 % (Zero-shot).
- Amélioration : +4,84 pp.
- Précision QCM : +5,3 pp.
- Signification Statistique : McNemar $p \approx 3,0 \times 10^{-6}$ .
- Note : Le modèle à poids ouverts n'a montré aucun gain fiable sur les questions ouvertes (-1,0 pp), suggérant un coût de précision modeste pour les types de questions les plus difficiles dans les configurations sur site.

Analyse d'Erreur et Utilité du Vérificateur

Modes de Défaillance : Environ les deux tiers des échecs proviennent d'une mauvaise compréhension de la question, d'une confusion de légende et d'erreurs d'extraction.
Performance du Vérificateur : Le vérificateur identifie efficacement les erreurs dans certaines catégories, mais est le moins efficace pour détecter les incompréhensions de questions et les confusions de légende.
Signal de Routage : Les réponses marquées comme « Confirmées » par le vérificateur ont atteint une précision exacte de 68,2 %, contre 55,6 % pour les réponses « Révisées ». Cela suggère que le vérificateur peut router avec succès les ~19 % de sorties les plus susceptibles d'être erronées vers les analystes humains, tandis que les ~81 % restants peuvent être traités avec une confiance accrue.

Signification et Revendications

L'article affirme que le QA de graphiques financiers auditable et sur site est pratique. Il démontre que :

La décomposition agentique améliore la précision de manière significative par rapport aux bases zero-shot sans nécessiter de modèles de vision par ordinateur locaux ou de réglage fin spécifique à la tâche.
Ces gains ne dépendent pas des API propriétaires ; ils persistent avec les modèles à poids ouverts servis localement, permettant la résidence complète des données.
L'intégration d'un vérificateur fournit un mécanisme de « routage de revue humaine basé sur la confiance », offrant un compromis pragmatique entre automatisation et auditabilité adapté aux contextes financiers réglementés.

Les auteurs reconnaissent des limites, notamment l'absence de tests de généralisation inter-datasets (seul FinMME est utilisé), le coût de précision modeste sur les questions ouvertes pour les modèles à poids ouverts, et le fait que la confiance du vérificateur est auto-rapportée plutôt que calibrée. Ils notent que la valeur de l'outil couleur-surface est principalement architecturale (ancrage déterministe et trace d'audit) plutôt qu'une augmentation de l'exactitude globale, car il ne s'active que sur 5 % du jeu de données.