🤖 AI

AgentFinVQA: A Deployable Multi-Agent Pipeline for Auditable Financial Chart QA

AgentFinVQA is een inzetbare, multi-agent pipeline voor auditeerbare financiële grafiekbeantwoording die de state-of-the-art nauwkeurigheid op de FinMME-benchmark bereikt, terwijl het gegevensresidency waarborgt en traceerbare verificatie biedt voor gereguleerde omgevingen.

Oorspronkelijke auteurs: Aravind Narayanan, Shaina Raza

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aravind Narayanan, Shaina Raza

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een financieel analist bent die een complexe grafiek probeert te lezen om een vraag te beantwoorden zoals: "Welke jaren hadden een omzet tussen de \ $10k en \$ 25k?"

Als je een standaard AI (een "zero-shot" model) vraagt om dit te doen, is dat alsof je een briljante maar ongeduldige stagiair vraagt om even naar de grafiek te kijken en het antwoord te roepen. Ze kunnen het goed hebben, maar ze kunnen ook gokken, hallucineren met getallen, of een klein detail missen. Erger nog, je hebt geen idee hoe ze tot het antwoord kwamen, en als ze het fout hebben, kun je het niet bewijzen. In de financiële wereld, waar regels streng zijn en data gevoelig is, kun je een "black box"-antwoord niet zomaar vertrouwen. Je moet de stappen weten, en je kunt je privéklantgegevens niet naar de computer van een vreemde sturen.

AgentFinVQA is de oplossing die de auteurs hebben gebouwd. Zie dit niet als een enkele genie, maar als een gespecialiseerde fabriekslijn voor het beantwoorden van grafiekvragen. In plaats van één persoon die alles doet, wordt het werk verdeeld over een team van specialisten, elk met een specifieke taak, en elke stap wordt genoteerd in een permanent "bewijs" (een Model Evaluation Packet genoemd), zodat je precies kunt auditeren wat er is gebeurd.

Zo werkt hun "fabriek", stap voor stap:

De Planner (De Architect): Voordat iemand naar de grafiek kijkt, leest deze tekst-gebaseerde agent de vraag en de meerkeuzeopties. Deze ziet de afbeelding nog niet. Het maakt een checklist aan: "Oké, we moeten de kleuren controleren, naar de jaren kijken en de staven vergelijken." Het vertelt het team precies waar ze naar moeten zoeken.
De OCR Reader (De Klerk): Deze agent bekijkt de grafiek en leest alleen de tekst (titels, aslabels, getallen). Dit schrijft het in een nette lijst op. Dit voorkomt dat de volgende stappen een wazig label verkeerd lezen.
De Legend Grounder (De Vertaler): Grafieken gebruiken vaak kleuren (rode lijn, blauwe staaf) om verschillende zaken weer te geven. Deze agent koppelt de kleuren aan hun namen (bijv. "Rood = 2023 Omzet"). Het creëert een kaart zodat niemand later de kleuren verwart.
De Colour-Area Tool (De Meetlat): Voor lastige grafieken zoals cirkeldiagrammen of gestapelde staven is het schatten van de grootte met het blote oog moeilijk. Dit is geen slimme AI; het is een eenvoudige, "domme" rekenmachine. Het telt letterlijk de pixels van een specifieke kleur om een exacte meting te geven. Het is alsof je een liniaal gebruikt in plaats van te gokken met je ogen.
De Vision Agent (De Inspecteur): Nu bekijkt de hoofdagent de grafiek met de checklist, de tekstlijst, de kleurenkaart en de pixelmetingen. Het brengt dit alles samen om een conceptantwoord te formuleren.
De Verifier (De Quality Control Manager): Dit is de belangrijkste stap voor vertrouwen. Een tweede, onafhankelijke agent bekijkt het conceptantwoord en de grafiek opnieuw. De vraag is: "Komt dit daadwerkelijk overeen met de data?"
- Als de agent het ermee eens is, zegt hij: "Bevestigd."
- Als de agent het er niet mee eens is, zegt hij: "Herzien."
- Cruciaal is dat het systeem een "betrouwbaarheidsscore" bijhoudt. Als de manager twijfelt, wordt het antwoord gemarkeerd voor menselijke controle. Dit stelt bedrijven in staat om hun menselijke beoordelaars alleen te laten focussen op de antwoorden die waarschijnlijk fout zijn, wat tijd bespaart.

Waarom is dit een grote zaak?

Het is Controleerbaar: Omdat elke stap wordt vastgelegd in dat "bewijs" (de MEP), kun je terugkijken en zeggen: "Ah, het systeem faalde omdat het de rode en blauwe lijnen door elkaar haalde." Je weet precies waarom.
Het is Privé: Je kunt deze hele fabriek op je eigen computers draaien (on-premise) met open-source software. Je hoeft je geheime klantgrafieken nooit naar de cloud van een groot technologiebedrijf te sturen.
Het is Accuraat: De auteurs hebben dit getest op een uitdagende dataset voor financiële grafieken genaamd FinMME.
- Wanneer ze een topniveau commerciële AI (Gemini-3) gebruikten, kreeg hun fabriek 7,68% meer correcte antwoorden dan wanneer men de AI direct een vraag stelt.
- Wanneer ze een gratis, open-source AI (Qwen) gebruikten die op hun eigen servers draaide, kregen ze nog steeds 4,84% meer correcte antwoorden.
- De "Quality Control Manager" (Verifier) was erg goed in het opsporen van fouten: wanneer hij zei "Bevestigd", was het antwoord in 68,2% van de gevallen juist. Wanneer hij zei "Herzien", was het oorspronkelijke antwoord vaak fout.

Wat werkte er niet perfect?

De auteurs geven toe dat het systeem geen magie is. Ongeveer twee derde van de fouten kwam voort uit:

De AI die de vraag verkeerd begreep (bijv. denken dat "hoogste" betekende "laagste").
Het verwarren van de legenda (het door elkaar halen van welke kleur bij welk jaar hoorde).
Een getal verkeerd lezen, ook al werd de juiste plek op de grafiek gevonden.

Interessant genoeg was de "Quality Control Manager" niet erg goed in het opsporen van dit specifieke type fouten. Dit vertelt de auteurs precies wat ze de volgende keer moeten oplossen.

Kortom: AgentFinVQA verandelt een risicovolle, ondoorzichtige AI-gok in een transparant, stapsgewijs fabrieks-proces. Het bewijst dat je tegelijkertijd een hoge nauwkeurigheid, volledige privacy en een duidelijk dossier kunt hebben, wat precies is wat financiële instellingen nodig hebben om AI met hun data te vertrouwen.

Technische Samenvatting: AgentFinVQA

Probleemstelling

Het beantwoorden van vragen (QA) over financiële grafieken in gereguleerde omgevingen staat voor een drietal uitdagingen die bestaande oplossingen niet tegelijkertijd kunnen aanpakken:

Auditbaarheid: Praktijkbeoefenaars vereisen inzicht in de redenering om antwoorden te kunnen vertrouwen, maar huidige agenten zijn vaak ondoorzichtige "black boxes".
Dataresistentie: Veel financiële instellingen kunnen gevoelige cliëntgegevens niet naar externe API-providers verzenden, wat on-premise implementatie noodzakelijk maakt.
Nauwkeurigheid versus Transparantie: Bestaande systemen geven ofwel prioriteit aan ruwe nauwkeurigheid met behulp van propriëtaire API's (zonder audit trails), of vertrouwen op lokale fine-tuning en segmentatiemodellen die moeilijk te implementeren en te auditeren zijn.

Huidige agentische frameworks vertrouwen vaak op lokale computer vision-tools om afbeeldingen te manipuleren of vereisen zware fine-tuning op geannoteerde datasets, wat drempels opwerpt voor gereguleerde sectoren. Er is een gat voor een systeem dat alleen op prompting gebaseerd is (geen lokale segmentatie of taakspecifieke fine-tuning), volledig auditeerbaar is en kan worden geïmplementeerd op open-weight modellen zonder significant verlies van nauwkeurigheid.

Methodologie: De AgentFinVQA-pipeline

De auteurs stellen AgentFinVQA voor, een multi-agent pipeline die grafiek-QA deelt in sequentiële, traceerbare stadia. Het systeem werkt op een financiële grafiekafbeelding ( $c$ ), een natuurlijke taalvraag ( $q$ ) en optionele meerkeuzeopties ( $O$ ).

Kernarchitectuur

De pipeline voert stadia uit in een vaste volgorde: Plan $\rightarrow$ OCR $\rightarrow$ Ground $\rightarrow$ Colour-Area $\rightarrow$ Inspect $\rightarrow$ Verify. Elk stadium schrijft inputs, outputs en tool-traces naar een Model Evaluation Packet (MEP), een draagbaar JSON-artefact dat volledige auditbaarheid en post-hoc fouttoerekening mogelijk maakt.

Planner: Een tekst-only LLM analyseert de vraag en MCQ-opties (zonder de afbeelding te zien) om een gestructureerd JSON-inspectieplan te genereren. Het classificeert het type vraag en instrueert de daaropvolgende vision agent over hoe om te gaan met single-select versus multi-select queries.
OCR Reader: Een gerichte Vision Language Model (VLM) call transcribeert alle zichtbare tekst (as-labels, ticks, legenda's, annotaties) naar gestructureerde metadata. Dit voorkomt dat de vision agent de tekst later verkeerd leest.
Legend Grounder: Een gerichte VLM call koppelt legenda-items aan visuele eigenschappen (kleurbeschrijvingen, benaderd RGB, lijnstijl). Deze kaart wordt als expliciet bewijs in de vision prompt geïnjecteerd, inclusief een compliance-check die garandeert dat de vision agent naar deze labels verwijst.
Colour-Area Tool: Een deterministische, op regels gebaseerde pixel-telling fase (met behulp van OpenCV) die wordt geactiveerd voor staaf-/cirkel-/donutgrafieken met vergelijkingswoorden. Het past HSV-kleurmaskers toe op basis van de legenda-kaart om pixels per serie te tellen, wat een "dominant-label hint" aan de vision agent biedt. Deze fase vereist geen GPU of getrainde modellen.
Vision Agent: Een georchestreerde agent (gebruikmakend van CrewAI) voert het inspectieplan uit met behulp van de grafiekafbeelding, OCR-metadata, de legenda-kaart en de kleur-oppervlakte hints. Het produceert een conceptantwoord en betrouwbaarheidsscores per keuze. Een "forced-choice retry"-mechanisme handelt MCQ over-refusal af.
Verifier: Een onafhankelijke VLM call auditeert het conceptantwoord tegen de grafiekafbeelding. Het geeft een CONFIRM of REVISE verdict met een zelfgerapporteerde betrouwbaarheidsscore. Een betrouwbaarheidsdrempel (threshold 0.75) voorkomt dat laag-betrouwbare revisies hoogwaardige vision-outputs overschrijven.

Implementatieflexibiliteit

Het systeem gebruikt een configureerbare backend-abstractie. Het ondersteunt zowel propriëtaire API's (bijv. Gemini-3 Flash) als lokaal geserveerde open-weight modellen (bijv. Qwen3.6-27B-FP8 via vLLM). Dit stelt instellingen in staat om de volledige pipeline on-premise te draaien op een enkele A100 GPU, waardoor gegarandeerd is dat gegevens nooit hun infrastructuur verlaten.

Belangrijkste Bijdragen

AgentFinVQA Pipeline: Een prompting-only, multi-agent framework dat grafiek-QA deelt in gespecialiseerde stappen en elke actie vastlegt in een traceerbare MEP voor volledige auditbaarheid.
Open-Weight Viabiliteit: Empirisch bewijs dat de winst in nauwkeurigheid door agentische decompositie overdraagt van propriëtaire backbones naar lokaal geserveerde open-weight modellen, wat in-house implementatie ondersteunt met een bescheiden nauwkeurigheidsoffer.
Confidence-Based Routing: Het verdict van de verifier dient als een praktisch betrouwbaarheidssignaal. "Revised" antwoorden worden gemarkeerd voor menselijke beoordeling, terwijl "Confirmed" antwoorden als lagere prioriteit worden behandeld, wat de human-in-the-loop workflow optimaliseert.

Resultaten

Geëvalueerd op de FinMME benchmark (~11.000 samples), vertoont AgentFinVQA significante verbeteringen ten opzichte van model-gematchte zero-shot baselines:

Proprietary Backbone (Gemini-3 Flash):
- Gemiddelde nauwkeurigheid: 71,24% vs. 63,56% (Zero-shot).
- Verbetering: +7,68 procentpunt (pp).
- MCQ Nauwkeurigheid: +8,1 pp.
- Statistische significantie: McNemar $p \approx 1,1 \times 10^{-16}$ .
Open-Weight Backbone (Qwen3.6-27B-FP8, Lokaal):
- Gemiddelde nauwkeurigheid: 66,52% vs. 61,68% (Zero-shot).
- Verbetering: +4,84 pp.
- MCQ Nauwkeurigheid: +5,3 pp.
- Statistische significantie: McNemar $p \approx 3,0 \times 10^{-6}$ .
- Opmerking: Het open-weight model vertoonde geen betrouwbare winst op open vragen (-1,0 pp), wat wijst op een bescheiden nauwkeurigheidskost voor de moeilijkste vraagtypen in on-premise settings.

Foutanalyse & Verifier Nut

Foutmodi: Ongeveer twee derde van de fouten komt voort uit misverstand van de vraag, legenda-verwarring en extractiefouten.
Verifier Prestaties: De verifier identificeert fouten effectief in sommige categorieën, maar is het minst effectief bij het detecteren van vraagmisverstanden en legenda-verwarring.
Routing Signaal: Antwoorden gemarkeerd als "Confirmed" door de verifier behaalden een exacte nauwkeurigheid van 68,2%, vergeleken met 55,6% voor "Revised" antwoorden. Dit suggereert dat de verifier succesvol de ~19% van de outputs die waarschijnlijk fout zijn naar menselijke analisten kan routeren, terwijl de resterende ~81% met hogere zekerheid kan worden vertrouwd.

Betekenis en Claims

Het artikel claimt dat auditeerbare, on-premise financiële grafiek-QA praktisch haalbaar is. Het demonstreert dat:

Agentische decompositie de nauwkeurigheid aanzienlijk verbetert ten opzichte van zero-shot baselines zonder dat lokale computer-vision modellen of taakspecifieke fine-tuning nodig zijn.
Deze winsten niet afhankelijk zijn van propriëtaire API's; ze blijven bestaan bij open-weight modellen die lokaal worden geserveerd, wat volledige dataresistentie mogelijk maakt.
De integratie van een verifier een mechanisme biedt voor "confidence-based human review routing", wat een pragmatische afweging biedt tussen automatisering en auditbaarheid geschikt voor gereguleerde financiële settings.

De auteurs erkennen beperkingen, waaronder het gebrek aan cross-dataset generalisatietesten (alleen FinMME gebruikt), de bescheiden nauwkeurigheidskost op open vragen voor open-weight modellen, en het feit dat de betrouwbaarheid van de verifier zelfgerapporteerd is in plaats van gekalibreerd. Ze merken op dat de waarde van de kleur-oppervlakte tool primair architecturaal is (deterministische gronding en audit-trace) in plaats van een aggregatieve nauwkeurigheidsverhoging, aangezien deze slechts op 5% van de dataset wordt geactiveerd.