🤖 AI

AgentFinVQA: A Deployable Multi-Agent Pipeline for Auditable Financial Chart QA

AgentFinVQA ist eine einsatzfähige Multi-Agenten-Pipeline für die prüfbare Beantwortung von Fragen zu Finanzdiagrammen, die eine erstklassige Genauigkeit auf dem FinMME-Benchmark erreicht und gleichzeitig die Datenresidenz gewährleistet sowie eine nachvollziehbare Verifizierung für regulierte Umgebungen bereitstellt.

Ursprüngliche Autoren: Aravind Narayanan, Shaina Raza

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aravind Narayanan, Shaina Raza

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Finanzanalyst, der versucht, ein komplexes Diagramm zu lesen, um eine Frage zu beantworten wie: „Welche Jahre hatten Umsätze zwischen 10.000 $ und 25.000 $?“

Wenn Sie eine Standard-KI (ein „Zero-Shot“-Modell) bitten, dies zu tun, ist das so, als würden Sie einem brillanten, aber ungeduldigen Praktikanten sagen, er solle kurz einen Blick auf das Diagramm werfen und die Antwort herausbrüllen. Er mag die Antwort richtig haben, aber er könnte auch raten, halluzinieren oder ein winziges Detail übersehen. Schlimmer noch: Sie haben keine Ahnung, wie er auf die Antwort gekommen ist, und falls er falsch liegt, können Sie es nicht beweisen. In der Finanzwelt, in der Regeln streng sind und Daten sensibel sind, kann man einem „Black Box“-Modell nicht einfach blind vertrauen. Sie müssen die Schritte kennen, und Sie können Ihre privaten Kundendaten nicht einem Fremden auf dessen Computer schicken.

AgentFinVQA ist die Lösung, die die Autoren entwickelt haben. Betrachten Sie dies nicht als einen einzelnen Genies, sondern als eine spezialisierte Fabrik-Montageband, um Fragen zu Diagrammen zu beantworten. Anstatt dass eine Person alles macht, wird die Arbeit in ein Team von Spezialisten aufgeteilt, von denen jeder eine spezifische Aufgabe hat, und jeder einzelne Schritt wird in einem permanenten „Beleg“ (einem sogenannten Model Evaluation Packet) festgehalten, damit Sie genau nachvollziehen können, was passiert ist.

So funktioniert diese „Fabrik“ Schritt für Schritt:

Der Planer (Der Architekt): Bevor irgendjemand das Diagramm ansieht, liest dieser rein textbasierte Agent die Frage und die Multiple-Choice-Optionen. Er sieht das Bild noch nicht. Er erstellt eine Checkliste: „Okay, wir müssen die Farben prüfen, die Jahre betrachten und die Balken vergleichen.“ Er sagt dem Team genau, wonach es zu suchen hat.
Der OCR-Reader (Der Schreiber): Dieser Agent betrachtet das Diagramm und liest nur den Text (Titel, Achsenbeschriftungen, Zahlen). Er schreibt dies in einer ordentlichen Liste auf. Dies verhindert, dass der nächste Schritt eine verschwommene Beschriftung falsch liest.
Der Legenden-Grunder (Der Übersetzer): Diagramme verwenden oft Farben (rote Linie, blauer Balken), um verschiedene Dinge darzustellen. Dieser Agent ordnet die Farben den Namen zu (z. B. „Rot = Umsatz 2023“). Er erstellt eine Karte, damit niemand später die Farben verwechselt.
Das Farb-Flächen-Tool (Das Maßband): Für knifflige Diagramme wie Kreisdiagramme oder gestapelte Balkendiagramme ist das Schätzen von Größen mit bloßem Auge schwierig. Dies ist keine intelligente KI; es ist ein einfaches, „dummes“ Rechenwerkzeug. Es zählt buchstäblich die Pixel einer bestimmten Farbe, um ein exaktes Maß zu liefern. Es ist, als würde man ein Lineal benutzen, anstatt mit den Augen zu raten.
Der Vision-Agent (Der Inspektor): Nun betrachtet der Hauptagent das Diagramm zusammen mit der Checkliste, der Textliste, der Farbanordnung und den Pixelmessungen. Er führt alles zusammen, um eine Antwort zu entwerfen.
Der Verifizierer (Der Qualitätskontrollmanager): Dies ist der wichtigste Schritt für das Vertrauen. Ein zweiter, unabhängiger Agent betrachtet den Entwurf der Antwort und das Diagramm erneut. Er fragt: „Entspricht das tatsächlich den Daten?“
- Wenn er zustimmt, sagt er „Bestätigt“.
- Wenn er widerspricht, sagt er „Überarbeiten“.
- Entscheidend ist, dass das System einen „Konfidenzwert“ aufzeichnet. Wenn der Manager unsicher ist, markiert er die Antwort zur Überprüfung durch einen Menschen. Dies ermöglicht es Unternehmen, ihre menschlichen Prüfer nur auf die Antworten zu konzentrieren, die wahrscheinlich falsch sind, was Zeit spart.

Warum ist das eine große Sache?

Es ist auditierbar: Da jeder Schritt in diesem „Beleg“ (dem MEP) aufgezeichnet wird, können Sie zurückblicken und sagen: „Ah, das System ist fehlgeschlagen, weil es die rote und die blaue Linie verwechselt hat.“ Sie wissen genau, warum.
Es ist privat: Sie können diese gesamte Fabrik auf Ihren eigenen Computern (On-Premise) mit Open-Source-Software betreiben. Sie müssen Ihre geheimen Kunden-Diagramme niemals an die Cloud eines großen Tech-Unternehmens senden.
Es ist genau: Die Autoren haben das System mit einem anspruchsvollen Datensatz für Finanzdiagramme namens FinMME getestet.
- Wenn sie eine erstklassige kommerzielle KI (Gemini-3) verwendeten, erzielte ihre Fabrik 7,68 % mehr korrekte Antworten, als wenn man die KI direkt fragen würde.
- Wenn sie eine kostenlose Open-Source-KI (Qwen) auf ihren eigenen Servern verwendeten, erhielten sie immer noch 4,84 % mehr korrekte Antworten.
- Der „Qualitätskontrollmanager“ (Verifizierer) war sehr gut darin, Fehler zu erkennen: Wenn er „Bestätigt“ sagte, war die Antwort in 68,2 % der Fälle richtig. Wenn er „Überarbeiten“ sagte, war die ursprüngliche Antwort oft falsch.

Was hat nicht perfekt funktioniert?

Die Autoren geben zu, dass das System nicht magisch ist. Etwa zwei Drittel der Fehler passierten, weil:

Die KI die Frage missverstanden hat (z. B. dachte sie, „höchster“ bedeute „niedrigster“).
Sie durch die Legende verwirrt wurde (Verwechslung, welche Farbe für welches Jahr steht).
Sie eine Zahl falsch gelesen hat, obwohl sie die richtige Stelle im Diagramm gefunden hatte.

Interessanterweise war der „Qualitätskontrollmanager“ nicht besonders gut darin, diese spezifischen Arten von Fehlern zu erkennen. Dies zeigt den Autoren genau, was sie als Nächstes beheben müssen.

Kurz gesagt: AgentFinVQA verwandelt eine riskante, undurchsichtige KI-Vermutung in einen transparenten, schrittweisen Fabrikprozess. Es beweist, dass man hohe Genauigkeit, volle Privatsphäre und eine klare Dokumentation gleichzeitig erreichen kann – genau das, was Finanzinstitute benötigen, um ihrer KI bei ihren Daten zu vertrauen.

Technisches Resümee: AgentFinVQA

Problemstellung

Die Beantwortung von Fragen zu Finanzdiagrammen (Question Answering, QA) in regulierten Umgebungen steht vor einer Triade von Herausforderungen, denen bestehende Lösungen nicht gleichzeitig gerecht werden:

Auditierbarkeit: Praktiker benötigen Transparenz über die Argumentation, um Antworten vertrauen zu können, doch aktuelle Agenten sind oft undurchsichtige „Black Boxes“.
Datenresidenz: Viele Finanzinstitute können keine sensiblen Kundendaten an externe API-Anbieter übermitteln, was eine On-Premise-Bereitstellung erforderlich macht.
Genauigkeit vs. Transparenz: Bestehende Systeme priorisieren entweder die reine Genauigkeit unter Verwendung proprietärer APIs (ohne Audit-Trails) oder verlassen sich auf lokale Fine-Tuning- und Segmentierungsmodelle, die schwierig zu implementieren und zu auditieren sind.

Aktuelle agentische Frameworks verlassen sich oft auf lokale Computer-Vision-Tools zur Manipulation von Bildern oder erfordern ein schweres Fine-Tuning auf annotierten Datensätzen, was Eintrittsbarrieren für regulierte Sektoren schafft. Es besteht eine Lücke für ein System, das ausschließlich auf Prompting basiert (keine lokale Segmentierung oder aufgabenspezifisches Fine-Tuning), vollständig auditierbar ist und auf Open-Weight-Modellen ohne signifikanten Genauigkeitsverlust bereitgestellt werden kann.

Methodik: Die AgentFinVQA-Pipeline

Die Autoren schlagen AgentFinVQA vor, eine Multi-Agenten-Pipeline, die die Diagramm-Befragung in sequentielle, nachvollziehbare Phasen zerlegt. Das System arbeitet mit einem Finanzdiagramm-Bild ( $c$ ), einer natürlichen Sprachfrage ( $q$ ) und optionalen Multiple-Choice-Optionen ( $O$ ).

Kernarchitektur

Die Pipeline führt die Phasen in einer festen Reihenfolge aus: Plan $\rightarrow$ OCR $\rightarrow$ Ground $\rightarrow$ Colour-Area $\rightarrow$ Inspect $\rightarrow$ Verify. Jede Phase schreibt Eingaben, Ausgaben und Tool-Traces in ein Model Evaluation Packet (MEP), ein portables JSON-Artefakt, das eine vollständige Auditierbarkeit und Post-hoc-Fehlerattribution ermöglicht.

Planner: Ein Text-LLM analyst die Frage und die MCQ-Optionen (ohne das Bild zu sehen), um einen strukturierten JSON-Inspektionsplan zu erstellen. Er klassifiziert den Fragetyp und instruiert den nachfolgenden Vision-Agenten, wie mit Single-Select- vs. Multi-Select-Abfragen umzugehen ist.
OCR Reader: Ein fokussierter Vision-Language-Model (VLM)-Aufruf transkribiert alle sichtbaren Texte (Achsenbeschriftungen, Ticks, Legenden, Annotationen) in strukturierte Metadaten. Dies verhindert, dass der Vision-Agent den Text später falsch liest.
Legend Grounder: Ein gezielter VLM-Aufruf ordnet Legenden-Einträge visuellen Eigenschaften zu (Farbbeschreibungen, ungefähres RGB, Linienstil). Diese Map wird als explizites Evidenzstück in den Vision-Prompt injiziert, wobei eine Compliance-Prüfung sicherstellt, dass der Vision-Agent diese Labels referenziert.
Colour-Area Tool: Ein deterministischer, regelbasierter Pixel-Zähl-Schritt (unter Verwendung von OpenCV), der bei Bar-/Pie-/Donut-Charts mit Vergleichs-Keywords aktiviert wird. Es wendet HSV-Farbmasken basierend auf der Legenden-Map an, um Pixel pro Serie zu zählen, und liefert dem Vision-Agenten einen „dominanten Label-Hinweis“. Dieser Schritt benötigt keine GPU oder trainierten Modelle.
Vision Agent: Ein orchestrierter Agent (unter Verwendung von CrewAI) führt den Inspektionsplan unter Verwendung des Diagramm-Bildes, der OCR-Metadaten, der Legenden-Map und der Colour-Area-Hinweise aus. Er erstellt eine Entwurfsantwort und Konfidenzwerte pro Option. Ein „Forced-Choice Retry“-Mechanismus behandelt MCQ-Over-Refusal (Verweigerung der Antwort).
Verifier: Ein unabhängiger VLM-Aufruf auditiert die Entwurfsantwort gegen das Diagramm-Bild. Er gibt ein CONFIRM- oder REVISE-Urteil mit einem selbstberichteten Konfidenzwert ab. Eine Konfidenz-Schwelle (Threshold 0,75) verhindert, dass Antworten mit geringer Konfidenz die qualitativ hochwertigen Vision-Outputs überschreiben.

Flexibilität der Bereitstellung

Das System nutzt eine konfigurierbare Backend-Abstraktion. Es unterstützt proprietäre APIs (z. B. Gemini-3 Flash) und lokal bereitgestellte Open-Weight-Modelle (z. B. Qwen3.6-27B-FP8 via vLLM). Dies ermöglicht es Institutionen, die gesamte Pipeline auf einer einzigen A100-GPU on-premise auszuführen, wodurch sichergestellt wird, dass die Daten niemals ihre Infrastruktur verlassen.

Kernbeiträge

AgentFinVQA Pipeline: Ein reines Prompting-basiertes Multi-Agenten-Framework, das die Diagramm-Befragung in spezialisierte Schritte zerlegt und jede Aktion in einem nachvollziehbaren MEP protokolliert.
Open-Weight Viability: Empirische Belege dafür, dass die Genauigkeitsgewinne der agentischen Dekomposition von proprietären Backbones auf lokal bereitgestellte Open-Weight-Modelle übertragbar sind, was eine In-House-Bereitstellung mit einem moderaten Genauigkeits-Trade-off unterstützt.
Confidence-Based Routing: Das Urteil des Verifiers dient als praktisches Konfidenzsignal. Als „Revised“ markierte Antworten werden zur menschlichen Überprüfung gekennzeichnet, während als „Confirmed“ behandelte Antworten als Priorität niedriger eingestuft werden, was den Human-in-the-Loop-Workflow optimiert.

Ergebnisse

Evaluierungen auf dem FinMME Benchmark (~11.000 Samples) zeigen, dass AgentFinVQA signifikante Verbesserungen gegenüber modell-identischen Zero-Shot-Baselines erzielt:

Proprietärer Backbone (Gemini-3 Flash):
- Mittlere Genauigkeit: 71,24 % vs. 63,56 % (Zero-shot).
- Verbesserung: +7,68 Prozentpunkte (pp).
- MCQ-Genauigkeit: +8,1 pp.
- Statistische Signifikanz: McNemar $p \approx 1,1 \times 10^{-16}$ .
Open-Weight Backbone (Qwen3.6-27B-FP8, Lokal):
- Mittlere Genauigkeit: 66,52 % vs. 61,68 % (Zero-shot).
- Verbesserung: +4,84 pp.
- MCQ-Genauigkeit: +5,3 pp.
- Statistische Signifikanz: McNemar $p \approx 3,0 \times 10^{-6}$ .
- Hinweis: Das Open-Weight-Modell zeigte keinen zuverlässigen Gewinn bei offenen Fragen (-1,0 pp), was auf einen moderaten Genauigkeitsverlust bei den schwierigsten Fragetypen in On-Premise-Settings hindeutet.

Fehleranalyse & Verifier-Nutzen

Fehlermodi: Ungefähr zwei Drittel der Fehler resultieren aus Missverständnissen der Frage, Legenden-Verwirrung und Extraktionsfehlern.
Verifier-Leistung: Der Verifier identifiziert Fehler in einigen Kategorien effektiv, ist jedoch am wenigsten effektiv bei der Erkennung von Fragen-Missverständnissen und Legenden-Verwirrung.
Routing-Signal: Antworten, die vom Verifier als „Confirmed“ markiert wurden, erreichten eine exakte Genauigkeit von 68,2 %, verglichen mit 55,6 % für „Revised“-Antworten. Dies deutet darauf hin, dass der Verifier erfolgreich die ~19 % der Outputs, die am wahrscheinlichsten falsch sind, an menschliche Analysten routen kann, während die verbleibenden ~81 % mit höherer Zuversicht behandelt werden können.

Bedeutung und Ansprüche

Das Paper behauptet, dass auditierbare, On-Premise-basierte Finanzdiagramm-Befragung praktikabel ist. Es demonstriert, dass:

Agentische Dekomposition die Genauigkeit im Vergleich zu Zero-Shot-Baselines signifikant verbessert, ohne lokale Computer-Vision-Modelle oder aufgabenspezifisches Fine-Tuning zu erfordern.
Diese Gewinne nicht von proprietären APIs abhängig sind; sie bleiben auch bei lokal bereitgestellten Open-Weight-Modellen bestehen, was die volle Datenresidenz ermöglicht.
Die Integration eines Verifiers einen Mechanismus für „konfidenzbasiertes menschliches Review-Routing“ bietet, was einen pragmatischen Kompromiss zwischen Automatisierung und Auditierbarkeit für regulierte Finanzumfelder darstellt.

Die Autoren räumen Einschränkungen ein, darunter die mangelnde Testung der Generalisierung über Datensätze hinweg (nur FinMME verwendet), die moderaten Genauigkeitskosten bei offenen Fragen für Open-Weight-Modelle und die Tatsache, dass die Konfidenz des Verifiers selbstberichtend und nicht kalibriert ist. Sie merken an, dass der primäre Wert des Colour-Area-Tools eher architektonischer Natur ist (deterministische Fundierung und Audit-Trace) als ein aggregierter Genauigkeitsgewinn, da es nur auf 5 % des Datensatzes aktiviert wird.