FinDocMRE: A Benchmark for Document-Level Financial Multimodal Reasoning Evaluation
Diese Arbeit stellt FinDocMRE vor, einen umfassenden Benchmark für mehrbildbasierte Dokumentenanalyse mit über 12.000 Beispielen aus Finanzberichten, der dazu dient, die Grenzen aktueller großer multimodaler Modelle bei der Integration von Texten, Tabellen und Bildern für komplexe finanzielle Schlussfolgerungen rigoros zu evaluieren und offenzulegen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen neuen Finanzanalysten ein. Sie haben einen massiven, 100-seitigen Bericht vor sich, der mit Text, komplexen Tabellen und bunten Diagrammen gefüllt ist, die über verschiedene Seiten verteilt sind. Sie möchten prüfen, ob Ihr neuer Mitarbeiter den Gesamtzusammenhang erkennen, die Verbindungen zwischen einem Diagramm auf Seite 5 und einer Tabelle auf Seite 40 herstellen und die Mathematik korrekt anwenden kann, um Ihnen eine präzise Antwort zu liefern.
Genau darum geht es in diesem Papier, FinDocMRE. Es ist eine riesige „Abschlussprüfung", die entwickelt wurde, um zu testen, wie gut Künstliche Intelligenz (KI) diese unübersichtlichen, realen Finanzdokumente bewältigen kann.
Hier ist eine Aufschlüsselung dessen, was die Forscher taten und was sie herausfanden, unter Verwendung einfacher Analogien:
1. Das Problem: Die „Einzel-Diagramm"-Falle
Bis vor kurzem ähnelten die meisten KI-Tests dem Zeigen einer einzelnen, isolierten Matheaufgabe auf einem Blatt Papier für einen Schüler. Die KI konnte sie leicht lösen. Doch in der realen Finanzwelt ist Information nicht isoliert. Es ist wie ein Puzzle, dessen Teile über ein ganzes Buch verstreut sind.
- Das Problem: Bestehende KI-Modelle sind hervorragend darin, ein einzelnes Diagramm zu betrachten und zu sagen: „Oh, diese Linie steigt an." Doch sie haben Schwierigkeiten, wenn man sie auffordert: „Nehmen Sie die Zahl aus dem Diagramm auf Seite 10, multiplizieren Sie sie mit dem Prozentsatz in der Tabelle auf Seite 30 und nennen Sie mir die Gesamtkosten."
- Die Lücke: Es gab keinen großen, anspruchsvollen Test, der die KI zu dieser „dokumentübergreifenden" Schlussfolgerung zwingt.
2. Die Lösung: Aufbau der „FinDocMRE"-Prüfung
Das Team schuf einen massiven neuen Benchmark (einen Testdatensatz) namens FinDocMRE. Stellen Sie sich das wie den Bau eines Fitnessstudios für KI vor, in dem sie schweres Heben trainieren kann.
- Der Datensatz: Sie sammelten 2.878 echte Finanzberichte (wie Jahresabschlüsse großer Unternehmen) und extrahierten 12.207 spezifische Fragen.
- Das „Rezept" für Qualität: Sie ließen einen Computer nicht einfach Fragen schreiben, da Computer manchmal Fakten erfinden (ein Problem, das als „Halluzination" bekannt ist). Stattdessen verwendeten sie ein dreistufiges Rezept:
- Der Roboter-Koch: Eine KI generierte die Fragen ausschließlich auf Basis der Bilder und Diagramme, wobei sie den umgebenden Text ignorierte, um sie zu zwingen, die Daten zu „sehen".
- Die menschlichen Geschmackstester: Drei echte Finanzexperten (wie leitende Analysten) prüften jede einzelne Frage. War die Frage verwirrend, die Mathematik falsch oder der Diagrammbezug unpassend, warf sie sie in den Müll.
- Der endgültige Schnitt: Nur etwa 55 % der generierten Fragen bestanden die Auswahl. Dies stellte sicher, dass die Abschlussprüfung von außergewöhnlich hoher Qualität und extrem schwierig war.
3. Die Ergebnisse: Die Spaltung zwischen „Analyst" und „Rechner"
Die Forscher testeten 11 der intelligentesten verfügbaren KI-Modelle (darunter große Namen wie GPT-5, Gemini und Qwen) gegen diese Prüfung. Sie holten zudem echte menschliche Finanzexperten hinzu, um zu sehen, wie sich die KI im Vergleich verhielt.
Hier ist, was sie entdeckten:
- Die Punktzahl: Das beste KI-Modell erreichte nur etwa 64 von 100 Punkten. Die menschlichen Experten erreichten etwa 79. Es besteht immer noch eine riesige Lücke.
- Der „Geschichtenerzähler" vs. der „Mathe-Genie":
- Gut in Geschichten: Die KI-Modelle sind überraschend gut darin, lange, kohärente Zusammenfassungen zu schreiben. Wenn Sie fragten: „Was ist der allgemeine Trend dieses Unternehmens?", könnten sie einen großartigen Absatz verfassen.
- Schlecht in Mathe & Navigation: Wenn sie aufgefordert wurden, präzise Berechnungen durchzuführen oder eine spezifische Zahl zu finden, die in einem Diagramm auf Seite 45 versteckt ist, während sie ein Diagramm auf Seite 5 betrachteten, scheiterten sie oft. Sie würden die Zahlen falsch berechnen oder verwechseln, welches Diagramm zu welchem Jahr gehörte.
- Der „Verloren-in-der-Mitte"-Effekt: Je länger die Dokumente wurden und je mehr Bilder die KI gleichzeitig betrachten musste (wie 3 oder 4 verschiedene Diagramme auf einmal), desto mehr sank die Leistung der KI. Es ist wie der Versuch, sich drei verschiedene Telefonnummern gleichzeitig zu merken; je mehr Sie hinzufügen, desto wahrscheinlicher ist es, dass Sie sie verwechseln.
4. Die große Erkenntnis
Das Papier kommt zu dem Schluss, dass KI zwar besser darin wird zu „sehen" und zu „sprechen", aber immer noch Schwierigkeiten hat, sich wie ein professioneller Finanzanalyst zu verhalten.
- Der Engpass: Das Hauptproblem liegt nicht darin, dass die KI die Wörter nicht lesen kann; es liegt daran, dass sie ihre Schlussfolgerungen nicht zuverlässig auf die spezifischen visuellen Beweise stützen kann, die über ein komplexes Dokument verstreut sind. Es ist wie ein Schüler, der die Theorie der Buchhaltung kennt, aber bei der Berechnung ständig auf die falsche Zeile in der Tabelle schaut.
Kurz gesagt: FinDocMRE ist ein strenger Belastungstest, der zeigt, dass die aktuelle KI ein großartiger „Aufsatzschreiber" ist, aber ein wackeliger „Rechner", wenn es um komplexe, mehrseitige Finanzberichte geht. Das Papier legt nahe, dass die KI, um menschliche Analysten wirklich zu ersetzen, viel besser darin werden muss, diese visuellen Rätsel zu navigieren, ohne sich zu verirren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.