Confidence Estimation for Financial Vision-Language Models in Chart and Document Understanding

Stellen Sie sich vor, Sie sind der Kapitän eines Raumschiffs, aber statt durch die Sterne zu steuern, navigieren Sie durch ein Meer aus Finanzdiagrammen, Aktentabellen und komplexen Dokumenten. Sie haben einen sehr klugen, sehr schnellen Roboter-Assistenten (eine KI), der diese Dokumente lesen und Ihre Fragen beantworten kann. Der Roboter ist großartig darin, Muster zu erkennen, aber manchmal wird er übermäßig selbstbewusst. Er könnte auf ein leeres Blatt Papier schauen und Ihnen voller Selbstvertrauen den Preis einer Aktie nennen, oder er liest eine Grafik und gibt die Zahl falsch an, während er dabei absolut sicher klingt. In der Welt der Finanzen ist ein falscher Wert nicht nur ein kleiner Fehler; er kann Millionen von Dollar kosten. Die große Frage ist also nicht nur: „Ist der Roboter klug?“, sondern: „Können wir dem, was er sagt, in diesem Moment vertrauen?“

Um dies zu lösen, bringen Wissenschaftler Robotern bei, sich selbst einen „Konfidenzwert“ zu geben – eine Zahl von 0 bis 1, die besagt: „Ich bin mir ziemlich sicher, dass ich recht habe“ oder „Ich rate nur“. Denken Sie an das wie an eine Wettervorhersage. Wenn ein Meteorologe sagt, es besteht eine Regenwahrscheinlichkeit von 90 %, nehmen Sie einen Regenschirm mit. Wenn er 10 % sagt, lassen Sie ihn zu Hause. Aber was ist, wenn der Meteorologe ein Lügner ist, der immer „90 %“ sagt, egal wie der Himmel aussieht? Dann würden Sie klatschnass werden. In dieser Arbeit geht es darum, zu testen, ob unsere intelligenten Roboter-Assistenten ehrliche Wettervorhersager sind oder nur selbstbewusste Lügner. Die Forscher wollten sehen, ob die Werkzeuge, mit denen wir die Konfidenz des Roboters überprüfen, funktionieren, wenn der Roboter sich schwierige Finanzdiagramme ansieht, die er noch nie zuvor gesehen hat, anstatt nur gewöhnliche Bilder von Katzen und Hunden.

Der „Bauchgefühl“-Test des Roboters

Die Forscher richteten ein riesiges Experiment ein, um sieben verschiedene Wege zu testen, wie man überprüft, ob eine KI die Wahrheit sagt. Sie verwendeten fünf verschiedene „intelligente“ KI-Modelle und baten sie, Probleme aus drei verschiedenen Finanz-Testbanken zu lösen. Diese Tests beinhalteten das Lesen von Aktiencharts, die Analyse von Unternehmensberichten und sogar das Beantworten von Fragen sowohl auf Englisch als auch auf Chinesisch. Der Haken dabei? Die Werkzeuge, die zur Überprüfung der Konfidenz der KI verwendet wurden, wurden nur mit gewöhnlichen, alltäglichen Bildern (wie einer Katze, die auf einer Matte sitzt) trainiert und wurden dann ohne zusätzliches Training direkt in das tiefe Wasser der Finanzen geworfen. Es war, als würde man einen Rettungsschwimmer, der nur im ruhigen Schwimmbecken geübt hat, fragen, Menschen in einem stürmischen Ozean zu retten.

Das Team entdeckte drei große Dinge, und sie sind ein wenig ein Weckruf für jeden, der hofft, die KI allein die Show machen zu lassen.

1. „Ranking“ gut zu sein reicht nicht aus; man muss „ehrlich“ sein
Die erste Erkenntnis ist, dass viele der Werkzeuge zur Überprüfung der Konfidenz zwar gut darin sind, Antworten von „beste Vermutung“ bis „schlechteste Vermutung“ zu sortieren, aber schrecklich darin sind, ehrlich darüber zu sein, wie sicher sie sich sind. Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt. Ein „Ranking“-Werkzeug könnte sagen: „Diese Antwort ist besser als jene“, aber es könnte für beide Antworten eine Konfidenz von 100 % angeben, selbst wenn der Schüler nur rät. Die Forscher fanden heraus, dass die standardmäßigen, leicht zu bedienenden Methoden maßlos übermäßig selbstbewusst waren. Sie gaben einer falschen Antwort fast so oft einen Konfidenzwert von 90 % wie einer richtigen. Das ist gefährlich, denn wenn Sie eine Regel aufstellen wie „Vertraue nur Antworten über 80 %“, würden Sie immer noch vielen falschen Antworten vertrauen.

Zwei spezielle Werkzeuge (genannt „Probes“), die in das Gehirn der KI schauen, waren jedoch viel besser. Sie waren „kalibriert“, was bedeutet, dass sie, wenn sie sagten, sie seien sich zu 80 % sicher, tatsächlich in 80 % der Fälle richtig lagen. Dies waren die einzigen Werkzeuge, denen man vertrauen konnte, um eine sichere Linie zwischen „automatisieren“ und „einen Menschen fragen“ zu ziehen.

2. Es gibt keine „Einheitslösung“
Die zweite Entdeckung ist, dass man nicht einfach ein „bestes“ Werkzeug auswählen und es ewig benutzen kann. Das beste Werkzeug ändert sich je nachdem, was die KI tut und welches KI-Modell man verwendet. Es ist wie der Versuch, das beste Werkzeug in einem Werkzeugkasten zu finden: Ein Hammer ist großartig für Nägel, aber schrecklich für Schrauben.

• Wenn die KI einfache Diagramme betrachtete, funktionierte ein Werkzeug am besten.
• Wenn sie komplexe Dokumente las, war ein anderes Werkzeug besser.
• Wenn die Aufgabe auf Chinesisch war, verschoben sich die Rankings erneut.

Die Forscher fanden heraus, dass kein einzelnes Werkzeug in mehr als 8 von 20 verschiedenen Szenarien der Gewinner war. Das bedeutet, dass man, wenn man einfach nur auf ein allgemeines Bestenlisten-Ranking schaut und das „Top“-Werkzeug wählt, wahrscheinlich das falsche Werkzeug für seine spezifische Aufgabe wählt. Die Zuverlässigkeit der KI ist keine globale Eigenschaft; sie ist lokal und chaotisch.

3. Das Fähigkeitsniveau der KI setzt die Grenze
Die dritte Erkenntung handelt davon, wie viel Arbeit man tatsächlich an den Roboter delegieren kann. Die Forscher fragten: „Wie viele Fragen können wir den Roboter automatisch beantworten lassen, bevor wir stoppen und den Rest überprüfen müssen?“ Sie fanden heraus, dass die Antwort hauptsächlich davon abhängt, wie klug der Roboter zu Beginn ist.

• Bei den einfachsten Aufgaben (wie dem Lesen eines einfachen Charts) konnte der Roboter einen ordentlichen Teil der Arbeit bewältigen, wenn man das richtige Konfidenz-Werkzeug verwendete.
• Bei den schwierigsten Aufgaben (wie komplexen Finanzdokumenten) war der Roboter so oft falsch, dass selbst das beste Konfidenz-Werkzeug ihn nicht retten konnte. Der „sichere“ Grad der Automatisierung lag fast bei Null.

Es stellt sich heraus, dass das Konfidenz-Werkzeug keinen schlechten Roboter gut macht; es hilft einem nur dabei, herauszufinden, wann der Roboter schlecht ist. Das Werkzeug bietet vor allem dann einen Mehrwert, wenn der Roboter kämpft, indem es hilft, die Fehler abzufangen. Aber wenn der Roboter bereits die Hälfte der Zeit versagt, kann kein Konfidenz-Check die Arbeit alleine sicher machen.

Das „magische“ Werkzeug, das die Lüge entlarvt

Eines der interessantesten Werkzeuge, die die Forscher testeten, war BICR. Dieses Werkzeug hat einen besonderen Trick: Es kann erkennen, ob die KI das Bild ignoriert und einfach Dinge basierend auf ihrem Training erfindet.
Stellen Sie sich vor, die KI wird gefragt: „Was ist der höchste Punkt auf diesem Graphen?“ Wenn die KI aufpasst, schaut sie auf den Graphen. Wenn sie den Graphen ignoriert, gibt sie vielleicht einfach eine Zahl basierend auf dem gesunden Menschenverstand an. Das BICR-Werkzeug kann erkennen, wenn die KI den Graphen ignoriert. Wenn die KI versucht, ohne den Chart zu beachten zu antworten, senkt BICR den Konfidenzwert. Es ist wie ein Lügendetektor, der weiß, wenn der Roboter die Antwort nur mit Worten „aufbläht“, anstatt die Daten zu verwenden. Dies ist entscheidend, da der beängstigendste Fehler, den eine KI in der Finanzwelt machen kann, darin besteht, eine flüssige, selbstbewusst klingende Antwort zu geben, die absolut nichts mit den tatsächlichen Zahlen zu tun hat.

Das Fazit

Das Paper kommt zu dem Schluss, dass wir zwar noch nicht bereit sind, die KI das Flugzeug alleine fliegen zu lassen, obwohl die KI immer klüger wird. Die fünf getesteten KI-Modelle sind nicht zuverlässig genug, um Finanzdiagramme und -dokumente mit den hohen Sicherheitsstandards, die in der Finanzwelt erforderlich sind, eigenständig zu bearbeiten.

Der beste Ansatz ist derzeit ein „konfidenzgesteuertes“ System (confidence-gated system). Das bedeutet, dass die KI die einfache Arbeit erledigen kann, aber ein „Mensch im Prozess“ (human in the loop) vorhanden sein muss, um die schwierigen Teile zu prüfen. Die KI sollte nur dann handeln dürfen, wenn ihr Konfidenzwert hoch ist und das Werkzeug, das sie prüft, kalibriert (ehrlich) ist. Wenn das Werkzeug sagt: „Ich bin mir nicht sicher“ oder „Die KI ignoriert den Chart“, muss die Aufgabe an einen menschlichen Experten eskaliert werden.

Kurz gesagt: Die KI ist ein sehr schneller, sehr selbstbewusster Praktikant. Sie kann viel der mühsamen Vorarbeit leisten, aber man braucht einen Vorgesetzten, der weiß, wie man den Konfidenz-Messwert des Praktikanten liest, damit dieser nicht versehentlich Millionen von Dollar auf das falsche Konto überweist. Die Werkzeuge, um dies zu tun, existieren, aber sie müssen sorgfältig für die jeweilige Aufgabe ausgewählt werden, und sie können keinen Roboter heilen, der der Aufgabe schlichtweg nicht klug genug ist.