BizFinBench.v2: Towards Reliable LLMs in Finance via Real-User Data and Offline/Online Bilingual Evaluation
Das Papier stellt BizFinBench.v2 vor, einen umfassenden bilingualen Benchmark, der authentische Nutzerdaten aus den chinesischen und US-amerikanischen Aktienmärkten nutzt, um große Sprachmodelle zu evaluieren, wobei aufzeigt wird, dass aktuelle State-of-the-Art-Modelle trotz der überlegenen Leistung von DeepSeek-R1 noch immer hinter praktischen geschäftlichen Anforderungen zurückbleiben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, wie man ein Aktienhändler ist. Jahrelang haben wir diese Roboter in einem riesigen, ruhigen Klassenzimmer voller falscher Übungsprüfungen getestet. Die Roboter bestehen die Tests mit Bravour und erhalten Bestnoten, sodass wir davon ausgehen, dass sie bereit sind, echtes Geld zu verwalten. Aber in der realen Welt ist der Aktienmarkt kein ruhiges Klassenzimmer; er ist eine chaotische, lärmende, schnelllebige Achterbahnfahrt, bei der sich die Regeln jede Sekunde ändern.
Das ist das große Problem, das die Autoren dieser Arbeit, BizFinBench.v2, angehen. Sie argumentieren, dass die alten „Klassenzimmertests“ uns anlügen. Sie basieren auf künstlich erzeugten Daten, die nicht mit der chaotischen Realität des tatsächlichen Finanzwesens übereinstimmen. Deshalb haben die Autoren ein brandneues, reales Fitnessstudio gebaut, um diese Roboter zu testen.
Das neue Fitnessstudio: Reale Daten, echte Einsätze
Anstatt falscher Fragen verwendet dieser neue Benchmark 28.860 tatsächliche Fragen, die echte Menschen in echten Finanz-Apps sowohl auf dem chinesischen als als auch auf dem US-Aktienmarkt gestellt haben. Es ist, als würde man ein Quiz aus einem Lehrbuch gegen ein Live-Poker mit hohem Einsatz austauschen, bei dem die Chips echt sind.
Das Fitnessstudio hat zwei Hauptzonen:
- Die Offline-Zone: Hier beantworten die Roboter schwierige Fragen zu Themen wie „Warum ist diese Aktie abgestürzt?“ oder „Analysiere diesen Unternehmensbericht“. Es gibt 8 verschiedene Arten von Aufgaben hier, die von der Erkennung seltsamer Datenfehler bis hin zur Vorhersage der Stimmung eines Nutzers gegenüber dem Markt reichen.
- Die Online-Zone: Das ist der beängstigende Teil. Hier müssen die Roboter Echtzeit-Entscheidungen treffen. Sie müssen Aktienkurse während des Geschehens vorhersagen und ein fiktives Portfolio verwalten, indem sie jede Stunde basierend auf Live-Marktdaten kaufen und verkaufen. Es ist, als würde man ein Auto fahren, während man die Augen verbunden hat, aber das Auto fährt mit 100 mph und die Straße ändert sich jede Sekunde.
Die Ergebnisse: Die Roboter lernen noch
Als die Autoren die klügsten Roboter der Welt in dieses reale Fitnessstudio schickten, waren die Ergebnisse... nun ja, ein wenig schockierend.
Selbst der Superstar-Roboter GPT-5 beantwortete nur 61,5 % der Fragen richtig. Das klingt nach einer ordentlichen Note für einen Schultest, aber in der realen Finanzwelt muss man zu 84,8 % richtig liegen, um überhaupt als sicher genug für den Einsatz zu gelten. Die Roboter scheitern noch immer daran, die grundlegenden Anforderungen eines echten Geschäfts zu erfüllen.
Unter allen getesteten Robotern stach einer namens DeepSeek-R1 hervor, aber mit einem Haken. Er war das einzige Modell, das eine „überlegene Investitionseffizienz“ im Online-Investmentspiel zeigte und tatsächlich einen Gewinn von +47,34 % erwirtschaftete. Er war jedoch auch etwas leichtsinnig und verlor zu einem bestimmten Zeitpunkt bis zu 53 % seines Geldes (ein „maximaler Drawdown“). Es ist wie ein Rennfahrer, der das Rennen gewinnt, aber das Auto auf dem Weg zum Podium gegen die Wand fährt. Obwohl er der Beste der Gruppe war, war er immer noch der einzige, der überhaupt in die Nähe der Leistung mittelmäßiger traditioneller Handelsstrategien kommen konnte; der Rest der kommerziellen Modelle konnte den Markt nicht schlagen.
Interessanterweise fanden die Autoren heraus, dass einige Roboter, die als „Finanzexperten“ berühmt sind, tatsächlich schlechter abschnitten als die Allzweck-Modelle. Es stellt sich heraus, dass das Training eines Roboters nur mit Finanzlehrbüchern ihn nicht zu einem besseren Händler macht, wenn er nicht mit dem Chaos des realen Marktes umgehen kann.
Die „Denk“-Falle
Die Autoren probierten auch einen Trick namens Chain-of-Thought (CoT) aus, bei dem sie den Robotern sagten, sie sollen „Schritt für Schritt denken“, bevor sie antworten. Man würde denken, das würde helfen, oder? Falsch. Für die meisten Roboter machte es sie sogar schlechter. Es war, als würde man einem nervösen Schüler sagen, er solle jeden einzelnen Schritt einer Matheaufgabe überanalysieren, bis er die Antwort völlig vergisst. Ein Roboter, Claude-Sonnet-4, sah seine Punktzahl von 39,5 % auf 13,7 % abstürzen, nur weil er gezwungen war, zu viel nachzudenken!
Die fünf großen Fehler
Indem die Autoren untersuchten, wo die Roboter versagten, fanden sie fünf spezifische Wege, wie sie in der realen Welt Fehler machen:
- Semantische Abweichung: Sie verstehen die Wörter, aber nicht die Bedeutung. Sie könnten denken, dass ein Technologieunternehmen dasselbe ist wie ein Halbleiterunternehmen, nur weil beide das Wort „Tech“ verwenden, und dabei ignorieren, dass es sich um völlig unterschiedliche Unternehmen handelt.
- Logische Diskontinuität: Sie verlieren den roten Faden bei langen Erzählungen. Wenn man sie bittet, eine Ursache-Wirkungs-Kette über einen langen Zeitraum nachzuverfolgen, werden sie verwirrt und lassen den Ball fallen.
- Multivariate Analyse: Sie können nicht zu viele Bälle gleichzeitig in der Luft halten. Wenn sie Nachrichten, Charts und Nutzerstimmungen kombinieren müssen, um eine Entscheidung zu treffen, sind sie überfordert und wählen die falschen Faktoren.
- Hochpräzisions-Verzerrung: Sie sind schlecht in Mathe. In der Finanzwelt kann ein winziger Dezimalfehler Millionen kosten, und diese Roboter berechnen Zahlen oft falsch.
- Zeitliche Unordnung: Sie bringen die Zeitlinie durcheinander. Sie könnten denken, dass ein Ereignis vor einer Reaktion geschah, die es verursacht hat, oder umgekehrt, und damit die ganze Geschichte komplett verdrehen.
Das Fazit
Das Paper legt nahe, dass diese KI-Modelle zwar klüger werden, aber noch nicht bereit sind, Ihr persönlicher Finanzberater zu sein. Die Lücke zwischen ihren „Testergebnissen“ und ihrer „Realwelt-Performance“ ist riesig. Die Autoren sagen nicht, dass KI nutzlos ist; sie sagen, dass wir aufhören müssen, sie in gefälschten Klassenzimmern zu testen und stattdessen in diesem echten, chaotischen Fitnessstudio. Bis sie konsistent die Genauigkeit von 84,8 % erreichen, sollten wir sehr vorsichtig sein, ihnen unser Geld anzuvertrauen.
Die gute Nachricht? Die Autoren teilen ihre Daten und das „Fitnessstudio“, das sie gebaut haben, damit andere Wissenschaftler helfen können, die Roboter für den Ernstfall bereit zu machen. Aber vorerst sind die Roboter immer noch Studenten, keine Meister.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.