FinTradeBench: A Financial Reasoning Benchmark for LLMs
Das Paper stellt FinTradeBench vor, ein Benchmark mit 1.400 Fragen zu NASDAQ-100-Unternehmen, der die Finanzanalyse von Large Language Models durch die Integration von Fundamentaldaten und Handelssignalen bewertet und dabei erhebliche Defizite in der numerischen sowie zeitreihenbasierten Schlussfolgerung aufzeigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Finanz-Detektiv, der herausfinden muss, ob eine Firma ein guter Kauf ist. Um das zu tun, müssen Sie zwei völlig unterschiedliche Dinge untersuchen:
- Das "Krankenhaus-Protokoll" (Fundamentaldaten): Das sind die offiziellen Bücher der Firma. Wie viel Geld hat sie? Wie viel Schulden? Ist sie profitabel? Das ist wie ein Arztbericht, der zeigt, wie gesund der Körper innerlich ist.
- Das "Herzschlag-Monitor" (Handelsdaten): Das ist, wie die Aktie an der Börse gerade tickt. Steigt sie schnell? Fällt sie? Sind die Leute nervös oder euphorisch? Das ist wie der Puls, der zeigt, wie das Publikum gerade reagiert.
Bisher haben die künstlichen Intelligenzen (LLMs) wie ein Schüler gelernt, der nur die Krankenhaus-Protokolle auswendig gelernt hat. Sie können tolle Sätze über Bilanzen schreiben, aber wenn man sie fragt: "Hey, die Aktie fällt gerade, weil alle panisch sind – kaufen wir trotzdem?", dann verlieren sie den Faden. Sie verstehen nicht, wie die Stimmung (der Puls) die Gesundheit (das Protokoll) überlagern kann.
Was ist FinTradeBench?
Die Autoren dieses Papers haben sich gedacht: "Das reicht nicht!" und haben FinTradeBench erfunden.
Stellen Sie sich FinTradeBench wie einen neuen, sehr strengen Fahrprüfungs-Test für KI-Autos vor.
- Der alte Test: Fragte nur: "Können Sie die Verkehrsregeln aus dem Buch aufsagen?" (Das war das alte Wissen der KIs).
- Der neue Test (FinTradeBench): Fragt: "Hier ist eine Karte mit den Regeln (Fundamentaldaten), aber hier ist auch ein Live-Video von einer stürmischen Straße, auf der andere Autos wild abbiegen (Handelsdaten). Was machen Sie?"
Der Test besteht aus 1.400 Fragen über die 100 größten US-Firmen (wie Apple, Nvidia, Tesla) aus den letzten 10 Jahren. Die Fragen sind in drei Kategorien unterteilt:
- Nur Protokoll: "Wie hoch ist der Gewinn?" (Einfach).
- Nur Puls: "Warum ist die Aktie heute um 5% gefallen?" (Schwierig für KIs).
- Die Mischung (Hybrid): "Die Firma hat gute Zahlen, aber die Aktie fällt. Ist das ein Kaufgelegenheit oder eine Falle?" (Das ist der echte Test).
Die große Entdeckung: Der "Ablenkungs-Effekt"
Die Forscher haben 14 verschiedene KI-Modelle getestet. Das Ergebnis war überraschend und fast wie in einem Krimi:
1. Wenn die KI "Nachschlagen" darf (RAG):
Man hat den KIs erlaubt, in einem digitalen Bibliothekssystem (Retrieval-Augmented Generation) nachzuschlagen, bevor sie antworten.
- Bei den "Krankenhaus-Protokollen" (Fundamentaldaten): Das war super! Die KI fand die richtigen Zahlen in den Büchern und wurde viel besser.
- Bei den "Herzschlag-Daten" (Handelsdaten): Das war katastrophal! Die KI wurde verwirrt. Wenn man ihr Tausende von Zahlenreihen (Preise, Volumen) vor die Nase setzte, vergaß sie, wie man rechnet. Sie fing an, die Zahlen einfach nur abzulesen, anstatt sie zu verstehen. Es war, als würde man einem Mathematik-Studenten einen Stapel Zettel mit Zahlen geben und sagen: "Löse die Gleichung!" – Der Student starrt nur auf die Zahlen und vergisst die Formel.
2. Der "Ablenkungs-Effekt":
Die Studie zeigte, dass zu viel Information die KI sogar schlechter macht. Wenn die KI zu viele Rohdaten (wie rohe Preislisten) sieht, verliert sie den analytischen Verstand. Sie schreibt dann zwar flüssige Sätze, aber die eigentliche Schlussfolgerung (z. B. "Die Aktie ist überbewertet") fehlt oder ist falsch.
3. Wer gewinnt?
Einige KI-Modelle, die speziell darauf trainiert wurden, Schritt-für-Schritt zu denken (wie DeepSeek-R1), kamen besser zurecht. Sie konnten die zwei Welten (Bücher und Puls) besser verbinden. Andere, sehr große Modelle, die nur darauf trainiert waren, Texte zu vervollständigen, scheiterten an der Mischung.
Die Lektion für die Zukunft
Die Botschaft des Papers ist einfach:
Künstliche Intelligenzen sind heute großartige Buchhalter, aber noch keine guten Börsen-Analysten. Sie können Fakten aus Texten holen, aber sie haben große Schwierigkeiten, mit Zahlenreihen zu "rechnen" und zu verstehen, wie sich Menschenmengen (die Börse) verhalten.
FinTradeBench ist also wie ein Spiegel, der den KI-Entwicklern zeigt: "Hey, ihr müsst euren Modellen nicht nur mehr Bücher geben, sondern ihnen beibringen, wie man Zahlen denkt und nicht nur liest."
Zusammenfassend in einem Bild:
Bisher haben wir den KI-Modellen einen Kompass (die Bücher) gegeben. Jetzt haben wir ihnen auch einen Windmesser (die Börse) gegeben. Die KI weiß immer noch nicht, was sie tun soll, wenn der Kompass nach Norden zeigt, aber der Wind sie nach Süden drückt. FinTradeBench hilft uns zu lernen, wie wir ihr beibringen, beides zu kombinieren, um sicher ans Ziel zu kommen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.