← Neueste Arbeiten
🤖 AI

Evaluating Investment Logic in Large Language Models: A Real-World Benchmark Towards Personalzied Financial Agents

Dieses Paper führt \textsc{InvestLogicBench} ein, einen groß angelegten Benchmark realer Investorendekisionen, die als Profil-Ereignis-Argumentations-Entscheidungs-Ergebnis-Spuren strukturiert sind, um zu demonstrieren, dass aktuelle Finanz-LLMs eine geschliffene, aber schlecht fundierte Argumentation aufweisen, die von traditionellen, rein ergebnisorientierten Evaluierungen übersehen wird, und damit für eine neue, prozessnative Datenschnittstelle für personalisierte konsequenzielle Agenten plädiert.

Ursprüngliche Autoren: Yuanhong Jiang, Jingjie Zou, Zhenghong Lin, Xusheng Yu, Qiqi Huang, Shuai Jia, Shijie Dai

Veröffentlicht 2026-08-07
📖 7 Min. Lesezeit🧠 Tiefgang

Ursprüngliche Autoren: Yuanhong Jiang, Jingjie Zou, Zhenghong Lin, Xusheng Yu, Qiqi Huang, Shuai Jia, Shijie Dai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreten eine riesige Bibliothek, die mit jedem jemals geschriebenen Buch über Geld, Aktien und die Wirtschaft gefüllt ist. Sie haben einen superintelligenten Roboterfreund, der jede einzelne Seite gelesen hat. Wenn Sie fragen: „Was ist Inflation?“ oder „Wer hat Apple gegründet?“, kann Ihr Roboter sofort und perfekt antworten. So werden die meisten Computerprogramme, die als „Large Language Models“ (LLMs) bezeichnet werden, heute getestet: Sie sind wie brillante Quizmeister, die Fakten rezitieren und Textaufgaben lösen können. Aber hier kommt die Wendung: Ein Quizmeister zu sein bedeutet nicht, dass man das Spiel des Lebens spielen kann. In der realen Welt geht es beim Investieren nicht darum, Fakten auswendig zu lernen; es geht darum, einem chaotischen, lauten Publikum aus Nachrichten zuzuhören, herauszufinden, was tatsächlich wichtig ist, eine Entscheidung basierend auf der eigenen Persönlichkeit und Risikotoleranz zu treffen und dann zu beobachten, ob man recht hatte. Es ist der Unterschied zwischen dem Wissen über die Regeln des Fußballs und dem tatsächlichen Erzielen eines Tores, während die andere Mannschaft versucht, einen zu tackeln.

Dies ist genau das Problem, das eine neue Forschungsarbeit angeht. Die Autoren stellten fest, dass diese KI-Roboter zwar fantastisch darin sind, Fragen in einem Test zu beantworten, aber oft kläglich scheitern, wenn sie gebeten werden, echte Investitionsentscheidungen in einem Live-Markt zu treffen. Sie entwickelten eine neue Art, KI zu testen – nicht indem sie fragten: „Was weißt du?“, sondern indem sie fragten: „Wie denkst du?“. Sie bauten einen speziellen Spielplatz, auf dem sie beobachten konnten, wie eine KI die Verbindung zwischen einem Nachrichtenereignis, ihrem eigenen Denken, einer spezifischen Handlung und dem Endergebnis herstellt. Ihre große Entdeckung? Die klügsten KI-Roboter, diejenigen, die bei allgemeinen Tests die höchsten Punktzahlen erreichen, sind tatsächlich ziemlich schlecht in dieser speziellen Art des Denkens. Sie lassen sich vom Rauschen verwirren, kopieren das, was alle anderen denken, und verlieren oft Geld, während einige „weniger intelligente“ Modelle tatsächlich besser abschneiden. Die Arbeit legt nahe, dass wir, um einen wirklich nützlichen Finanzroboter zu bauen, aufhören müssen, sein Gedächtnis zu testen, und stattdessen seine Fähigkeit testen müssen, einen kohärenten Plan in einer chaotischen, unsicheren Welt zu erstellen.

Das große „Smart aber ahnungslos“-Paradoxon

Die Forscher richteten ein hochkarätiges Spiel namens „Live-Trading-Arena“ ein. Stellen Sie sich ein Videospiel vor, in dem verschiedenen KI-Bots 10.000 US-Dollar an virtuellem Geld gegeben werden und die Aufgabe gestellt wird, sieben Wochen lang Aktien am echten US-Markt zu handeln. Sie müssen jede Stunde ihre eigenen Entscheidungen treffen und auf aktuelle Nachrichten reagieren, genau wie ein menschlicher Trader. Das Ziel war es zu sehen, ob die „allgemeine Intelligenz“ der KI (wie gut sie in Standardtests abschneidet) mit ihrer „Handelsintelligenz“ (wie viel Geld sie verdient hat) übereinstimmt.

Die Ergebnisse waren etwas schockierend. Die Arbeit nennt dies das „Capabilities-Performance Paradox“ (Fähigkeiten-Leistungs-Paradoxon). Es ist wie ein Schüler, der in jeder Geschichtsprüfung eine Eins schreibt, aber kläglich daran scheitert, einen Limonadenstand zu führen, weil er mit einem plötzlichen Regenschauer nicht umgehen kann. Die KI-Modelle mit den höchsten allgemeinen Punktzahlen, wie GPT-5 und Claude-Sonnet-4.5, schnitten tatsächlich recht schlecht ab. Eines von ihnen, GPT-5, endete mit weniger Geld als es begonnen hatte und verlor etwa 1,0 %. Ein anderes, Claude-Sonnet-4.5, machte kaum Gewinn. Beide schnitten schlechter ab als die Strategie des „Nichtstun“, also einfach einen einfachen Indexfonds (den S&P 500) zu kaufen.

In einer ironischen Wendung schnitten die Modelle, die in den allgemeinen Tests niedrigere Punktzahlen hatten, am Markt viel besser ab. DeepSeek-V3 zum Beispiel verwandelte seine 10.000 US-Dollar in über 11.400 US-Dollar, schlug damit den Markt und die „klügeren“ Modelle. Dies deutet darauf hin, dass es nicht automatisch einen klugen Kopf macht, wenn man Fragen beantwortet, wenn die Zukunft ungewiss ist.

Warum scheitern die „smarten“ Bots?

Die Autoren gruben tief, um herauszufinden, warum die hoch bewerteten Modelle Geld verloren. Sie fanden zwei Hauptgründe, die sie als „Consensus Bias“ (Konsens-Bias) und „Reasoning Fragmentation“ (Fragmentierung des Denkens) bezeichnen.

Denken Sie beim Consensus Bias an ein Schaf, das der Herde folgt. Wenn ein großes Ereignis eintritt, neigen die „smarten“ Modelle dazu, einfach das zu wiederholen, was schon alle anderen denken, weil sie das in ihren Trainingsdaten am häufigsten gesehen haben. Sie haben nicht den Mut, einen anderen Blickwinkel oder eine verborgene Chance zu suchen. Sie sagen einfach: „Oh, der Markt geht nach unten, also sollte ich verkaufen“, selbst wenn ein menschlicher Experte eine Chance sehen könnte, günstig einzukaufen.

Reasoning Fragmentation ist wie der Versuch, ein Puzzle zu lösen, während jemand Konfetti in Ihr Gesicht wirft. Wenn der Markt durch viele widersprüchliche Nachrichten laut und unruhig wird, sind diese Modelle überfordert. Sie können die Verbindung zwischen einer Nachricht über ein Regierungstreffen und einem spezifischen Aktienkurs nicht herstellen. Anstatt eine klare Geschichte aufzubauen, werden sie verwirrt, ziehen voreilige Schlüsse oder treffen Entscheidungen, die sich selbst widersprechen. Sie sehen vielleicht eine Schlagzeile über ein Technologieunternehmen und kaufen es sofort, obwohl sie ignorieren, dass das Unternehmen gerade einen schlechten Quartalsbericht veröffentlicht hat.

Der neue Test: INVESTLOGICBENCH2026

Um dies zu beheben, baute das Team einen neuen Testplatz namens INVESTLOGICBENCH2026. Anstatt die KI nur eine Frage beantworten zu lassen, betrachtet dieser Benchmark die gesamte Kette, wie eine Investition getätigt wird. Sie nennen es die P→E→R→D→O-Kette:

  • P (Person): Wer ist der Investor? Was sind seine Ziele und Ängste?
  • E (Event/Ereignis): Was ist in der Welt passiert? (z. B. „Die Fed hat die Zinsen erhöht.“)
  • R (Reasoning/Begründung): Wie verbindet der Investor das Ereignis mit seinen Zielen? (z. B. „Höhere Zinsen bedeuten, dass das Leihen teurer wird, also könnten Tech-Aktien fallen.“)
  • D (Decision/Entscheidung): Welche Handlung vollzieht er? (z. B. „Ich verkaufe meine Tech-Aktien.“)
  • O (Outcome/Ergebnis): Hat es funktioniert? (z. B. „Ja, die Aktien fielen und ich habe Geld gespart.“)

Sie sammelten über 200.000 echte Investitionsentscheidungen von 151 echten Experten, wie berühmten Fondsmanagern und Finanz-Influencern. Sie brachten exakt auf, wie diese Menschen dachten – von den Nachrichten, die sie lasen, bis hin zu den Trades, die sie machten. Dann baten sie die KI-Modelle, dasselbe zu tun: die Nachrichten zu betrachten, wie ein bestimmter Typ von Investor zu denken, eine Entscheidung zu treffen und zu prüfen, ob die Logik Bestand hat.

Die Ergebnisse: Eine Logiklücke

Als sie die KI-Modelle gegen diesen neuen Standard testeten, waren die Ergebnisse eindeutig. Die Modelle schnitten bei der „Reasoning Quality“ (Qualität der Argumentation) sehr schlecht ab. Auf einer Skala von 1 bis 5 erreichte das am besten abschneidende Modell (DeepSeek-V3) einen Wert von 2,8, während das schlechteste (GPT-5) nur 1,8 erreichte. Sie hatten Schwierigkeiten, zwischen wichtigen Nachrichten und zufälligem Rauschen zu unterscheiden. Sie trafen oft Entscheidungen, die nicht zu ihrer eigenen Begründung oder dem Profil des Investors passten.

In einem Testfall beispielsweise betrachtete ein menschlicher Experte eine Mischung aus Nachrichten über einen Regierungsstillstand, Arbeitsmarktberichte und Zinssätze und entschied sich korrekt für den Kauf von „sicheren“ Werten. Die KI-Modelle hingegen wurden verwirrt. Einige konzentrierten sich nur auf die beängstigenden Schlagzeilen, andere ignorierten die wichtigsten Teile, und einige trafen widersprüchliche Argumente. Ein Modell kaufte sogar Aktien, die überhaupt nichts mit den gelesenen Nachrichten zu tun hatten.

Die Arbeit kommt zu dem Schluss, dass KI zwar manchmal profitable Trades generieren kann (vielleicht durch Glück oder durch das Nachahmen von Mustern), aber es ihr an der tiefen, konsistenten Logik mangelt, die menschliche Experten nutzen, um durch Unsicherheit zu navigieren. Die „smarten“ Modelle scheitern nicht daran, dass sie die Fakten nicht kennen, sondern weil sie keine kohärente Geschichte aus dem Chaos der realen Welt aufbauen können.

Was dies für die Zukunft bedeutet

Diese Arbeit sagt nicht, dass KI niemals gut im Investieren sein wird. Stattdessen sagt sie, dass wir die Art und Weise ändern müssen, wie wir sie testen und trainieren. Wir können nicht einfach weiter immer schwierigere Quizfragen stellen. Wir müssen sie lehren, wie ein Stratege zu denken, wie sie das Rauschen herauszufiltern und wie sie einem Plan folgen können, auch wenn es einmal beängstigend wird. Durch die Nutzung dieses neuen Benchmarks hoffen Forscher, KI-Agenten zu bauen, die nicht nur wissend, sondern wahrhaft weise sind – fähig, personalisierte, logische Entscheidungen zu treffen, die in der chaotischen, unvorhersehbaren realen Welt tatsächlich funktionieren. Die Reise zu einer zuverlässigen Finanz-KI hat gerade erst begonnen, und diese neue Landkarte ist der erste Schritt in die richtige Richtung.

Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?

Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.

Digest testen →