💰 quantitative finance

PortBench: A Correlation-Aware, Full-Pipeline Benchmark for LLM-Driven Portfolio Management

Die Arbeit stellt PortBench vor, einen umfassenden Benchmark mit einem statischen QA-Datensatz und einer dynamischen fünfstufigen Allokationspipeline zur Bewertung von LLMs im Portfoliomanagement, der zeigt, dass trotz starker Leistungen bei statischen Finanzfragen die meisten Modelle keine besseren Ergebnisse als einfache gleichgewichtete Strategien erzielen und unter Stress katastrophale Drawdowns erleiden, weil sie Korrelationsstrukturen ignorieren und sich Fehler in der Schlussfolgerung kumulieren.

Ursprüngliche Autoren: Yuxuan Zhao, Sijia Chen, Ningxin Su

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuxuan Zhao, Sijia Chen, Ningxin Su

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen ein Team von überaus klugen Finanzberatern (KI-Modellen) ein, um Ihre Lebensersparnisse zu verwalten. Sie wollen, dass sie mehr tun, als nur Trivia-Fragen über Geld zu beantworten; Sie wollen, dass sie tatsächlich ein Portfolio aufbauen, das Ihr Vermögen wachsen lässt und Sie schützt, wenn der Markt einbricht.

Die Studie PORTBENCH ist ein neuer, extrem strenger „Führerschein-Test", der prüfen soll, ob diese KI-Berater tatsächlich fahrbereit sind oder ob sie nur gut darin sind, das Regelbuch auswendig zu lernen.

Hier ist die Aufschlüsselung der Erkenntnisse der Studie mit einfachen Analogien:

1. Das Problem: Die Lücke zwischen „Lehrbuch und Realität"

Frühere Tests für Finanz-KI waren wie die Aufforderung an einen Schüler, mathematische Probleme auf einem Blatt Papier zu lösen. Sie konnten bei den Formeln perfekte Noten erzielen. Aber in der realen Welt geht es beim Investieren nicht nur um Mathematik; es geht darum, wie sich verschiedene Vermögenswerte (Aktien, Anleihen, Krypto, Immobilien) gemeinsam bewegen.

Der Fehler: Alte Tests prüften nicht, ob die KI Korrelationen verstand. Stellen Sie sich einen Koch vor, der einen „diversifizierten" Salat zubereitet, indem er 50 verschiedene Arten von Kopfsalat in eine Schüssel gibt. Es sieht nach vielen Zutaten aus, aber es ist alles dasselbe. Wenn der Salat krank wird, ist der ganze Salat verdorben.
Die Realität: Echte Diversifikation ist wie ein Salat mit Salat, Tomaten, Käse und Nüssen. Wenn der Salat welkt, sind die Nüsse vielleicht noch knusprig. Die Studie ergab, dass bestehende Benchmarks nicht zwischen dem „nur-Salat"-Salat und dem echten unterscheiden konnten.

2. Die Lösung: PORTBENCH (Der vollständige Fahrtest)

Die Autoren entwickelten PORTBENCH, eine massive Simulation, die 10 Jahre Markthistorie und 6 verschiedene Arten von Vermögenswerten (Aktien, Anleihen, Krypto usw.) abdeckt.

Anstatt nur Fragen zu stellen, unterzogen sie die KI einer 5-Stufen-Entscheidungs-Pipeline, wie bei einer Staffel, bei der der Staffelstab Ihr Geld ist:

Marktinterpretation: Den Wetterbericht lesen (Ist es ein Bullenmarkt oder ein Sturm?).
Signalerzeugung: Entscheiden, ob gekauft oder verkauft wird, basierend auf dem Wetter.
Gewichtsoptimierung: Entscheiden, wie viel in jeden Korb gelegt wird.
Ausführung: Die Trades tatsächlich tätigen (und Transaktionsgebühren zahlen).
Risikomonitoring: Prüfen, ob das Wasser im Boot steht, und es reparieren, bevor es sinkt.

Sie führten zudem eine neue Metrik namens CEPS ein. Denken Sie daran als an einen „Kettenreaktions-Score". Wenn eine KI in Schritt 1 einen kleinen Fehler macht, führt dieser dann bis Schritt 5 zu einer Katastrophe? CEPS misst, wie stark sich Fehler aufsummieren.

3. Der Stresstest: Die „Hurrikan"-Simulation

Der Test läuft nicht nur bei ruhigem Wetter. Er zwingt die KI, drei historische „Hurrikane" zu navigieren:

Der China-Schock 2015.
Der COVID-Einbruch 2020.
Der Krypto-Crash 2022.

Sie gaben der KI zudem drei verschiedene „Personas" zu verwalten:

Der Konservative: „Ich kann keinen einzigen Cent verlieren."
Der Ausgewogene: „Ich möchte Wachstum, aber ich kann einige Stolpersteine verkraften."
Der Aggressive: „Ich möchte schnell reich werden, auch wenn ich alles verliere."

4. Die schockierenden Ergebnisse: Die KI bestand den Test nicht

Die Autoren testeten 10 der fortschrittlichsten KI-Modelle der Welt. Die Ergebnisse waren demütigend:

Die „90%ige Ausfallrate": Trotz extrem hoher Punktzahlen bei den „Lehrbuch"-Fragen (statische QA) versagten 90% der KI-Kombinationen darin, eine einfache Strategie zu schlagen, bei der man sein Geld einfach gleichmäßig auf alle Vermögenswerte verteilt (die „Equal Weight"-Strategie).
Der „Nur-Salat"-Salat: Die KI-Modelle waren schrecklich darin, Korrelationen zu verstehen. Anstatt ein ausgewogenes Portfolio aufzubauen, verteilten sie ihr Geld so dünn über alles, dass sie am Ende ein „nahezu einheitliches" Portfolio hatten. Sie wussten nicht, wie man sich auf die richtigen Dinge konzentriert, um Risiken abzusichern.
Der „Papier-Tiger"-Effekt: Wenn der Markt ruhig war, sah die KI großartig aus. Aber als der „Hurrikan" zuschlug (wie der Krypto-Crash 2022), litten die Modelle, die sicher aussahen, plötzlich massive Verluste. Sie befolgten alle Regeln, ließen das Schiff aber trotzdem sinken, weil sie die Natur des Risikos nicht verstanden.
Der Zusammenbruch der Ausführung: Selbst wenn die KI die richtige Strategie auf dem Papier ausgearbeitet hatte, scheiterte sie daran, sie umzusetzen. Es war wie ein Koch, der das perfekte Rezept kennt, aber vergisst, den Ofen einzuschalten. Sie handelten selten genug, um das Portfolio tatsächlich dorthin zu bewegen, wo es sein musste.

5. Das eine Ding, das KI kann

Die Studie kommt zu dem Schluss, dass diese KIs derzeit schrecklich darin sind, Renditen zu generieren (Geld zu verdienen), aber sie besitzen eine einzigartige Superkraft, die einfache mathematische Formeln nicht haben: Anpassungsfähigkeit.

Wenn Sie einer einfachen mathematischen Formel sagen: „Sie dürfen nur 40% in Aktien investieren", tut sie jedes Mal dasselbe. Aber diese KI-Modelle können tatsächlich auf Ihre spezifische Persönlichkeit hören („Ich habe Angst, Geld zu verlieren") und ihre Strategie leicht anpassen, um Ihren Ängsten zu entsprechen. Sie sind besser darin, auf den Kunden zu hören, als den Markt zu schlagen.

Das Fazit

Die Studie argumentiert, dass wir diesen KI-Modellen noch nicht unser Geld anvertrauen sollten. Sie sind wie brillante Schüler, die einen schriftlichen Fahrtest bestehen, aber das Auto sofort zum Krachen bringen würden, sobald sie auf eine echte Schlagloch treffen. Sie behandeln komplexe Marktdaten wie Rauschen, versagen darin zu verstehen, wie verschiedene Vermögenswerte sich gegenseitig schützen, und brechen unter Stress zusammen.

Die Erkenntnis: Lassen Sie eine KI Ihr Portfolio nicht nur deshalb steuern, weil sie bei einem Quiz eine „1" geschrieben hat. Sie weiß immer noch nicht, wie man bei Regen fährt.

Technische Zusammenfassung: PORTBENCH

Problemstellung

Während Large Language Models (LLMs) ihre Kompetenz in diversen Finanzaufgaben wie Wissensabruf und numerischem Schlussfolgern unter Beweis gestellt haben, bleibt das Portfolio-Management (PM) unzureichend evaluiert. Bestehende Finanz-Benchmarks leiden unter zwei kritischen Lücken:

Vernachlässigung der Cross-Asset-Korrelation: Die meisten Benchmarks beschränken ihre Abdeckung auf einzelne Anlageklassen oder bewerten Vermögenswerte isoliert. Dieses Design unterscheidet nicht zwischen genuinely diversifizierten Portfolios und hochkonzentrierten, ignoriert dabei die für das Risikomanagement essenziellen Korrelationsstrukturen (Markowitz, 1952; Qian et al., 2005).
Unvollständige Entscheidungs-Pipelines: Aktuelle Evaluierungen stützen sich auf statische, einstufige Vorhersagen oder partielle mehrstufige Assessments. Sie erfassen nicht den vollständigen sequenziellen Workflow des PM – von der Marktinterpretation über die Signalgenerierung, Gewichts-Optimierung, Ausführung und Risikoverfolgung – wobei Fehler in frühen Stufen zu katastrophalen Folgeschäden kaskadieren können. Darüber hinaus bewerten bestehende Benchmarks typischerweise unter normalen Marktbedingungen mit einem einzigen impliziten Risikoprofil, sodass die Resilienz von Strategien unter Stress und ihre Ausrichtung auf spezifische Anleger-Toleranzen ungetestet bleiben.

Methodik

Die Autoren stellen PORTBENCH vor, einen korrelationsbewussten, vollständigen Pipeline-Benchmark, der LLMs über sechs heterogene Anlageklassen (Aktien, Rohstoffe, Anleihen, Kryptowährungen, Immobilien und Geldmarktinstrumente) über einen Zeitraum von zehn Jahren (2015–2025) evaluiert. Das Framework besteht aus vier Kernmodulen:

1. Markt-Basisdatensatz

Der Datensatz umfasst 183 verschiedene Finanzinstrumente, einschließlich täglicher Preisverläufe, Renditereihen und zugehöriger Nachrichtentexte. Er enthält makroökonomische Indikatoren (Zinssätze, Inflation, Credit Spreads, Volatilitätsindizes) und ist so strukturiert, dass er die Diskrepanz zwischen niedrigen interklassischen Korrelationen und starken intraklassischen Korrelationen hervorhebt.

2. Dual-Schicht-Evaluierungs-Framework

PORTBENCH evaluiert LLMs durch zwei komplementäre Schichten:

Statische QA-Schicht: Ein Datensatz mit 6.269 korrelationsbasierten Fragen über sieben Aufgaben-Templates (T1–T7), die von der Vorhersage einzelner Vermögenswerte bis zu regimegesteuerten Rebalancings reichen. Fragen und Ground Truths werden automatisch aus historischen Daten unter Verwendung analytischer Formeln generiert.
Dynamische Fünf-Stufen-Pipeline: Ein Sandbox-Umfeld, das den vollständigen PM-Entscheidungszyklus zu jedem Rebalancing-Datum widerspiegelt:
- S1 (Marktinterpretation): Weist Sentiment-Scores zu und identifiziert Marktregime.
- S2 (Signalgenerierung): Mapped Sentiment auf gerichtete Handelssignale (Kaufen/Verkaufen/Halten).
- S3 (Gewichtsoptimierung): Schlägt Portfolio-Gewichte unter Einhaltung von Constraints vor.
- S4 (Ausführungssimulation): Ein deterministischer Durchlauf, der Transaktionskosten anwendet und die Umschlagsabweichung vom Oracle misst.
- S5 (Risikoverfolgung): Berechnet Value-at-Risk (VaR), Drawdown und Gewichtsdrift und löst ein Rebalancing aus, wenn Schwellenwerte verletzt werden.

3. Novel Metrics

Um die Einschränkungen bestehender Bewertungsmethoden zu adressieren, führt PORTBENCH ein:

Zwei-Schichten-Korrelations-Score (für S3): Zerlegt den Score der Gewichtsoptimierung in Genauigkeit (Nähe zum optimalen Sharpe-Ratio) und Korrelationsstruktur. Die Korrelationskomponente bestraft intraklassische Konzentration und belohnt interklassisches Hedging, wodurch Portfolios nach ihrer Diversifikationsqualität und nicht nur nach der Renditeoptimierung bewertet werden.
CEPS (Cross-stage Error Propagation Score): Eine Metrik, die quantifiziert, wie sich Schlussfolgerungsfehler über die Pipeline hinweg akkumulieren. Im Gegensatz zu einem einfachen Durchschnitt bestraft CEPS Modelle, bei denen die Leistung zwischen aufeinanderfolgenden Stufen signifikant einbricht (z. B. starke Signale, die zu einer schlechten Ausführung führen), und unterscheidet damit kaskadierende Ausfälle von gleichmäßig mittelmäßiger Leistung.

4. Stress- und Anlegerprofil-Evaluierung

Modelle werden unter drei historischen Stressregimen (China-Schock 2015, COVID-Crash 2020, Crypto-Collapse 2022) und drei Anlegerprofilen (Konservativ, Ausgewogen, Aggressiv) evaluiert. Die Leistung wird gemessen, ob Modelle eine „Stress-Tür" bestehen (Drawdowns innerhalb profilspezifischer Toleranzen halten) und wie gut sie Allokationen an verschiedene Risikobeschränkungen anpassen können (Profile Alignment Score).

Schlüsselergebnisse

Die Autoren evaluierten zehn Frontier-LLMs (einschließlich DeepSeek-V4, Qwen3, GLM-5 und Kimi-K2) gegen fünf klassische Baselines (Equal-Weight, 60/40, Risk Parity, Covariance Risk Parity, Minimum Variance).

Wissens-Kompetenz-Lücke: Trotz starker Leistung bei statischen QA-Aufgaben (insbesondere bei formelgetriebenen Aufgaben, bei denen Kovarianzmatrizen bereitgestellt werden), konnten 90 % der Modell-Profil-Kombinationen in Bezug auf risikoadjustierte Renditen eine einfache Equal-Weight-Baseline (1/N) nicht übertreffen.
Ausführungs-Kollaps: Ein identifizierter kritischer Ausfallmodus ist das „universelle Unterhandeln". Modelle generieren oft starke Signale (S2), scheitern jedoch daran, diese in eine sinnvolle Portfolio-Rebalancierung (S4) zu übersetzen. Dies wird darauf zurückgeführt, dass Modelle die Kovarianzmatrix als Rauschen behandeln oder sie nicht parsen können, was zu nahezu einheitlichen Gewichten führt, die einen minimalen Umschlag erfordern und damit die Ausführungsscores kollabieren lassen.
Stress-Fragilität: Hohe Leistung in normalen Märkten sagt keine Stress-Resilienz voraus. Sechs von zehn Modellen bestanden die Stress-Tür unter dem konservativen Profil während des Crypto-Collapses 2022 nicht, obwohl sie alle prozeduralen Constraints erfüllten. Diese Modelle erlitten katastrophale Drawdowns, da ihre Allokationen nicht effektiv gegen korrelierte Vermögenswert-Crashs hedgten.
Rang-Dissociation: Es besteht eine schwache negative Korrelation ( $\rho = -0.32$ ) zwischen der Genauigkeit statischer QA-Aufgaben und der Leistung der dynamischen Pipeline (CEPS). Modelle, die bei isoliertem Faktenabruf glänzen, scheitern oft daran, das Schlussfolgern über die kausale Kette des Portfolio-Managements aufrechtzuerhalten.
Wert der Anpassung: Der primäre Wert von LLMs liegt nicht in der Rohrendite-Generierung, sondern in der Constraint-Anpassung. Modelle, die ihre Allokationen erfolgreich an spezifische Anleger-Risikoprofile anpassten (z. B. Verschärfung der Aktienobergrenzen für konservative Anleger), zeigten eine Fähigkeit, die statische Baselines vermissen lassen, auch wenn ihre absoluten Renditen einfache Heuristiken nicht immer übertrafen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass PORTBENCH den ersten umfassenden, korrelationsbewussten Benchmark für LLM-gesteuertes Portfolio-Management bietet. Ihre Bedeutung liegt in:

Aufdecken der Grenzen aktueller LLMs: Sie zeigt, dass starkes statisches Finanzwissen nicht in robuste, reale Portfolio-Management-Fähigkeiten übersetzt wird, insbesondere hinsichtlich der Nutzung von Kovarianzstrukturen und der Ausführung von Rebalancings.
Neudefinition von Evaluierungsstandards: Durch die Einführung von CEPS und korrelationsbewusstem Scoring verlagert der Benchmark den Fokus von Endergebnissen auf die Qualität des Entscheidungsprozesses und die Propagation von Fehlern.
Hervorheben der „Compliance-Falle": Die Studie offenbart, dass Modelle alle prozeduralen Constraints (z. B. Asset-Obergrenzen) erfüllen können und dennoch die Ergebnissicherheit (z. B. übermäßige Drawdowns) unter Stress verletzen – ein Ausfallmodus, der in Standard-Benchmarks bisher nicht gemessen wurde.

Die Autoren schließen, dass der Wert von LLMs im Portfolio-Management derzeit in der Constraint-Anpassung und der Tail-Risk-Bewusstsein innerhalb eines einzigen Entscheidungsrahmens liegt, und nicht in der Generierung überlegener Renditen gegenüber naiven Diversifikationsstrategien. Sie warnen davor, von LLMs generierte Allokationen im Live-Trading ohne strenge menschliche Aufsicht einzusetzen, da selbst Frontier-Modelle unter Stressbedingungen fragiles Verhalten zeigen.