Technisches Resümee: OpenPM – Auditierbare Punkt-in-Zeit-Evaluierung für LLM-Portfolio-Management-Agenten

1. Problemstellung

Das Paper adressiert drei kritische Mängel in der aktuellen Evaluierung von Large Language Model (LLM) Trading-Agenten, die häufig zu inflierten oder nicht einsetzbaren Ergebnissen führen:

1. Informationsleckage (Information Leakage): Agenten greifen häufig auf Daten zu, die zum Zeitpunkt der Entscheidung nicht verfügbar waren (z. B. zukünftige Beobachtungen, ereignisgestempelte statt verfügbarkeitsgestempelte Datensätze), was künstliche Fähigkeiten erzeugt.
2. Optimistische Ausführung (Optimistic Execution): Die berichteten Renditen ignorieren oft Handelskosten (Spread, Slippage, Turnover) und stellen somit obere Schranken statt realistischer, einsetzbarer Schätzungen dar.
3. **Nicht durchgesetzte Mandate (Unenforced Mandates): Mandate in natürlicher Sprache (z. B. „konservativ“, „maximal 20 Namen“) werden oft als weiche Präferenzen für das Post-hoc-Scoring behandelt, anstatt als harte Nebenbedingungen, die auf das ausgeführte Portfolio angewendet werden.

Bestehende Benchmarks versäumen es oft, diese Probleme gleichzeitig zu kontrollieren, insbesondere durch das Fehlen von Point-in-Time (PIT) Datensteuerung und strikter Mandatserfüllung.

2. Methodik: Das OpenPM-Framework

OpenPM ist ein auditierbares, Point-in-Time-Evaluierungsframework, das darauf ausgelegt ist, glaubwürdige Evaluierung als technisches Artefakt zu behandeln.

Kernprinzipien des Designs

• Point-in-Time-Datenumgebung: Das System erzwingt ein striktes „Verfügbarkeits-Gate“. Ein Datensatz gelangt erst zum Entscheidungszeitpunkt $T$ in den Zustand des Agenten, wenn seine ts_available $\le T$ ist. Dies unterscheidet zwischen der Ereigniszeit und der Verfügbarkeitszeit (z. B. ist ein Quartalsbericht erst nach der EDGAR-Akzeptanz verfügbar). Die Umgebung deckt ein S&P 500-Universum mit 5-Minuten-Marktzustandsbeobachtungen ab.
• Mandatsdurchsetzung: Mandate in natürlicher Sprache werden in typisierte Nebenbedingungen umgewandelt (z. B. maximales Gewicht pro Name, maximale Anzahl an Namen). Entscheidend ist, dass diese durch einen deterministischen In-Loop-Kritiker erzwungen werden, der die vorgeschlagenen Gewichte des Agenten auf die zulässige Menge projiziert, bevor die Ausführung erfolgt, anstatt den Agenten lediglich post-hoc zu bewerten.
• Kostenbewusste Ausführung: Die Renditen werden unter Verwendung von seitenbewussten Halbs-Spreads berechnet (Kauf zum Ask, Verkauf zum Bid), ohne Marktimpact-Modellierung, was eine konservative, aber realistische Kostenbasis bietet.

Der Tiered Allocator (Referenz-Agent)

Das Paper führt eine Referenz-Agenten-Architektur ein, um spezifische Komponenten der Trading-Pipeline zu isolieren:

1. Mandat-Kompilierung: Wandelt natürliche Sprache in typisierte Nebenbedingungen um.
2. Liquiditäts-Gate: Filtert das Universum auf handelbare Namen (z. B. die Top 50 nach Liquidität).
3. Analysten-Tier: Sechs parallele LLM-Analysten bewerten Kandidaten unabhängig über typisierte Kanäle (technisch, Regime, Ereignisse, News, 8-K-Items, 10-K/10-Q-Narrative).
4. Constructor (Konstrukteur): Ein separater LLM schlägt Portfolio-Gewichte basierend auf den aggregierten Analysten-Scores und Spreads vor, jedoch ohne Zugriff auf Rohpreise oder den zusammengesetzten Score.
5. Deterministischer Kritiker: Projiziert den Vorschlag des Konstrukteurs auf die zulässige Menge (erzwingt Long-Only, Namens-Caps, Liquiditätsgrenzen).
6. Fill-Simulator: Führt Trades zu den angebotenen Seiten aus.

Experimentelles Setup

• Datensatz: Ein eingefrorener, nach Content-Hash gesicherter Snapshot des S&P 500 (508 Namen), der zwischen dem 19. Feb. 2026 und dem 1. Mai 2026 aktiv war. Das Evaluierungsfenster ist der Zeitraum vom 2. März 2026 bis zum 1. Mai 2026 (44 Handelstage).
• Isolationsstrategie: Um die Fähigkeit des „Constructors“ zu isolieren, lassen die Autoren den Analysten-Tier einmalig laufen, um eine „eingefrorene Aufnahme“ der Evidenz zu erstellen. Dieselbe Evidenz wird dann über verschiedene Konstrukteur-Modelle (gpt-5, Opus-4.7, DeepSeek-V3.2, Qwen3-Max, gpt-4o-mini) wiederholt abgespielt, um zu bestimmen, ob der Konstrukteur unabhängig von der Signalqualität einen Mehrwert bietet.
• Modi: Die Experimente laufen im Modus „Once-then-hold“ (einmaliges Rebalancing) und im täglichen Rebalancing-Modus.

3. Kernergebnisse

Das Paper berichtet strukturelle Erkenntnisse statt absoluter Alpha-Claims und betont, dass die Ergebnisse obere Schranken für ein einzelnes eingefrorenes Fenster darstellen.

Konstrukteur-Fähigkeit (Constructor Capability)

• Bedingte Gewinne: Stärkere Konstrukteure (z. B. gpt-5, Opus-4.7) zeigen moderate, modellabhängige Gewinne gegenüber einer Gleichgewichtung (Equal-Weighting, EW) desselben Kandidatenpools, aber nur, wenn der übergeordnete Analysten-Signal stark ist.
• Dominanz der Analysten: Die Qualität des Analysten-Tiers ist der primäre Treiber der Performance. Wenn die Analysten-Aufnahme schwach war (DeepSeek-V3.2), konnte kein Konstrukteur die EW-Baseline desselben Pools schlagen. Wenn die Aufnahme stark war (gpt-5), konnten die meisten Konstrukteure EW schlagen.
• Überlappung: Starke Konstrukteure regewichten weitgehend das EW-Roster (75–78 % Überlappung), anstatt es vollständig zu ersetzen. Schwächere Konstrukteure weichen signifikant ab und performen schlechter.

Kosten und Turnover

• Turnover ist der Kostentreiber: Beim täglichen Rebalancing wird der Turnover zum dominierenden Kostenfaktor. Modelle mit hohem Turnover (z. B. Qwen3-Max, gpt-4o-mini) sahen ihre Nettorenditen aufgrund der Kostenbelastung unter den SPY-Benchmark fallen, obwohl sie ähnliche Bruttorenditen wie Modelle mit geringerem Turnover aufwiesen.
• Disziplin zählt: Das gewinnbringende Muster besteht darin, gut zu selektieren und nur selten zu handeln. Ein niedriger Turnover allein reicht nicht aus (gpt-5 hatte den niedrigsten Turnover, unterperformte aber den SPY aufgrund schlechter Selektion in diesem spezifischen Regime).

Compliance und Auditierung

• Mandatstreue: Alle Konstrukteure hielten sich an die expliziten numerischen Caps (z. B. 10 % maximales Gewicht) in ihren Rohvorschlägen.
• Notwendigkeit des Kritikers: Der deterministische Kritiker war essenziell für die Durchsetzung von Liquiditätsbeschränkungen (Hard Clips), die strenger waren als das Mandat und für das Modell unsichtbar waren.
• Kontamination: Alle Durchläufe bestanden das Kontaminations-Zertifikat, was bestätigte, dass keine Look-Ahead-Leakage vorlag.

4. Bedeutung und Ansprüche

Das Paper positioniert OpenPM nicht als validierten Alpha-Generator, sondern als diagnostisches Werkzeug für die LLM-Trading-Community.

• Technisches Artefakt: Es definiert die Evaluierung als ein Engineering-Problem, das strikte Datenverträge, Verfügbarkeits-Gating und deterministische Durchsetzungsschichten erfordert.
• Ehrlichkeit in Ansprüchen: Die Autoren erklären explizit, dass alle Renditen „obere Schranken eines einzelnen eingefrorenen Fensters ohne Marktimpact, kein validiertes Alpha“ sind. Das Ziel ist es, die Ansprüche durch die Bindung jeder berichteten Zahl an die spezifischen Bedingungen (Daten-Fingerabdruck, Kostenmodell, Mandat) ehrlich zu halten.
• Diagnostische Erkenntnisse: Das Framework zeigt, dass die „Konstruktionsfähigkeit“ oft ein Proxy für die „Qualität des Analysten-Signals“ ist. Das Paper argumentt, dass Rechenleistung primär für den Analysten-Tier priorisiert werden sollte, während danach der günstigste fähige Konstrukteur verwendet werden kann.
• Auditierbarkeit: Durch die Erstellung von Artefakten wie Kontaminationszertifikaten, Kosten-Sensitivitätskurven und Bericht zur Einhaltung von Nebenbedingungen für jeden Durchlauf ermöglicht OpenPM Forschern zu verifizieren, dass Ergebnisse keine Artefakte von Datenleckagen oder optimistischen Ausführungsannahmen sind.

Zusammenfassend zeigt OpenPM, dass LLMs zwar Portfolios konstruieren können, die unter bestimmten Bedingungen einfache Baselines übertreffen, dass ihre Performance jedoch stark von der Qualität des übergeordneten Signals abhängt und leicht durch Turnover-Kosten erodiert wird. Das Framework bietet die notwendige Strenge, um echte Fähigkeiten von Evaluierungs-Artefakten zu unterscheiden.