When Valid Signals Fail: Regime Boundaries Between LLM Features and RL Trading Policies

1. Problemstellung

Die Arbeit adressiert die Lücke zwischen der Qualität von extrahierten Features durch Large Language Models (LLMs) und deren tatsächlicher Leistungsfähigkeit in Reinforcement-Learning (RL)-Handelsagenten.

• Objektivitäts-Mismatch: Herkömmliche Pipelines optimieren LLMs oft auf NLP-Metriken (z. B. Klassifizierungsgenauigkeit, Sentiment-Polarität), die nicht notwendigerweise mit der finanziellen Utility (z. B. zukünftige Renditen) korrelieren.
• Verteilungsverschiebung (Distribution Shift): Es ist unklar, ob Features, die in einem Marktregime valid sind, auch unter makroökonomischen Schocks oder Regimewechseln robust bleiben.
• Hypothese: Die Autoren untersuchen, ob ein eingefrorenes (frozen) LLM als zustandsloser Feature-Extractor kontinuierliche numerische Vektoren generieren kann, die einen PPO-Agenten (Proximal Policy Optimization) verbessern, und ob diese Verbesserung über verschiedene Marktregime hinweg stabil ist.

2. Methodik

Architektur und Datenpipeline

• Modulare Trennung: Das System trennt strikt den Feature-Extractor vom Handelsagenten.
  • Input: Unstrukturierte tägliche Nachrichten, SEC-Einreichungen (Form 4, 8-K) und Makrodaten.
  • LLM-Extraktor: Ein eingefrorenes Modell (Qwen3-235B) wandelt Textbündel pro Ticker in einen festen 9-dimensionalen Vektor um.
  • RL-Agent: Ein PPO-Agent (basierend auf FinRL) verarbeitet diesen Vektor zusammen mit OHLCV-Daten, technischen Indikatoren und Makrovariablen, um Handelsentscheidungen (Long/Short/Neutral) zu treffen.
• Datenkonsistenz: Eine Go-basierte Pipeline stellt sicher, dass keine Look-Ahead-Bias vorliegt; das LLM liest nur Daten bis zum Schluss des Tages $d$.

Prompt-Optimierung als Hyperparameter

Statt manuelles Prompt-Engineering wird ein automatisierter Optimierungsloop implementiert:

• Zielmetrik: Der Prompt wird nicht auf NLP-Verluste, sondern direkt auf den Information Coefficient (IC) optimiert – die Spearman-Rangkorrelation zwischen den vom LLM vorhergesagten Features und den realisierten Renditen.
• Meta-Optimierung: Ein Meta-Optimizer (Anthropic Claude) schlägt diskrete Mutationen des Prompts vor (z. B. Few-Shot-Beispiele, Umdefinition von Impact als „Marktsurprise").
• Validierungsgates: Bevor Features in das RL-Training einfließen, müssen sie vier Kriterien erfüllen (Signal-Coverage, IC-IR, Quintil-Spread, Hit-Rate).

Experimentelles Design

• Trainingsdaten: 2023–2024.
• Validierungsphase (H1 2025): Ein volatiler Zeitraum mit makroökonomischen Schocks (z. B. Zölle/Tariffs).
• Testphase (H2 2025): Ein ruhigerer Zeitraum.
• Ablationsstudie: Vier Konfigurationen werden verglichen:
  1. Baseline (nur Preisdaten + technische Indikatoren).
  2. Nur LLM-Features.
  3. Nur Makro-Features.
  4. Kombination (LLM + Makro).

3. Wichtige Beiträge

1. Prompt-as-Hyperparameter-Optimierung:
   Die Autoren führen einen Loop ein, der den Prompt als diskreten Hyperparameter behandelt und direkt gegen finanzielle Metriken (IC) optimiert. Dies führte zu einer signifikanten Verbesserung des IC von $-0,024$ (Baseline) auf $+0,104$ (optimierter Prompt mit Few-Shot-Beispielen).

2. Identifikation der „Feature-to-Policy-Gap":
   Die Studie zeigt, dass valide intermediate Repräsentationen (hoher IC) nicht automatisch zu einer besseren RL-Policy führen. Es besteht eine Lücke zwischen Feature-Qualität und Policy-Robustheit, die stark vom Marktregime abhängt.

3. Regime-Abhängigkeit der Signalwirkung:
   Durch eine kontrollierte Ablation über zwei verschiedene Zeiträume (H1 vs. H2 2025) wird demonstriert, dass LLM-Features in ruhigen Märkten nützlich sind, aber in volatilen Schock-Phasen Rauschen hinzufügen und die Performance verschlechtern.

4. Ergebnisse

Feature-Validität

• Der optimierte Prompt generiert Features mit echter Vorhersagekraft. Insbesondere conflicting_signals (IC = 0,233) und impact (IC = 0,177) zeigen signifikante Korrelationen mit zukünftigen Renditen.
• Die Signalstärke ist zeitverzögert: Der IC für Sentiment-Features erreicht seinen Höhepunkt bei einem Horizont von 3–10 Tagen und verblasst danach, was auf die Latenz von Nachrichten im Vergleich zu Hochfrequenzhändlern hindeutet.

RL-Leistung und Regime-Effekte

• Volatiler Markt (H1 2025 - Schock-Regime):
  • Keine Konfiguration schlug die reine Preis-Baseline signifikant.
  • Der LLM-only-Agent performte am schlechtesten (Sharpe-Ratio: -0,411), da er in einem systemischen Schock auf idiosynkratische Nachrichten reagierte und das dominante Risiko ignorierte.
  • Die Kombination LLM + Makro performte besser als LLM-only, blieb aber unter der Baseline. Makro-Features wirkten hier als „Regime-Bremse" (Reduktion der Exposure), konnten aber den negativen Einfluss des LLM-Rauschens nicht vollständig kompensieren.
• Ruhiger Markt (H2 2025):
  • Alle erweiterten Konfigurationen übertrafen die Baseline.
  • LLM-only erholte sich auf einen Sharpe von 1,001.
  • Makro-only blieb jedoch die robusteste Konfiguration (Sharpe 1,099).
  • Die Kombination (LLM + Makro) lag bei 1,038, war aber statistisch nicht signifikant besser als die Baseline (p = 0,49).

Feature-Importanz

• Trotz eines cross-sektoralen IC von 0 (da Makrodaten für alle Ticker gleich sind) entfallen ca. 58 % der Entscheidungsimportance des RL-Agenten auf Makro-Features (VIX, Treasury-Renditen, Credit Spreads). Dies unterstreicht, dass Makrodaten primär das Timing (Wann handeln?) und nicht die Auswahl (Welches Asset?) steuern.

5. Bedeutung und Fazit

Die Arbeit liefert einen wichtigen Beitrag zum Verständnis von KI im quantitativen Handel:

• Validität ist nicht gleich Robustheit: Ein Feature, das in einem statischen Testset valide ist (hoher IC), kann in einem dynamischen, veränderten Marktregime (Distribution Shift) schädlich sein.
• Rolle von Makrodaten: Makroökonomische Variablen sind entscheidend für die Stabilität von RL-Policies, da sie dem Agenten helfen, Marktphasen zu erkennen und das Risiko zu steuern, auch wenn sie keine spezifischen Aktienauswahlsignale liefern.
• Empfehlung für die Praxis: Die Evaluation von LLM-Features sollte nicht nur auf Zwischenmetriken (wie IC oder Sentiment-Accuracy) basieren. Stattdessen ist ein Multi-Regime-Out-of-Sample-Testing mit expliziten Stress-Perioden (Distribution Shifts) notwendig, um die tatsächliche Nützlichkeit für die Handelsstrategie zu validieren.

Zusammenfassend zeigt das Paper, dass die Integration von LLMs in RL-Handelssysteme komplex ist und dass die reine Verbesserung der Feature-Extraktion ohne Berücksichtigung der Marktregime-Stabilität nicht zu überlegenen Handelsstrategien führt.