🤖 AI

Moira: Language-driven Hierarchical Reinforcement Learning for Pair Trading

Der Artikel stellt „Moira" vor, ein sprachgesteuertes hierarchisches Reinforcement-Learning-Framework, das große Sprachmodelle sowohl für die Auswahl auf hoher Ebene als auch für die Ausführung auf niedriger Ebene nutzt und diese ausschließlich durch Prompt-Updates basierend auf textuellem Feedback optimiert, um Herausforderungen bei der Kreditvergabe im Paarhandel zu adressieren.

Ursprüngliche Autoren: Polydoros Giannouris, Yuechen Jiang, Lingfei Qian, Yuyan Wang, Xueqing Peng, Jimin Huang, Guojun Xiong, Sophia Ananiadou

Veröffentlicht 2026-05-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Polydoros Giannouris, Yuechen Jiang, Lingfei Qian, Yuyan Wang, Xueqing Peng, Jimin Huang, Guojun Xiong, Sophia Ananiadou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie führen eine hochmoderne Handelsfirma, aber anstatt ein Team von Menschen einzustellen, arbeiten zwei spezialisierte KI-Assistenten zusammen. Diese Arbeit stellt ein System namens Moira vor, das diese beiden KI-Assistenten nutzt, um durch den Handel mit Aktienpaaren (gleichzeitiger Kauf einer Aktie und Verkauf einer anderen) Geld zu verdienen.

So funktioniert Moira, erklärt durch einfache Analogien:

1. Das Problem: Das „Schuldspiel"

In traditionellen Handelssystemen ist es oft ein Rätsel, wenn Sie Geld verlieren. Haben Sie die falschen Aktien zum Handel ausgewählt? Oder haben Sie einfach zur falschen Zeit gekauft und verkauft? Es ist wie ein Koch, der eine schlechte Mahlzeit serviert und nicht weiß, ob das Problem das Rezept (der übergeordnete Plan) oder das Kochen (die niedrigere Ausführung) war. Da das Feedback (Gewinn oder Verlust) erst Tage oder Wochen später eintrifft, ist es schwer zu wissen, wen man zur Verantwortung ziehen oder wie man es beheben soll.

2. Die Lösung: Ein Zwei-Manager-Team

Moira löst dieses Problem, indem es die Aufgabe in zwei unterschiedliche Rollen aufteilt, genau wie ein Unternehmen einen Strategen und einen Taktiker hat.

Der Strateg (der „Auswähler"): Dies ist der übergeordnete Chef. Seine einzige Aufgabe ist es, das große Ganze zu betrachten – wirtschaftliche Nachrichten, langfristige Trends und die Marktstimmung – und ein Aktienpaar für den nächsten Monat zum Handel auszuwählen. Sobald er ein Paar ausgewählt hat, zieht er sich zurück. Er drückt keine Knöpfe.
Der Taktiker (der „Händler"): Dies ist der praktische Arbeiter. Sobald der Strateg ein Paar ausgewählt hat (z. B. Amazon und Meta), übernimmt der Taktiker. Seine Aufgabe ist es, die Preisbewegungen minute für minute zu beobachten und genau zu entscheiden, wann gekauft oder verkauft werden muss, um Gewinn zu erzielen.

3. Das Geheimnis: „Sprechen" zur Verbesserung

Normalerweise lernt eine KI durch das Anpassen komplexer mathematischer Gleichungen (Gradienten). Moira macht etwas anderes: Es lernt durch Sprechen mit sich selbst.

Wie es funktioniert: Sowohl der Strateg als auch der Taktiker werden von großen Sprachmodellen (wie der KI hinter dieser Erklärung) angetrieben. Anstatt ihre interne Mathematik zu ändern, verändert das System die Anweisungen (Prompts), die ihnen gegeben werden.
Die Feedback-Schleife:
- Für den Taktiker: Nach einer Woche Handel betrachtet eine „Kritiker"-KI die getätigten Geschäfte. Sie schreibt eine Notiz in einfachem Englisch: „Sie haben zu früh gekauft, als die Nachrichten schlecht waren. Warten Sie beim nächsten Mal, bis sich die Nachrichten beruhigt haben." Das System schreibt dann das Handbuch des Taktikers um, um diesen Rat einzubeziehen.
- Für den Strateg: Am Ende des Monats betrachtet der Kritiker den Gesamtgewinn. Er schreibt eine Notiz: „Sie haben ein Paar ausgewählt, das zu volatil war. Suchen Sie beim nächsten Mal nach Paaren mit stabileren Nachrichten." Das System schreibt das Handbuch des Strategen um.

4. Warum dies besser ist

Die Arbeit testete dies gegen andere Methoden (wie alte mathematische Formeln und andere KI-Modelle) unter Verwendung echter Daten des US-Aktienmarkts.

Das Ergebnis: Moira erzielte deutlich mehr Gewinn und ging weniger Risiko ein als die anderen.
Die Analogie: Stellen Sie sich eine flache KI vor, die versucht, alles auf einmal zu tun (Aktien auswählen und den Handel timen). Sie wird verwirrt, wie eine Person, die versucht, einen Roman zu schreiben und gleichzeitig das Abendessen zu kochen. Moira trennt die Aufgaben. Der Strateg konzentriert sich auf die „Geschichte" (welche Aktien), und der Taktiker konzentriert sich auf die „Aktion" (wann gehandelt wird).
Der „Abstimmungs"-Effekt: Die Arbeit ergab, dass eine KI, der man nur eine grundlegende Anweisung gibt, ohne sie durch diese Textaktualisierungen aus ihren Fehlern „lernen" zu lassen, schlecht abschneidet. Sobald die KI jedoch beginnt, ihr eigenes Handbuch basierend auf Feedback umzuschreiben, wird sie zu einem disziplinierten, profitablen Händler.

Zusammenfassung

Moira ist ein Handelssystem, das Sprache nutzt, um einer KI beizubringen, wie man handelt. Es trennt die Aufgabe des Auswählens dessen, was gehandelt werden soll, von der Aufgabe der Ausführung des Handels. Indem die KI ihre eigene Leistung in einfachem Englisch „kritisiert" und ihre eigenen Anweisungen aktualisiert, lernt sie, Fehler zu vermeiden und Gewinne viel besser zu erzielen als traditionelle Methoden.

Wichtigste Erkenntnis: Die Arbeit behauptet, dass durch die Trennung der „großen Bild"-Entscheidung von der „nagelkleinen" Ausführung und die Verwendung von Sprache zur Aktualisierung der Regeln der KI komplexe Finanzprobleme gelöst werden können, bei denen es normalerweise schwer ist, festzustellen, wer für einen Verlust verantwortlich ist.

Technische Zusammenfassung: Moira – Sprachgesteuerte hierarchische Verstärkungslernen für Pair-Trading

1. Problemformulierung

Der Artikel adressiert die Herausforderung der sequenziellen Entscheidungsfindung in Umgebungen, die durch eine hierarchische Struktur, verzögerte Rückmeldung und mehrdeutige Kreditvergabe gekennzeichnet sind. Insbesondere konzentrieren sich die Autoren auf Pair-Trading, ein Finanzbereich, der natürlicherweise zwei unterschiedliche zeitliche und semantische Skalen kombiniert:

Hochlevel-Abstraktion (Paarauswahl): Erfordert semantisches Schlussfolgern über lange Horizonte, um Asset-Paare mit stabilen wirtschaftlichen oder statistischen Beziehungen zu identifizieren.
Niedriglevel-Ausführung (Handel): Erfordert reaktive Entscheidungsfindung über kurze Horizonte unter teilweiser Beobachtbarkeit (Marktrauschen), um marktneutrale Trades auszuführen.

Die Kernschwierigkeit liegt in der Kreditvergabe: Wenn eine Handelsstrategie scheitert, ist unklar, ob der Fehler auf eine fehlerhafte Hochlevel-Abstraktion (falsche Paarauswahl), eine suboptimale Niedriglevel-Ausführung (schlechter Timing) oder die Interaktion zwischen beiden zurückzuführen ist. Traditionelles End-to-End-Reinforcement-Learning (RL) verknüpft diese Komponenten, was es schwierig macht, die Fehlerquelle zu isolieren. Darüber hinaus verlassen sich Standard-Hierarchisches RL (HRL) oft auf starre zeitliche Abstraktionen oder nehmen feste Rauschverteilungen an, was die Anpassungsfähigkeit einschränkt, wenn sich semantische Beziehungen verschieben.

2. Methodik: Moira-Framework

Die Autoren schlagen Moira vor, ein sprachgesteuertes Framework für hierarchisches Reinforcement-Learning. Anstatt gradientenbasierter Feinabstimmung oder expertenbeschrifteter Daten zu verwenden, parametrisiert Moira sowohl den Hochlevel-Selektor als auch den Niedriglevel-Trader als prompt-konditionierte Large Language Models (LLMs). Die Strategien werden ausschließlich durch Prompt-Updates optimiert, die durch textuelle Rückmeldungen angetrieben werden.

2.1 Hierarchisches Policy-Design

Das Framework trennt die Abstraktionsauswahl explizit von der Ausführung und richtet ihre Anpassungspläne an der Verfügbarkeit von Rückmeldungen aus:

Hochlevel-Selektor ( $\pi_{sel}$ ): Operiert auf Episodenebene (z. B. monatlich). Er beobachtet aggregierte Preisstatistiken und semantische Zusammenfassungen (Nachrichten, Sentiment), um ein Asset-Paar $z$ auszuwählen. Diese Auswahl bleibt für die Dauer der Episode fest.
Niedriglevel-Trader ( $\pi_{tr}$ ): Operiert auf Intra-Episodenebene (z. B. täglich/wöchentlich). Konditioniert auf das feste Paar $z$ , führt er Handelsaktionen basierend auf Echtzeit-Spreizdynamiken und lokalen Preismerkmalen aus.

2.2 Optimierung durch Prompt-Anpassung

Das System nutzt einen zweistufigen textuellen Optimierungsprozess für beide Ebenen und verzichtet dabei auf Gradientenabstieg bei den Modellgewichten:

Trajektorien-Level-Kritik (Stufe 1): Ein „Critic"-LLM analysiert die ausgeführte Trajektorie (Beobachtungen, Aktionen, Belohnungen) und generiert ein textuelles Feedback-Signal ( $g_{text}$ ). Dieses Signal identifiziert Mängel in Entscheidungsregeln (z. B. „vorzeitige Ausstiege" oder „Ignorieren von Nachrichten-Katalysatoren").
Prompt-Update (Stufe 2): Ein „Update"-LLM integriert das textuelle Feedback in den aktuellen Policy-Prompt und generiert einen aktualisierten Prompt ( $\theta^{(k)}$ ) für die nächste Sub-Episode oder Episode.

Wesentlicher Unterschied in den Anpassungsplänen:

Trader: Unterliegt intra-episodischen Prompt-Updates. Er passt seine Ausführungsregeln basierend auf Trajektorien-Level-Feedback an, während der Paar-Kontext fest bleibt.
Selektor: Unterliegt episodischen Prompt-Updates. Er erhält verzögerte, aggregierte Rückmeldung (kumulierte Rendite), nachdem der Trader seine Anpassung und Ausführung für die Episode abgeschlossen hat.

3. Hauptbeiträge

Sprache als gemeinsame semantische Schnittstelle: Der Artikel stellt einen neuartigen Ansatz vor, bei dem Sprache als Schnittstelle zwischen hierarchischen Ebenen dient. Im Gegensatz zu skalaren Belohnungen ermöglicht textuelles Feedback eine explizite semantische Zuordnung, die zwischen Abstraktionsfehlern (schlechte Paarauswahl) und Ausführungsfehlern (schlechter Timing) unterscheidet.
Prompt-getriebene hierarchische Optimierung: Die Autoren zeigen, dass LLMs als hierarchische Policies fungieren können, die ausschließlich durch Prompt-Updates optimiert werden. Dies induziert eine natürliche Trennung der Zeitskalen, ohne komplexe algorithmische Einschränkungen oder gradientenbasierte Feinabstimmung zu erfordern.
Entkopplung von Abstraktion und Ausführung: Durch das Fixieren der Paarauswahl für eine Episode, während der Trader intra-episodisch adaptieren darf, reduziert das Framework die Nicht-Stationarität über die Ebenen hinweg und ermöglicht gezielte Anpassungen unter verzögerter Rückmeldung.

4. Experimentelle Ergebnisse

Das Framework wurde an historischen US-Aktienmarktdaten (10 liquide Aktien) von Januar bis Juni 2025 evaluiert.

4.1 Leistungsvergleich

Moira übertraf mehrere Baselines signifikant:

Statistische Baselines: GGR (Distanzminimierung), Korrelation und Kointegration.
RL-Baseline: TRIALS (ein Standard-RL-Framework).
Flache LLM-Baseline: Ein nicht-hierarchisches LLM, das versucht, Paare auszuwählen und Trades gleichzeitig auszuführen.

Schlüsselkennzahlen (Moira vs. beste Baseline):

Jahresrendite (AR): Moira erreichte 59,11 %, verglichen mit 21,38 % für die beste statistische Baseline (Korrelation/Kointegration) und negativen Renditen für andere.
Sharpe-Verhältnis (SR): Moira erreichte 3,791, deutlich höher als die statistische Baseline (1,218) und die flache LLM (-0,403).
Maximaler Drawdown (MDD): Moira hielt einen niedrigen 1,70 % auf, verglichen mit 5,11 % für die statistische Baseline und 8,69 % für die flache LLM.

4.2 Ablationsstudien

Die Autoren führten Ablationsstudien durch, um die Notwendigkeit sowohl der hierarchischen Zerlegung als auch der Prompt-Anpassung zu validieren:

Moira-Selection (LLM-Selektor + statistischer Trader): Der Ersatz des LLM-Traders durch einen statistischen führte zu stark negativen Renditen (-17,10 % AR), was darauf hindeutet, dass semantische Paarauswahl allein ohne adaptive Ausführung nicht ausreicht.
Moira-Tuning (Statistischer Selektor + LLM-Trader): Die Verwendung eines korrelationsbasierten Selektors mit dem abgestimmten LLM-Trader ergab positive Renditen (17,63 % AR), schnitt jedoch deutlich schlechter ab als das vollständige Moira-Modell. Dies unterstreicht, dass statisches Handelsverhalten die Chancen, die durch semantische Selektion identifiziert werden, nicht voll ausschöpfen kann.
Flat-LLM: Der nicht-hierarchische Ansatz scheiterte beim Lernen, erzielte negative Renditen und hohe Volatilität, was bestätigt, dass die gemeinsame Optimierung von Paarauswahl und Ausführung für einen einzelnen Entscheidungsprozess zu komplex ist.

4.3 Lern-Dynamik

Die Analyse der Lernkurven zeigte, dass sich die Leistung mit Prompt-Updates progressiv verbesserte. Frühe Updates etablierten grundlegende Disziplin (Ein-/Ausstiegsregeln), während spätere Updates fortgeschrittenes Risikomanagement (Trailing-Stopps, teilweise Gewinnmitnahmen) einführten, was zu glatteren Eigenkapitalkurven und reduzierten Drawdowns führte.

5. Bedeutung und Behauptungen

Der Artikel behauptet, dass sprachgesteuerte hierarchische Policy-Optimierung einen prinzipiellen Ansatz für sequenzielle Entscheidungsprobleme bietet, bei denen:

Abstraktionen sich im Laufe der Zeit entwickeln.
Rückmeldungen verzögert und aggregiert sind.
Explizite Signale zur Kreditvergabe nicht verfügbar sind.

Die Autoren argumentieren, dass durch die Verwendung von Sprache als Policy-Repräsentation das System eine gezielte Anpassung auf verschiedenen zeitlichen Skalen erreichen kann, ohne die Instabilität, die mit gradientenbasierter Feinabstimmung verbunden ist, oder die Starrheit traditionellen HRL. Die Ergebnisse deuten darauf hin, dass LLMs, wenn sie hierarchisch strukturiert und über Prompt-Anpassung optimiert werden, semantisches Schlussfolgern effektiv von taktischer Ausführung entkoppeln können, was zu robuster finanzieller Entscheidungsfindung führt.

Anerkannte Einschränkungen:
Die Autoren weisen darauf hin, dass die Studie auf ein kleines Asset-Universum (10 Aktien) und ein spezifisches Marktregime beschränkt ist. Sie beanspruchen keine Robustheit unter extremen Regimewechseln oder adversarischen Bedingungen, und die theoretischen Eigenschaften textueller Rückmeldungen als Optimierungssignal bleiben eine offene Frage.