💰 quantitative finance

Tackling Decision Processes with Non-Cumulative Objectives using Reinforcement Learning

Dieses Paper führt eine allgemeine Abbildung ein, die nicht-kumulative Markov-Entscheidungsprozesse (NCMDPs) in Standard-MDPs transformiert, wodurch die direkte Anwendung bestehender Reinforcement-Learning-Techniken zur Optimierung beliebiger Belohnungsfunktionen ermöglicht wird und eine verbesserte Leistung sowie Trainingseffizienz über verschiedene Aufgaben hinweg demonstriert wird.

Ursprüngliche Autoren: Maximilian Nägele, Jan Olle, Thomas Fösel, Remmy Zen, Florian Marquardt

Veröffentlicht 2026-10-01

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Maximilian Nägele, Jan Olle, Thomas Fösel, Remmy Zen, Florian Marquardt

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der Welt der künstlichen Intelligenz gibt es ein leistungsstarkes Framework, das verwendet wird, um Maschinen beizubringen, wie sie Entscheidungen treffen. Stellen Sie sich einen Roboter vor, der das Laufen lernt, ein Computerprogramm, das ein Videospiel meistert, oder einen Handelsalgorithmus, der ein Aktienportfolio verwaltet. Diese Systeme arbeiten, indem sie eine Serie von Aktionen nacheinander als Reaktion auf ihre Umgebung ausführen. Mit jeder Bewegung erhält das System ein Signal, das oft als Belohnung (Reward) bezeichnet wird und ihm mitteilt, ob diese Aktion gut oder schlecht war. Jahrzehntelang war die Standardregel für den Erfolg in diesen Szenarien einfach: Maximiere die Gesamtsumme aller über die Zeit gesammelten Belohnungen. Wenn ein Roboter für jeden Schritt nach vorne einen kleinen Punkt erhält, ist das Ziel, bis zum Ende der Reise so viele Punkte wie möglich zu sammeln. Dieser Ansatz, bekannt als Markov-Entscheidungsprozess, war unglaublich erfolgreich und hat alles von Industrierobotern bis hin zu selbstfahrenden Autos geleitete.

Das wirkliche Leben ist jedoch oft komplizierter als eine einfache Abrechnungstabelle. Manchmal ist das wichtigste Ergebnis nicht die Gesamtmenge der guten Dinge, die passiert sind, sondern der schlimmste Moment, der auftrat, oder die Beständigkeit der Leistung über die Zeit. Betrachten Sie eine Raumsonde, die auf einem Planeten landet. Das Ziel ist nicht nur, sicher zu landen; es ist sicherzustellen, dass das Raumfahrzeug während des gesamten Abstiegs niemals eine gefährliche Geschwindigkeit überschreitet, ungeachtet dessen, wie sanft der Rest des Fluges verlief. In der Finanzwelt kümmert sich ein Investor vielleicht weniger um den Gesamtgewinn eines Jahres, sondern mehr darum, wie stark dieser Gewinn schwankte, und sucht nach einer stetigen Rendite statt nach einem riskanten Glücksspiel. Diese Szenarien beinhalten das, was Forscher als nicht-kumulative Ziele bezeichnen, bei denen das Endergebnis von einer spezifischen Funktion der gesamten Historie der Belohnungen abhängt, wie etwa dem Maximalwert, der erreicht wurde, oder dem Verhältnis von durchschnittlichem Gewinn zur Volatilität. Bis jetzt war es schwierig, künstliche Intelligenz beizubringen, diese komplexen, geschichtshängigen Ziele zu optimieren, da dies oft maßgeschneiderte Algorithmen erforderte, die schwer auf neue Probleme anwendbar waren.

Ein Team von Forschern des Max-Planck-Instituts für die Wissenschaft des Lichts und der Friedrich-Alexander-Universität Erlangen-Nürnberg hat eine allgemeine Lösung für dieses Problem entwickelt. Sie haben einen Weg gefunden, diese komplexen, nicht-kumulativen Herausforderungen in das Standardformat zu übersetzen, das bestehende, leistungsstarke Werkzeuge der künstlichen Intelligenz bereits zu lösen wissen. Anstatt einen neuen Typ von Lernalgorithmus von Grund auf neu zu erfinden, haben sie eine Brücke gebaut. Sie zeigten, dass durch eine leichte Änderung der Art und Weise, wie die Maschine ihre aktuelle Situation wahrnimmt und wie sie ihr unmittelbares Feedback berechnet, jedes komplexe Ziel in ein Standardproblem der „Summe der Belohnungen“ umgewandelt werden kann. Dies ermöglicht es Forschern, die derzeit leistungsfähigsten fertigen Lernsoftware-Lösungen direkt auf Probleme anzuwenden, die zuvor unerreichbar waren, ohne die Software selbst modifizieren zu müssen.

Der Kern ihrer Methode besteht darin, dem künstlichen Agenten ein wenig mehr Gedächtnis zu geben. In einem Standard-Setup muss ein Agent nur seinen aktuellen Zustand kennen, um eine Entscheidung zu treffen. Aber wenn das Ziel von der gesamten Historie der Belohnungen abhängt – wie etwa das Erinnern an die bisher erreichte Höchstgeschwindigkeit –, muss der Agent diese Information mit sich führen. Die Forscher schlugen ein System vor, bei dem der „Zustand“ des Agenten erweitert wird, um eine laufende Zusammenfassung der Vergangenheit zu enthalten, wie zum Beispiel die höchste oder niedrigste Belohnung, die bis zu diesem Moment gesehen wurde. Gleichzeitig passten sie die unmittelbare Belohnung an, die der Agent bei jedem Schritt erhält. Anstatt eine Belohnung zu erhalten, die einfach nur die aktuelle Aktion widerspiegelt, erhält der Agent einen berechneten Wert, der, wenn man ihn über die gesamte Reise aufsummiert, das komplexe Ziel perfekt rekonstruiert. Wenn das Ziel beispielsweise darin besteht, die maximale Geschwindigkeit zu minimieren, wird der Agent so belohnt, dass er nur dann bestraft wird, wenn er einen neuen Geschwindigkeitsrekord aufstellt, was effektiv das Problem des „Minimums der Maxima“ in eine Standard-Summe verwandelt.

Dieser Ansatz wurde über eine Vielzahl schwieriger Aufgaben hinweg getestet und bewies seine Vielseitigkeit. In einer Simulation eines Mondlanders trainierten die Forscher einen Agenten, eine Raumsonde zu landen, während er die maximale Geschwindigkeit strikt begrenzte. Sie verglichen ihre Methode mit einem Standardansatz, der versuchte, das Ziel durch das Hinzufügen einer Strafe am Ende des Fluges zu annähern. Die neue Methode, die das Geschwindigkeitslimit als kontinuierlichen Teil des Lernprozesses behandelte, fand ein viel besseres Gleichgewicht zwischen sicherem Landen und effizienter Bewegung. Im Bereich der Finanzen wandten sie die Technik auf die Portfolio-Optimierung an, bei der das Ziel darin besteht, die Sharpe-Ratio zu maximieren – ein Maß für die risikobereinigte Rendite, das den durchschnittlichen Gewinn durch die Volatilität dieser Gewinne teilt. Bisherige Methoden mussten sich auf grobe Annäherungen dieses Verhältnisses verlassen. Durch die Verwendung der neuen Abbildung konnten die Agenten lernen, das exakte Verhältnis direkt zu maximieren, was zu signifikant besseren Anlagestrategien während des Trainings führte.

Die Forscher untersuchten auch diskrete Optimierungsprobleme, wie zum Beispiel das Finden der effizientesten Anordnung von Quantengatter-Logiken oder die Vereinfachung komplexer Diagramme, die in der Quantenkomplexität verwendet werden. Bei diesen Aufgaben besteht das Ziel oft darin, den einzelnen besten Zustand zu finden, der während einer langen Suche erreicht wurde, anstatt die Summe aller entlang des Weges gemachten Verbesserungen. Hier ermöglichte die neue Methode den Agenten, mutiger zu explorieren. Da der Agent nicht für vorübergehende Rückschläge bestraft wurde, die notwendig waren, um später eine bessere Lösung zu erreichen, lernte er schneller und fand qualitativ hochwertigere Lösungen als Agenten, die mit Standard-Kumulationsbelohnungen trainiert wurden. In einem Experiment zur Quantenfehlerkorrektur verbesserte die neue Methode die Leistung um eine signifikante Spanne und fand bessere Lösungen in kürzerer Zeit.

Die Stärke dieser Arbeit liegt in ihrer Einfachheit und Allgemeingültigkeit. Die Forscher haben keinen neuen Lernalgorithmus geschaffen, sondern eine Übersetzungsschicht. Das bedeutet, dass jeder Experte in einem spezifischen Bereich, von der Robotik bis zum Finanzwesen, sein bestehendes Problem nehmen, diese Abbildung anwenden und sofort die leistungsfähigsten verfügbaren Reinforcement-Learning-Werkzeuge nutzen kann. Die Methode funktioniert sowohl in vorhersehbaren Umgebungen als auch in solchen, die voller zufälligem Rauschen sind, und sie bewältigt sowohl einfache als auch komplexe Ziele. Während die Forscher anmerkten, dass das erweiterte Gedächtnis des Agenten das Problem geringfügig vergrößern kann, sind moderne Deep-Learning-Techniken bestens gerüstet, um dies zu handhaben. Das Ergebnis ist ein einheitliches Framework, das die Barriere zwischen komplexen, realen Zielen und den hochentwickelten Werkzeugen der künstlichen Intelligenz entfernt und den Weg für Maschinen ebnet, Strategien zu erlernen, die zuvor zu schwierig zu definieren waren.

Technisches Resümee: Bewältigung von Entscheidungsprozessen mit nicht-kumulativen Zielsetzungen mittels Reinforcement Learning

Problemstellung

Standardmäßige Markov-Entscheidungsprozesse (MDPs) modellieren Entscheidungsfindung durch die Maximierung der erwarteten Summe von Belohnungen über eine Trajektorie, definiert als $E_\pi [\sum_{t=0}^{T-1} r_t]$ . Viele reale Anwendungen erfordern jedoch die Optimierung von nicht-kumulativen Markov-Entscheidungsprozessen (NCMDPs), bei denen das Ziel darin besteht, den Erwartungswert einer beliebigen Funktion $f$ der Belohnungen zu maximieren, anstatt deren Summe:
$E_\pi [f(\tilde{r}_0, \tilde{r}_1, \dots, \tilde{r}_{T-1})]$
Beispiele für solche Zielsetzungen sind die Maximierung der minimalen Belohnung (Weakest-Link-Probleme), die Optimierung der Sharpe-Ratio (Mittelwert dividiert durch die Standardabweichung der Renditen) oder die Minimierung der maximalen Geschwindigkeit in Steuerungsaufgaben. Bestehende Methoden zur Lösung von NCMDPs sind begrenzt: Sie beschränken sich oft auf spezifische Funktionen (z. B. nur das Maximum), operieren nur in deterministischen Umgebungen oder erfordern eine Modifikation der Kern-Reinforcement-Learning-Algorithmen (z. B. eine Neudefinition der Temporal-Difference-Fehler). Folglich verlassen sich hochmoderne RL-Ansätze oft auf Approximationen oder können stochastische NCMDPs nicht effektiv handhaben.

Methodik

Die Autoren schlagen ein allgemeines theoretisches Framework vor, das jeden NCMDP auf einen Standard-MDP abbildet, wodurch die direkte Anwendung bestehender MDP-Solver (wie Dynamic Programming oder Deep-RL-Algorithmen wie PPO) ohne algorithmische Modifikation ermöglicht wird.

Der Abbildungsmechanismus

Die zentrale Innovation ist die Konstruktion eines erweiterten Zustandsraums und einer angepassten Belohnungsfunktion. Gegeben sei ein NCMDP $\tilde{M}$ mit Zuständen $\tilde{s}_t$ , Belohnungen $\tilde{r}_t$ und der Zielfunktion $f$ . Der entsprechende MDP $M$ wird wie folgt definiert:

Angepasste Zustände ( $s_t$ ): Der Zustandsraum wird um einen Historien-Vektor $h_t$ erweitert, der alle notwendigen Informationen aus der Belohnungshistorie kapselt, die zur Berechnung der Zielfunktion erforderlich sind.
$s_t = (\tilde{s}_t, h_t)$
Der Vektor $h_t$ wird in jedem Schritt über eine Funktion $u$ aktualisiert: $h_{t+1} = u(h_t, \tilde{r}_t)$ . Für viele gängige Funktionen (z. B. Max, Min, Sharpe-Ratio) kann $h_t$ mit konstanter Größe beibehalten werden.
Angepasste Belohnungen ( $r_t$ ): Die unmittelbare Belohnung im neuen MDP ist definiert als die inkrementelle Änderung des Wertes der Zielfunktion:
$r_t = f(\tilde{r}_0, \dots, \tilde{r}_t) - f(\tilde{r}_0, \dots, \tilde{r}_{t-1}) = \rho(h_t, \tilde{r}_t)$
Dies stellt sicher, dass die kumulative Summe der angepassten Belohnungen im MDP dem Wert der nicht-kumulativen Zielfunktion im ursprünglichen NCMDP entspricht:
$\sum_{t=0}^{T-1} r_t = f(\tilde{r}_0, \dots, \tilde{r}_{T-1})$
Äquivalenz: Die Autoren beweisen, dass die optimale Policy für den konstruierten MDP äquivalent zur optimalen Policy für den ursprünglichen NCMDP ist. Darüber hinaus liefert jede Policy denselben erwarteten Ertrag in beiden Formulierungen. Dies ermöglicht es, dass Standard-Konvergenzgarantien (z. B. für Q-Learning oder Policy Gradients) direkt auf NCMDPs angewendet werden können.

Implementierung

Der Ansatz behandelt die NCMDP-Umgebung und den MDP-Solver als Black Boxes. Eine einfache Zwischenschicht berechnet die angepassten Zustände und Belohnungen, wobei keine Änderungen am zugrunde liegenden RL-Algorithmus erforderlich sind. Dies erleichtert die Verwendung von Standardbibliotheken (z. B. Stable-Baselines3) für nicht-kumulative Probleme.

Zentrale Beiträge

Theoretisches Framework: Einführung eines allgemeinen Mappings von NCMDPs zu Standard-MDPs, das beliebige nicht-kumulative Zielsetzungen sowohl in deterministischen als auch in stochastischen Umgebungen berücksichtigt.
Algorithmische Agnostik: Die Methode ermöglicht die Verwendung jedes existierenden MDP-Solvers, ohne den Lernalgorithmus selbst modifizieren zu müssen, im Gegensatz zu früheren Arbeiten, die eine Neudefinition der Update-Regeln erforderten.
Zustandsraummanagement: Identifizierung der Bedingungen, unter denen die zusätzliche Zustandsinformation $h_t$ eine konstante Größe beibehält, was den Ansatz trotz des erweiterten Zustandsraums skalierbar für Deep-RL-Techniken macht.
Empirische Validierung: Demonstration der Effektivität des Ansatzes über diverse Domänen hinweg, einschließlich klassischer Steuerung, Finanzportfolio-Optimierung und diskreter Optimierung.

Experimentelle Ergebnisse

Die Autoren evaluierten ihren Ansatz gegenüber Standard-MDP-Formulierungen und vorherigen NCMDP-spezifischen Methoden in drei Domänen:

Klassische Steuerung (Lunar Lander): Die Aufgabe bestand darin, eine Belohnungsfunktion zu maximieren, die durch die maximale Geschwindigkeit während einer Trajektorie bestraft wird. Die vorgeschlagene Methode (MAXVELPPO) erreichte einen überlegenen Kompromiss zwischen Landesicherheit und Maximalgeschwindigkeit im Vergleich zu einem kumulativen Ansatz (FINALPPO), der die Strafe erst am Ende addierte. Das Hinzufügen der Historie zum kumulativen Agenten verbesserte die Leistung nicht, während der Mapping-Ansatz die Historie natürlich integrierte.
Portfolio-Optimierung: Das Ziel war die Maximierung der Sharpe-Ratio. Die vorgeschlagene Methode (SHARPE) optimierte direkt die exakte Sharpe-Ratio und übertraf dabei Agenten, die die differenzielle Sharpe-Ratio-Approximation (DIFFSHARPE) oder eine Final-Reward-Formulierung (FINALSHARPE) verwendeten.
Diskrete Optimierung:
- Peak-Umgebung: In einem Toy-Problem, das intermittierende Kostensteigerungen erfordert, um ein globales Minimum zu finden, trainierte das nicht-kumulative Ziel (MAXREINFORCE) signifikant schneller als die kumulative Baseline. Die Analyse zeigte, dass dies auf eine reduzierte Gradientenvarianz und eine vorteilhaftere Gradientenrichtung zurückzuführen war.
- Quantenfehlerkorrektur & ZX-Diagramme: In Aufgaben, die die Entdeckung von Quantenschaltkreisen und die Vereinfachung von ZX-Diagrammen beinhalten, schnitt der nicht-kumulative Ansatz (MAXPPO) generell besser ab als Standard-PPO. In der ZX-Diagramm-Aufgabe explorierte der nicht-kumulative Agent effektiver (höhere Policy-Entropie) und erreichte die optimale Leistung in etwa der Hälfte der für den kumulativen Agenten benötigten Trainingsschritte.

Bedeutung und Behauptungen

Das Paper behauptet, dass diese Arbeit den Umfang des Reinforcement Learning erheblich erweitert, indem sie nicht-kumulative Zielsetzungen mit Standard-MDP-Solvern vereinigt. Die Autoren betonen:

Die Methode eliminiert die Notwendigkeit für spezialisierte, oft nur deterministische NCMDP-Algorithmen.
Sie ermöglicht es Forschern, exakte Zielsetzungen (z. B. Sharpe-Ratio, Min-Reward) direkt an den Agenten zu übermitteln, ohne Approximationen zu verwenden.
Die Implementierung ist unkompliziert und erfordert lediglich eine Mapping-Schicht, was sie für Domänenexperten, die keine RL-Spezialisten sind, zugänglich macht.
Der Ansatz verbessert sowohl die endgültige Performance als auch die Trainingseffizienz in Aufgaben, bei denen das Ziel von der Historie der Trajektorie in nicht-additiver Weise abhängt.

Die Autoren weisen auf Limitationen hin, wie etwa die potenzielle Vergrößerung des Zustandsraums (obwohl durch Deep RL handhabbar) und die Beobachtung, dass das Lernen in einigen diskreten Optimierungsaufgaben mit langen Trajektorien anfangs langsam sein kann, wenn der Agent häufig eine Null-Belohnung erfährt. Sie räumen zudem ein, dass die Generalisierung auf ungesehene Zeiträume (z. B. in Finanzdaten) trotz der Leistungsverbesserung innerhalb der trainierten Umgebung eine Herausforderung bleibt, die für alle RL-Agenten in diesen Domänen typisch ist.