Optimization of dynamic crypto portfolios via deep reinforcement learning against supervised learning under transaction costs
Diese Arbeit zeigt auf, dass ein Deep-Reinforcement-Learning-Ansatz unter Verwendung von PPO die Optimierung eines dynamischen Kryptowährungsportfolios unter Transaktionskosten im Vergleich zu überwachten Lernmodellen wie LSTM, Random Forest und XGBoost signifikant verbessert, indem er durch die Priorisierung der Handelsffizienz gegenüber der Richtungsgenauigkeit überlegene risikobereinigte Renditen und Marktneutralität erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die Welt der digitalen Währungen operiert auf einer Skala der Bewegung, die traditionelle finanzielle Intuition sprengt. Im Gegensatz zu den vergleichsweise stabilen Märkten von Aktien oder Anleihen ist die Kryptowährungslandschaft durch extreme Volatilität gekennzeichnet, bei der Preise innerhalb eines einzigen Tages wild schwanken können und die Regeln, die diese Preise bestimmen, ohne Vorwarnung geändert werden. Seit Jahrzehnten verlassen sich Investoren auf mathematische Modelle, die darauf ausgelegt sind, Risiko und Ertrag auszubalancieren, doch diese klassischen Werkzeuge versagen oft, wenn sie auf Vermögenswerte angewendet werden, die sich nicht wie normale Wirtschaftsgüter verhalten. Sie setzen voraus, dass sich Marktmuster wiederholen und dass die Beziehungen zwischen verschiedenen Vermögenswerten konstant bleiben – Annahmen, die in der chaotischen Umgebung der digitalen Finanzwelt in sich zusammenbrechen. Um dieses Turbulenzmanagement zu bewältigen, haben sich Forscher der künstlichen Intelligenz zugewandt, in der Hoffnung, Systeme zu bauen, die aus dem Rauschen lernen können, anstatt die Zukunft mit perfekter Präzision vorherzusagen. Die Kernherausforderung besteht nicht nur darin, einen profitablen Trade zu finden, sondern dies zu tun, ohne Geld an die verborgenen Kosten des Handels selbst zu verlieren, wie etwa Gebühren, die den Gewinn jedes Mal auffressen, wenn ein Portfolio angepasst wird.
In einer kürzlich durchgeführten Studie widmete sich ein Team von Forschern von Universitäten in Marokko genau diesem Problem, indem sie einen neuen Ansatz zur Verwaltung eines Portfolios aus zehn großen Kryptowährungen testeten. Sie wollten herausfinden, ob eine Art der künstlichen Intelligenz, die als Deep Reinforcement Learning bekannt ist, etablierte Methoden des maschinellen Lernens übertreffen kann, die seit Jahren als Standard gelten. Die Forscher schufen eine digitale Umgebung, in der ein künstlicher Agent tägliche Entscheidungen darüber treffen musste, wie er sein Geld auf zehn verschiedene Coins, darunter Bitcoin, Ethereum und andere, aufteilt, während er gleichzeitig einen Teil in einem sicheren, risikofreien Vermögenswert ähnlich wie Bargeld hält. Entscheidend war, dass der Agent jedes Mal, wenn er Geld von einem Coin zu einem anderen verschob, eine kleine Gebühr zahlte, was die realen Kosten des Handels nachahmte. Das Ziel war es zu sehen, welche Methode den Wert des Portfolios am meisten steigern konnte, während sie gleichzeitig die unvermeidlichen Markteinbrüche überlebte und die Falle des Überhandels vermied.
Das Team verglich ihren neuen Ansatz mit drei bekannten Modellen des überwachten Lernens (Supervised Learning), die dadurch funktionieren, dass sie zuerst versuchen, den zukünftigen Preis eines Vermögenswerts vorherzusagen, und dann basierend auf dieser Vorhersage entscheiden, was sie kaufen sollen. Zu diesen traditionellen Modellen gehörten Long Short-Term Memory Netzwerke, die gut darin sind, vergangene Muster zu speichern; Random Forests, die viele Entscheidungsbäume nutzen, um Antworten zu finden; und XGBoost, ein leistungsstarkes Werkzeug zum Aufspüren komplexer Beziehungen in Daten. Die Forsler stellten fest, dass diese traditionellen Methoden erheblich Schwierigkeiten bekamen, sobald Transaktionsgebühren eingeführt wurden. Da diese Modelle darauf fokussiert sind, die exakte Richtung eines Preises vorherzusagen, führte selbst ein winziger Fehler in ihrer Vorhersage dazu, dass sie zu häufig handelten. Dieser ständige Kauf und Verkauf, getrieben durch leichte Fehlkalkulationen, bedeutete, dass die Gebühren den potenziellen Gewinn schnell auffraßen, was die Portfolios stagnieren ließ oder sogar ins Minus rutschen ließ. Eines der traditionellen Modelle verlor tatsächlich Geld, da es nicht einmal die Kosten der durchgeführten Trades decken konnte.
Im Gegensatz dazu verfolgte der Deep-Reinforcement-Learning-Agent, der mit einer Methode namens Proximal Policy Optimization trainiert wurde, einen grundlegend anderen Ansatz. Anstatt zu versuchen, den nächsten Preis zu erraten, lernte dieser Agent direkt aus den Konsequenzen seines Handelns. Er wurde belohnt, wenn er Geld verdiente, aber schwer bestraft, wenn er sein Geld unnötigerweise bewegte. Dies lehrte den Agenten eine lebenswichtige Lektion: Es war besser, standhaft zu bleiben, als zu handeln, es sei denn, der erwartete Gewinn war groß genug, um die Gebühr zu rechtfertigen. Wenn der Markt gefährlich wurde, lernte dieser Agent, sich in seine sichere Cash-Position zurückzuziehen, um sein Kapital vor den schlimmsten Abschwüngen zu schützen. Wenn der Markt ruhig war, blieb er investiert, um Wachstum einzufangen. Diese Strategie ermöglichte es ihm, die volatile Periode von 2021 bis 2024 mit bemerkenswerter Effizienz zu navigieren.
Die Ergebnisse des Experiments waren eklatant. Der Deep-Reinforcement-Learning-Agent erzielte eine jährliche Rendite von 37,22 Prozent und übertraf damit die anderen Methoden bei Weitem. Während die traditionellen Modelle Renditen im Bereich von bescheidenen 6,75 Prozent bis zu einem negativen 1,48 Prozent erwirtschafteten, steigerte der neue Agent nicht nur den Portfoliowert, sondern verwaltete auch das Risiko effektiv. Er erlitt während der schlimmsten Markteinbrüche einen maximalen Verlust von 28,74 Prozent, was weniger schwerwiegend war als die Verluste, die von den anderen Strategien erlebt wurden. Vielleicht am wichtigsten ist, dass der Agent marktneutral agierte, was bedeutet, dass sein Erfolg nicht davon abhing, ob der Gesamtmarkt stieg oder fiel. Er generierte einen spezifischen Wert, der als Alpha bekannt ist und den Geschick der Strategie selbst repräsentiert, unabhängig vom allgemeinen Markttrend. Die traditionellen Modelle hingegen waren im Vergleich dazu stark an die Richtung des Marktes gebunden und scheiterten daran, diesen zusätzlichen Wert zu generieren; sie vernichteten oft eher Wohlstand, als ihn zu schaffen.
Diese Studie legt nahe, dass die Zukunft der Verwaltung volatiler digitaler Vermögenswerte in Systemen liegen könnte, die die Kosten des Handelns verstehen und nicht nur das Versprechen von Belohnung. Indem die Forscher die Realität der Transaktionsgebühren direkt in den Lernprozess einbetteten, schufen sie einen Agenten, der sich eher wie ein umsichtiger menschlicher Investor als wie eine reaktive Maschine verhält. Er lernte, dass Geduld und Disziplin oft profitabler sind als ständige Aktivität. Obwohl die Studie unter Verwendung historischer Daten und Simulationen durchgeführt wurde, bieten die Ergebnisse ein überzeugendes Argument für die Abkehr von einfachen Vorhersagemodellen hin zu Systemen, die das gesamte Handelserlebnis optimieren, einschließlich der Reibungsverluste des Marktes selbst. Der Erfolg dieses Ansatzes unterstreicht, dass in einer chaotischen Finanzwelt die Fähigkeit, zu wissen, wann man nicht handeln sollte, genauso wertvoll ist wie zu wissen, wann man kaufen muss.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.