Optimization of dynamic crypto portfolios via deep reinforcement learning against supervised learning under transaction costs
Dit artikel toont aan dat een Deep Reinforcement Learning-aanpak met behulp van PPO superieur presteert ten opzien van supervised learning-modellen zoals LSTM, Random Forest en XGBoost bij het optimaliseren van een dynamische cryptovaluta-portfolio onder transactiekosten, waarbij superieure risico-gecorrigeerde rendementen en marktneutraliteit worden bereikt door de nadruk te leggen op handelsefficiëntie boven directionele nauwkeurigheid.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De wereld van digitale valuta opereert op een schaal van beweging die de traditionele financiële intuïtie tart. In tegen tegenstelling tot de relatief stabiele markten van aandelen of obligaties, wordt het cryptovaluta-landschap gedefinieerd door extreme volatiliteit, waarbij prijzen in een enkel dagdeel wild kunnen schommelen en de regels die die prijzen beheersen zonder waarschuwing veranderen. Decennialang hebben beleggers vertrouwd op wiskundige modellen die ontworpen zijn om risico en rendement te balanceren, maar deze klassieke instrumenten falen vaak wanneer ze worden toegepast op activa die zich niet als normale economische goederen gedragen. Ze gaan ervan uit dat marktpatronen zichzelf herhalen en dat de relaties tussen verschillende activa constant blijven, aannames die uiteenvallen in de chaotische omgeving van digitale financiën. Om door deze turbulentie te navigeren, hebben onderzoekers zich tot kunstmatige intelligentie gewend, in de hoop systemen te bouwen die kunnen leren van de ruis in plaats van te proberen de toekomst met perfecte precisie te voorspellen. De kernuitdaging is niet alleen het vinden van een winstgevende transactie, maar dit te doen zonder geld te verliezen aan de verborgen kosten van het handelen zelf, zoals kosten die de winst opeten telkens wanneer een portefeuille wordt aangepast.
In een recente studie pakte een team van onderzoekers van universiteiten in Marokko dit specifieke probleem aan door een nieuwe aanpak te testen voor het beheren van een portefeuille van tien belangrijke cryptovaluta's. Ze wilden zien of een type kunstmatige intelligentie, bekend als deep reinforcement learning, de gevestigde machine learning-methoden die jarenlang de standaard waren, kon overtreffen. De onderzoekers creëerden een digitale omgeving waarin een kunstmatige agent dagelijkse beslissingen moest nemen over hoe het zijn geld moest verdelen over tien verschillende munten, waaronder Bitcoin, Ethereum en anderen, terwijl het ook een deel in een veilige, risicovrije activa bewaarde die vergelijkbaar is met contant geld. Cruciaal was dat elke keer dat de agent geld van de ene munt naar de andere verplaatste, hij een kleine vergoeding moest betalen, wat de werkelijke kosten van handel nabootst. Het doel was om te zien welke methode de waarde van de portefeuille het meest kon laten groeien, terwijl het de onvermijdelijke marktcrash overleefde en de valstrik van overmatig handelen vermeed.
Het team vergeleek hun nieuwe aanpak met drie bekende supervised learning-modellen, die werken door eerst te proberen de toekomstige prijs van een actief te voorspellen en vervolgens te beslissen wat te kopen op basis van die voorspelling. Deze traditionele modellen omvatten Long Short-Term Memory-netwerken, die goed zijn in het onthouden van patronen uit het verleden; Random Forests, die veel beslissingsbomen gebruiken om antwoorden te vinden; en XGBoost, een krachtig hulpmiddel voor het opsporen van complexe relaties in gegevens. De onderzoekers kwamen tot de conclusie dat deze traditionele methoden aanzienlijk moeite hadden wanneer transactiekosten werden geïntroduceerd. Omdat deze modellen zich richten op het voorspellen van de exacte richting van een prijs, zorgde zelfs een kleine fout in hun voorspelling ervoor dat ze te frequent handelden. Dit constante kopen en verkopen, gedreven door lichte miscalculaties, betekende dat de kosten de potentiële winst snel opaten, waardoor de portefeuilles vlak bleven of zelfs in het rood stonden. Een van de traditionele modellen maakte zelfs geld verlies, omdat het de kosten van de uitgevoerde transacties niet kon dekken.
In contrast hiermee nam de deep reinforcement learning-agent, die werd getraind met een methode genaamd Proximal Policy Optimization, een fundamenteel andere aanpak. In plaats van te proberen de volgende prijs te raden, leerde deze agent direct van de gevolgen van zijn acties. De agent werd beloond voor het maken van winst, maar zwaar gestraft voor het onnodig verplaatsen van zijn geld. Dit leerde de agent een vitale les: het was beter om standvastig te blijven dan om te handelen, tenzij de verwachte winst groot genoeg was om de vergoeding te rechtvaardigen. Wanneer de markt gevaarlijk werd, leerde deze agent zich terug te trekken in zijn veilige cashpositie, om zo zijn kapitaal te beschermen tegen de ergste dalingen. Wanneer de markt rustig was, bleef hij geïnvesteerd om groei te vangen. Deze strategie stelde het de agent in staat om de volatiele periode van 2021 tot 2024 met opmerkelijke efficiëntie te navigeren.
De resultaten van het experiment waren treffend. De deep reinforcement learning-agent behaalde een jaarlij Rendement van 37,22 procent, waarmee het de andere methoden ruim overtrof. Terwijl de traditionele modellen rendementen behaalden variërend van een bescheiden 6,75 procent tot een negatieve 1,48 procent, liet de nieuwe agent niet alleen de portefeuille groeien, maar beheerde het ook het risico effectief. Het leed een maximale verliespost van 28,74 procent tijdens de ergste marktdalingen, wat minder ernstig was dan de verliezen die door de andere strategieën werden ervaren. Misschien wel het belangrijkste is dat de agent bewees marktneutraal te zijn, wat betekent dat het succes niet afhankelijk was van het feit of de algemene markt omhoog of omlaag ging. Het genereerde een specifieke waarde bekend als alfa, die de vaardigheid van de strategie zelf vertegenwoordigt, onafhankelijk van de algemene markttrend. De traditionele modellen waren in vergelijking daarmee sterk gebonden aan de richting van de markt en faalden in het genereren van deze extra waarde, waarbij ze vaak rijkdom vernietigden in plaats van creëerden.
Deze studie suggereert dat de toekomst van het beheren van volatiele digitale activa kan liggen in systemen die de kosten van actie begrijpen, niet alleen de belofte van beloning. Door de realiteit van transactiekosten direct in het leerproces in te bedden, creëerden de onderzoekers een agent die zich meer gedraagt als een verstandige menselijke investeerder dan een reactieve machine. Het leerde dat geduld en discipline vaak winstgevender zijn dan constante activiteit. Hoewel de studie werd uitgevoerd met behulp van historische gegevens en simulaties, bieden de bevindingen een overtuigend argument voor de verschuiving van eenvoudige voorspellingsmodellen naar systemen die optimaliseren voor de gehele handelservaring, inclusief de frictie van de markt zelf. Het succes van deze aanpak benadrukt dat in een chaotische financiële wereld het vermogen om te weten wanneer men niet moet handelen net zo waardevol is als weten wanneer men moet kopen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.