Technische Samenvatting: Van Index naar Aandelen: Vooraf trainen van Transformers voor het voorspellen van aandelenrendementen

Probleemstelling

Het voorspellen van aandelenkoersen blijft een formidabele uitdaging vanwege het chaotische, niet-stationaire karakter van financiële markten, die worden beïnvloed door een complex samenspel van economische, politieke en sociale factoren. Traditionele prognosemodellen hebben vaak moeite met de inherente volatiliteit en verschuivingen in verdelingen tussen trainings- en testperiodes. Hoewel recente toepassingen van Transformer-architecturen in financiële prognoses veelbelovend zijn, vereisen ze doorgaans enorme datasets om contextuele relaties effectief te leren. Dit onderzoek adresseert de specifieke uitdaging om de voorspellingnauwkeurigheid voor individuele aandelen op de Toronto Stock Exchange (TSX) te verbeteren door transfer learning-strategieën toe te passen. De kernhypothese is dat vooraf trainen op geaggregeerde marktdata (de TSX-index) modellen kan helpen om gegeneraliseerde patronen te leren voordat ze worden fijn afgestemd op de volatiele en ruisachtige data van individuele aandelen.

Methodologie

Data en Feature Engineering

De studie gebruikte een dataset van 1.853 TSX-tickers die zich uitstrekken van 17 maart 1980 tot 4 juli 2023, bestaande uit meer dan 4,9 miljoen dagelijkse records. De data is verkregen via de Yahoo Finance API.

• Doelvariabelen: De studie behandelde twee taken:
  1. Classificatie: Het voorspellen van de richting van intra-dag rendementen (positief versus negatief).
  2. Regression: Het voorspellen van de specifieke waarde van intra-dag rendementen.
• Features: De invoerfeatures omvatten historische lag-gegevens en een reeks technische indicatoren die wijdverspreid worden gebruikt in de financiële sector, zoals Stochastic %K, Price Rate of Change (ROC), Relative Strength Index (RSI), Accumulation Distribution Oscillator (AccDO), Moving Average Convergence-Divergence (MACD) en diverse Exponentiële Moving Averages (EMA).
• Invoerstructuur: Voor deep learning-modellen (Transformers en LSTMs) werden de invoeren gestructureerd als sequenties van 10 dagen met 15 features per dag. Voor XGBoost werden deze afgevlakt tot een vector van 150 features.
• Voorverwerking: De data onderging min-max schaling op basis van statistieken van de trainingsset. Uitbijters in technische indicatoren (veroorzaakt door deling door nul-fouten) werden vervangen door neutrale waarden (50 voor %K, 0 voor AccDO), en extreme intra-dag rendementen (>2) werden afgeknipt om schalingsvervorming te beperken. Het eerste jaar data voor elke aandeel werd uitgesloten om onvoorspelbaar begingedrag te reduceren.

Modelarchitectuur en Trainingsstrategie

Het onderzoek vergeleek verschillende architecturen:

1. Transformer: Een model bestaande uit vier encoder-blokken gevolgd door drie volledig verbonden dichte lagen (128, 64 en 32 knooppunten).
2. LSTM: Een benchmarkmodel dat Transformer encoder-blokken vervangt door vier LSTM-lagen.
3. XGBoost: Een gradient boosting-model getraind met specifieke hyperparameters (100 schatters, leersnelheid 0,03, maximale diepte 9).
4. Ensemble: Een gemiddelde van voorspellingen van de fijn afgestemde deep learning- en XGBoost-modellen.

De Vooraf Trainen Aanpak:
De centrale methodologische bijdrage was een trainingsproces in twee fasen:

1. Vooraf trainen: Modellen werden eerst getraind op TSX-indexdata om de richting van intra-dag rendementen te voorspellen. Deze fase gebruikte geaggregeerde marktdata om gegeneraliseerde marktdynamiek te leren.
2. Fijn afstemmen: De vooraf getrainde gewichten werden overgebracht naar modellen die op individuele aandelen data werden getraind. Voor de regressietaken werden de classificatiemodellen verder fijn afgestemd door de outputlaag te vervangen om continue rendementwaarden te voorspellen.

Experimentele Opstelling

• Dataverdeling: Trainingsdata dekte 2010–2022; validatiedata was uit 2022; en de vastgehouden testset dekte 2023 tot en met 1 december 2023.
• Evaluatiemetrics:
  • Classificatie: Nauwkeurigheid, Precisie, F1-score en Binary Cross-Entropy Loss.
  • Regression: Mean Squared Error (MSE).
  • Portefeuilleprestaties: Gemiddelde dagelijkse rendementen van een strategie die dagelijks de top 5 koopt en de bottom 5 voorspelde aandelen short gaat.
• Toepassing: Een op Streamlit gebaseerde applicatie is ontwikkeld om real-time voorspellingen en technische indicatoren te visualiseren, waarmee de praktische implementatie van de modellen wordt aangetoond.

Belangrijkste Resultaten

Classificatieprestaties

Vooraf trainen op de TSX-index verbeterde significant het vermogen van de Transformer om te generaliseren naar individuele aandelen.

• Loss-reductie: Vooraf trainen verlaagde de binary cross-entropy loss voor de voorspelling van individuele aandelen van 0,6942 (willekeurige initialisatie) naar 0,6404.
• Nauwkeurigheid versus F1: Hoewel de baseline Transformer de hoogste testnauwkeurigheid behaalde (0,6667), slaagde het er niet in om de minderheidsklasse (positieve rendementen) effectief te voorspellen, wat resulteerde in een precisie en F1-score van 0,0000. Het XGBoost-model behaalde de sterkste algehele classificatieprestatie met de hoogste F1-scores (Test F1: 0,5675) en precisie.
• Vergelijking: De fijn afgestemde Transformer presteerde beter dan de fijn afgestemde LSTM in classificatiemetrics, maar werd ingehaald door XGBoost.

Regressieprestaties

In de regressietaken vertoonden deep learning-modellen met vooraf trainen superieure nauwkeurigheid in het minimaliseren van fouten.

• MSE: De fijn afgestemde Transformer behaalde de laagste test-MSE (5,682e-9), wat licht beter was dan de fijn afgestemde LSTM (5,683e-9). Beide deep learning-modellen presteerden significant beter dan de XGBoost (9,923e-9) en Ensemble (6,147e-9) modellen op het gebied van regressienauwkeurigheid.
• Portefeuillerendementen: Ondanks de superieure regressienauwkeurigheid van de Transformer, genereerde het Ensemble-model het hoogste gemiddelde dagelijkse portefeuillerendement (0,0069), gevolgd door XGBoost (0,0059). De Transformer- en LSTM-modellen leverden lagere rendementen op (respectievelijk 0,0003 en 0,0002).
• Analyse: De auteurs merken op dat modellen met een lagere MSE (Transformers/LSTMs) de neiging hadden aandelen te selecteren met voorspelde rendementen dichter bij nul, terwijl de XGBoost- en Ensemble-modellen aandelen selecteerden met grotere rendementsvariatie, wat leidde tot hogere gerealiseerde winsten in dit specifieke backtestscenario.

Betekenis en Claims

Het paper beweert bescheiden dat hoewel de behaalde absolute rendementen positief maar relatief bescheiden waren, de studie bewijs levert voor de doeltreffendheid van transfer learning in financiële prognoses.

• Waarde van vooraf trainen: De primaire bevinding is dat vooraf trainen op geaggregeerde marktindexdata modellen helpt gegeneraliseerde patronen te leren, waardoor de chaotische fluctuaties die inherent zijn aan individuele aandelen data worden gladgestreken. Deze aanpak slaagde erin de loss te verminderen en de regressienauwkeurigheid te verbeteren in vergelijking met willekeurige initialisatie.
• Architectuurtrade-offs: Het onderzoek benadrukt een onderscheid tussen het minimaliseren van voorspellingfouten (MSE) en het maximaliseren van handelswinstgevendheid. Hoewel Transformers uitblonken in regressienauwkeurigheid, bleken ensemble-methoden en op bomen gebaseerde modellen (XGBoost) effectiever in het vastleggen van de variatie die nodig is voor winstgevende handelsstrategieën in deze specifieke context.
• Praktische toepassing: De ontwikkeling van een functionele applicatie demonstreert de haalbaarheid van het integreren van deze modellen in real-time trading support-systemen.

De auteurs concluderen dat hoewel de inherente moeilijkheid van aandelenmarktdata de prestaties beperkt, de voorgestelde methodologie een veelbelovende richting biedt voor het verbeteren van voorspellingen voor individuele aandelen. Toekomstig werk wordt voorgesteld om de modelcapaciteit te vergroten, bredere mondiale indicatoren op te nemen en risicomanagementstrategieën te integreren om aandelen met lage voorspelbaarheid te filteren.