EP-GAT: Energy-based Parallel Graph Attention Neural Network for Stock Trend Classification

Deze paper introduceert EP-GAT, een energiegebaseerd parallel grafisch aandacht-neuraal netwerk dat dynamische voorraadrelaties en hiërarchische intra-dynamica modelleert om de trendclassificatie van aandelen op diverse wereldwijde markten significant te verbeteren.

De kern

Stel je voor dat de beurs een enorm, drukke markt is, vol met duizenden verkopers (de aandelen). De oude manier om te voorspellen welke verkoper morgen succesvol zou zijn, was als volgt: je keek alleen naar de geschiedenis van die ene verkoper, of je keek naar een statische lijst van wie "collega's" zijn (bijvoorbeeld: alle schoenenverkopers zitten in dezelfde groep).

Het probleem? De beurs is chaotisch. Vandaag is een schoenenverkoper misschien verbonden met een telefoonverkoper omdat ze allebei een nieuwe collectie hebben, maar morgen niet. En die oude lijsten vergeten dat verkopers ook hun eigen interne ritme hebben (zoals een goede dag, een slechte dag, of een lange termijn trend).

De auteurs van dit papier, EP-GAT, hebben een slimme nieuwe manier bedacht om deze markt te begrijpen. Ze noemen hun systeem een "Energie-gebaseerde Parallelle Grafische Aandacht Netwerk". Dat klinkt ingewikkeld, maar het werkt eigenlijk als een super-slimme marktwaarnemer met twee speciale krachten:

1. De "Energie-thermometer" (De Dynamische Kaart)

Stel je voor dat elk aandeel een eigen "energie" heeft, gebaseerd op hoe het zich de afgelopen tijd heeft gedragen.

• Hoe het werkt: In plaats van een statische lijst te gebruiken, kijkt het systeem continu naar het verschil in energie tussen twee aandelen.
• De Analogie: Denk aan de Boltzmann-verdeling als een soort "thermometer" voor de markt. Als de markt "heet" is (veel beweging), zijn de verschillen tussen aandelen minder belangrijk; ze bewegen allemaal mee. Is de markt "koud" (rustig), dan zijn de kleine energieverschillen heel belangrijk.
• Het resultaat: Het systeem tekent elke dag een nieuwe, levende kaart van wie met wie verbonden is. Als twee aandelen plotseling veel op elkaar lijken (hun energie verschilt weinig), trekken ze elkaar aan op de kaart. Als ze heel verschillend zijn, blijven ze uit elkaar. Dit vangt de dynamische relatie tussen aandelen perfect op.

2. De "Meerdere Lagen van Inzicht" (De Parallelle Aandacht)

Vaak kijken oude modellen alleen naar het totaalplaatje en vergeten ze de details. Stel je voor dat je een symfonie hoort. Een oud model zou zeggen: "Het klinkt als muziek." Een nieuw model moet kunnen zeggen: "De violen spelen een snelle melodie, terwijl de cellen een rustige basis houden, en samen maken ze een mooi geheel."

• Het probleem: Traditionele modellen verwarren deze lagen vaak. Ze "vervormen" de fijne details terwijl ze proberen het grote plaatje te zien.
• De oplossing van EP-GAT: Ze gebruiken een Parallelle Aandacht-mechanisme.
• De Analogie: Stel je voor dat je een team van detectives hebt.
  • Detective A kijkt alleen naar de snelle, korte bewegingen (de korte termijn).
  • Detective B kijkt naar de langzame, grote trends (de lange termijn).
  • In plaats dat ze elkaar verwarren, werken ze parallel. Ze houden hun eigen notities bij en combineren ze pas op het einde.
• Het resultaat: Het model behoudt de "hiërarchie" van de informatie. Het weet precies wat er op korte termijn gebeurt én wat de lange termijn trend is, zonder dat de ene het andere verpest.

Wat leverde dit op?

De auteurs hebben dit systeem getest op echte beursdata uit de VS (zoals de NASDAQ) en het VK (zoals de FTSE). Ze hebben het vergeleken met vijf andere slimme systemen.

Het resultaat? EP-GAT won bijna overal.
Het was beter in het voorspellen of een aandeel morgen zou stijgen of dalen. Waarom? Omdat het twee dingen deed die anderen vergeten waren:

1. Het keek naar de levende, veranderende relaties tussen aandelen (niet naar statische lijsten).
2. Het hield de verschillende lagen van informatie (kort en lang) gescheiden en duidelijk, zodat het een scherpere voorspelling kon doen.

Kortom: EP-GAT is als een super-geavanceerde radar die niet alleen kijkt naar wie vandaag met wie praat, maar ook begrijpt hoe die gesprekken veranderen naarmate de dag vordert, en tegelijkertijd luistert naar zowel de snelle flarden als de diepe, rustige stemmen in de menigte.

Technische samenvatting

Probleemstelling

Het voorspellen van aandelenbewegingen is een complex probleem vanwege de stochastische aard en de hoge volatiliteit van de markten. Bestaande diep-lerende methoden, zoals die gebaseerd op Graph Neural Networks (GNN's), hebben twee belangrijke tekortkomingen:

1. Statische Relaties: De meeste huidige modellen gebruiken statische of handmatig gedefinieerde factoren (zoals industriële sectoren) om de interacties tussen aandelen te modelleren. Dit negeert de dynamische, voortdurend veranderende aard van de marktrelaties.
2. Verlies van Hiërarchische Kenmerken: Bestaande methoden hebben moeite om de hiërarchische intra-aandelen dynamiek (temporele patronen binnen een enkel aandeel over verschillende schalen) te behouden tijdens het leerproces, wat leidt tot vervorming van de geleerde representaties.

Daarnaast zijn traditionele modellen (zoals ARIMA of LASSO) vaak beperkt tot individuele aandelen en negeren ze de complexe onderlinge afhankelijkheden.

Methodologie: EP-GAT

De auteurs stellen EP-GAT (Energy-based Parallel Graph Attention Neural Network) voor, een nieuw raamwerk dat bestaat uit twee kerncomponenten:

1. Energie-gebaseerde Dynamische Graafgeneratie
In plaats van statische grafen te gebruiken, genereert EP-GAT een dynamische graaf op elk tijdstip $t$ op basis van de energieverschillen tussen aandelen en de Boltzmann-verdeling.

• Energieberekening: De energie ($E_i$) van een aandeel wordt berekend als de som van de kwadraten van zijn historische indicatorseries (bijv. opening, hoog, laag, gesloten prijs).
• Boltzmann-verdeling: De connectiviteit tussen twee aandelen $i$ en $j$ wordt gemodelleerd als een waarschijnlijkheid die afhangt van het energieverschil $|E_i - E_j|$. De formule is:
  $$A_{i,j}^t = \frac{e^{-\frac{|E_i - E_j|}{k\tau}}}{\sum_{o=1}^{N} e^{-\frac{|E_i - E_o|}{k\tau}}}$$
  Hierbij is $\tau$ de grootte van het 'lag window' (die fungeert als temperatuur $T$) en $k$ een schalingsfactor.
• Dynamiek: Een klein $\tau$ benadrukt energieverschillen (kortetermijneffecten), terwijl een groot $\tau$ de invloeden egaliseert. Dit modelleert de stochastische evolutie van aandelenrelaties.
• Verspilling (Sparsification): Een drempelwaarde $s$ wordt toegepast om de adjacentiematrix te verspillen en ruis te verwijderen.

2. Parallel Graph Attention Mechanisme
Om het verlies van hiërarchische intra-aandelen kenmerken te voorkomen, wordt een parallelle attentie-mechanisme voorgesteld.

• Decoupling: In tegenstelling tot traditionele GNN's waar informatiepropagatie en representatieleer vaak verweven zijn, worden deze hier ontkoppeld.
• Behoud van Representaties: Het mechanisme behoudt de latente representaties van elke propagatielaag ($H_l$) en transformeert deze parallel via multi-head attention.
• Formule: De nieuwe representatie $H'_l$ wordt gevormd door het concateneren van de oorspronkelijke propagatie en een getransformeerde versie via GATv2Conv en multi-head attention. Dit zorgt ervoor dat hiërarchische temporele patronen niet vervormd worden tijdens het doorgeven van informatie.

Belangrijkste Bijdragen

1. Nieuwe Graafconstructie: Een originele methode voor het genereren van dynamische aandelengrafieken op basis van energieverschillen en de Boltzmann-verdeling, wat beter aansluit bij de stochastische marktdynamiek dan statische industriële relaties.
2. Parallelle Attention: Een innovatief mechanisme dat hiërarchische intra-aandelen kenmerken behoudt door latente representaties uit verschillende lagen te fusioneren zonder vervorming.
3. Uitgebreide Validatie: Experimenten op vijf real-world datasets (NASDAQ, NYSE, SP, FTSE, LSE) met in totaal 503 aandelen over een periode van vijf jaar.

Resultaten

De prestaties van EP-GAT werden getest op vijf datasets en vergeleken met vijf concurrenten (waaronder GraphWaveNet, HyperStockGAT, STGCN, Informer en ST-TIS). De evaluatiemetrics waren Accuracy (ACC), Matthews Correlation Coefficient (MCC) en F1-Score.

• Superieure Prestaties: EP-GAT overtrof consistent alle basismodellen op alle vijf de datasets en alle drie de metrics.
  • Gemiddelde verbetering ten opzichte van de baselines: +7,61% in ACC, +2,63×10⁻² in MCC en +0,06 in F1-Score.
• Ablatie Studies:
  • Het vervangen van de energie-gebaseerde graaf door een vooraf gedefinieerde (statische) graaf leidde tot een prestatieverlies van gemiddeld 2,25%. Dit bevestigt het belang van dynamische modellering.
  • Het verwijderen van het parallelle attention mechanisme leidde tot een daling van 8,05%, wat aantoont dat het behoud van hiërarchische kenmerken cruciaal is.
• Hyperparameter Analyse: De studie toonde aan dat een 'lag window' ($\tau$) tussen 14 en 23 dagen optimaal is, en dat de drempelwaarde voor verspilling ($s$) zorgvuldig moet worden gekozen om een balans te vinden tussen ruis en connectiviteit.

Significantie en Conclusie

EP-GAT biedt een robuustere oplossing voor aandelenvoorspelling door twee fundamentele beperkingen van bestaande methoden aan te pakken: het gebruik van statische grafen en het verlies van temporele hiërarchie.

• Significantie: Het paper demonstreert dat het modelleren van aandelen als een systeem met energieverschillen (via de Boltzmann-verdeling) effectiever is dan het gebruik van statische sectorrelaties. Daarnaast bewijst het dat het expliciet behouden van hiërarchische kenmerken essentieel is voor nauwkeurige voorspellingen.
• Beperkingen: De huidige implementatie gebruikt ongerichte grafen (niet-rechtstreekse invloeden) en de parallelle attention kan rekenkundig intensief zijn bij zeer grote markten.
• Toekomst: Toekomstig werk richt zich op het modelleren van gerichte relaties (wie beïnvloedt wie) en het verbeteren van de schaalbaarheid van het attention mechanisme.

Kortom, EP-GAT zet een nieuwe standaard voor dynamische graafmodellen in de financiële voorspelling door fysische principes (energie en thermodynamica) te combineren met geavanceerde deep learning architecturen.