Retrieval-Augmented Large-Language-Model-Based Time-Series Forecasting for Cross-Market Equity Analysis

Technische Samenvatting: Retrieval-Augmented Large-Language-Model-Based Time-Series Forecasting voor Cross-Market Aandelenanalyse

Probleemstelling
Het artikel behandelt de uitdaging van het voorspellen van aandelenrendementen in ruisige, gedeeltelijk niet-stationaire financiële markten. Hoewel tijdreeks-fundatiemodellen zoals Lag-Llama beschikken over herbruikbare, probabilistische voorspellingsbackbones die in staat zijn tot zero-shot generalisatie, blijft het onduidelijk of expliciete retrieval van analoge historische vensters consistent de voorspellingsfouten kan verminderen over verschillende marktregimes, activa en horizonten. Bestaande literatuur richt zich vaak op taakspecifieke modellen of single-market casestudies, waardoor er een gat ontstaat in het begrip van hoe retrieval-augmented mechanismen functioneren als externe geheugencorrecties voor pre-trained fundatiemodellen in cross-market aandelenomgevingen.

Methodologie
De studie introduceert Cross-Market Retrieval-Augmented Lag-Llama (CM-RAF-Lag-Llama), een gecontroleerd framework dat een vaste Lag-Llama probabilistische voorspeller aanvult met een retrieval-laag zonder de backbone te hertrainen.

• Data en Panels: De evaluatie maakt gebruik van drie gebalanceerde panels van zeven activa uit opkomende en ontwikkelde markten: IDX7 (Indonesië), US7 (Verenigde Staten) en JP7 (Japan). De data bestaat uit dagelijkse slotkoersen van Yahoo Finance (2019–2025), voorbewerkt met forward-filling, 5-daagse voortschrijdende gemiddelden en procentuele rendementstransformatie.
• Hybride Workflow:
  1. Base Forecast: Lag-Llama genereert een probabilistische voorspelling op basis van een contextvenster.
  2. Retrieval: Historische trainingsvensters worden geëmbed met statistische beschrijvers (gemiddelde, standaarddeviatie, extremen, kwantielen, recente venster-samenvattingen) en geïndexeerd via FAISS.
  3. Similarity Search: Het huidige contextvenster wordt tegen de geheugenbank bevraagd met behulp van Euclidische afstand om nabijgelegen historische continuaties te extraheren.
  4. Fusion: Het geretourneerde continuatiesignaal wordt gefuseerd met de base forecast via een gewogen gemiddelde: $\hat{y}_H = (1 - \alpha)\hat{y}_{LL} + \alpha\hat{y}_R$.
• Experimenteel Ontwerp:
  • Cross-Market Grid: Een full-grid evaluatie over 48 configuraties (3 panels × 4 contextlengtes [32, 64, 128, 256] × 4 voorspellingshorizonten [30, 60, 90, 120 dagen]).
  • Retrieval Varianten: De studie vergelijkt "Lag-Llama-only" met "RAF-raw" (fixed fusion) en "RAF-sel." (validation-selected fusion, waarbij de optimale retrieval-key en fusieschaal worden gekozen op basis van validatievensters).
  • Stock-Feature Extensie: Een secundair experiment evalueert OHLCV-afgeleide targets (log-prijs, log-volume, range-volatiliteit, 20-daagse gerealiseerde volatiliteit) over 72 configuraties om te testen of rijkere aandelenrepresentaties de effectiviteit van de retrieval verbeteren.
  • Mechanism-Level Ablatie: Gedetailleerde zero-shot en scheduler-gebaseerde (leersnelheid 0.0005) evaluaties op een enkele reeks (BBCA.JK) om de gevoeligheid voor horizon en contextlengte te isoleren.
• Metrieken: Prestaties worden gemeten met behulp van Mean Squared Error (MSE) voor de precisie van puntvoorspellingen en de Continuous Ranked Probability Score (CRPS) voor de kwaliteit van de probabilistische verdeling.

Belangrijkste Resultaten

• Cross-Market Validatie: In het rendement-only experiment reduceerde ten minste één retrieval-variant de MSE in alle 48 configuraties. De geaggregeerde MSE-reducties waren 28,85% (IDX7), 27,27% (US7) en 33,60% (JP7) ten opzichte van Lag-Llama-only. De validation-selected retrieval variant presteerde consequent beter dan de raw retrieval in 41 van de 48 configuraties.
• Stock-Feature Extensie: Voor OHLCV-afgeleide targets reduceerde de validation-selected RAF de MSE ten opzichte van Lag-Llama-only in 68 van de 72 configuraties. Het behaalde de laagste MSE onder alle vergeleken systemen (inclusief externe baselines zoals Random Forest, KNN en PatchTST) in 22 configuraties, waarbij het met name domineerde in de US7 volatiliteits- en volumetargets (17 van de 18 niet-log-prijs settings).
• Inzichten op Mechanisme-niveau:
  • Horizon Gevoeligheid: Retrieval was het meest effectief bij middel- tot langetermijnhorizonten (60–120 dagen). In zero-shot settings zagen 30-daagse voorspellingen vaak een toename in fouten, wat suggereert dat retrieval ruis introduceert wanneer lokale dynamiek domineert.
  • Context Lengte: Matige contextlengtes (32 en 64) leverden de beste resultaten op. Een contextlengte van 256 verslechterde de prestaties vaak, met name voor CRPS, wat impliceert dat te lange vensters de query-representaties verwateren met heterogene marktregimes.
  • Adaptatie: De scheduler-gebaseerde setting stabiliseerde de prestaties en verminderde de MSE in 14 van de 16 configuraties vergeleken met 12 van de 16 in zero-shot, hoewel zero-shot iets hogere gemiddelde reducties liet zien wanneer retrieval goed aansloot.
  • MSE vs. CRPS: Retrieval verbeterde de nauwkeurigheid van puntvoorspellingen (MSE) consistenter dan de probabilistische kalibratie (CRPS), wat aangeeft dat het mechanisme primair het voorspellingsgemiddelde corrigeert in plaats van de volledige onzekerheidsverdeling te hervormen.

Betekenis en Claims
Het artikel claimt bewijs te leveren dat retrieval-augmentatie dient als een effectieve externe geheugencorrectie voor fundatiemodel-voorspellingen in aandelenmarkten. De primaire bijdragen zijn:

1. Validatie van Retrieval als een Correctielaag: Het aantonen dat expliciete historische retrieval de fouten kan verminderen voor een vaste, pre-trained Lag-Llama backbone zonder dat volledige hertraining of architecturale wijzigingen nodig zijn.
2. Cross-Market Generaliseerbaarheid: Het vaststellen dat deze foutreducties geen artefacten zijn van een enkele markt, maar standhouden over zowel opkomende (IDX) als ontwikkelde (US, JP) aandelenpanels.
3. Configuratie-Afhankelijke Bruikbaarheid: Verduidelijken dat retrieval niet universeel voordelig is; de waarde is afhankelijk van de voorspellingshorizon (nuttiger voor 60+ dagen) en contextlengte (optimaal bij 32–64 stappen).
4. Target-Specifieke Effectiviteit: Laten zien dat het hybride systeem bijzonder competitief is bij het voorspellen van targets met herbruikbare volatiliteits- of volumestructuren (bijv. gerealiseerde volatiliteit) in plaats van ruwe prijsniveaus.

De auteurs positioneren dit werk als een transparant, lichtgewicht alternatief voor het hertrainen van grote modellen, geschikt voor scenario's waarin computationele middelen beperkt zijn of waar interpreteerbare inferentie-tijd correcties de voorkeur hebben boven opake modelupdates. Ze merken expliciet op dat verbeterde voorspellingsfout geen winstgevende handelsstrategieën garandeert vanwege niet-gemodelleerde transactiekosten en marktimpact, waarbij de bruikbaarheid primair wordt geframed als een beslissingsondersteuningstool voor scenario-analyse en risicoplanering.