Retrieval-Augmented Large-Language-Model-Based Time-Series Forecasting for Cross-Market Equity Analysis

Sintesi Tecnica: Previsione di Serie Temporali Basata su Large Language Model con Recupero Aumentato per l'Analisi Cross-Market di Azioni

Problematica
Il documento affronta la sfida di prevedere i rendimenti azionari in mercati finanziari rumorosi e parzialmente non stazionari. Sebbene i modelli di fondazione per serie temporali come Lag-Llama offrano backbone probabilistici di previsione riutilizzabili e capaci di generalizzazione zero-shot, rimane poco chiaro se il recupero esplicito di finestre storiche analoghe possa ridurre costantemente gli errori di previsione attraverso diversi regimi di mercato, asset e orizzonti temporali. La letteratura esistente si concentra spesso su modelli specifici per il compito o studi di caso su singoli mercati, lasciando un vuoto nella comprensione di come i meccanismi di recupero aumentato funzionino come correzioni di memoria esterna per i modelli di fondazione pre-addestrati in contesti azionari cross-market.

Metodologia
Lo studio introduce il Cross-Market Retrieval-Augmented Lag-Llama (CM-RAF-Lag-Llama), un framework controllato che aumenta un previsore probabilistico Lag-Llama fisso con uno strato di recupero senza riaddestrare il backbone.

• Dati e Panel: La valutazione utilizza tre panel bilanciati da sette asset provenienti da mercati emergenti e sviluppati: IDX7 (Indonesia), US7 (Stati Uniti) e JP7 (Giappone). I dati consistono in prezzi di chiusura giornalieri da Yahoo Finance (2019–2025), preprocessati con riempimento in avanti (forward-filling), medie mobili a 5 giorni e trasformazione in rendimento percentuale.
• Workflow Ibrido:
  1. Previsione Base: Lag-Llama genera una previsione probabilistica basata su una finestra di contesto.
  2. Recupero (Retrieval): Le finestre storiche di addestramento vengono incorporate utilizzando descrittori statistici (media, deviazione standard, estremi, quantili, riassunti della finestra recente) e indicizzate tramite FAISS.
  3. Ricerca di Similarità: Il contesto attuale viene interrogato contro il database di memoria usando la distanza Euclidea per recuperare le continuazioni storiche più vicine (nearest-neighbor).
  4. Fusione: Il segnale della continuazione recuperata viene fuso con la previsione base tramite una media ponderata: $\hat{y}_H = (1 - \alpha)\hat{y}_{LL} + \alpha\hat{y}_R$.
• Design Sperimentale:
  • Griglia Cross-Market: Una valutazione a griglia completa su 48 configurazioni (3 panel × 4 lunghezze di contesto [32, 64, 128, 256] × 4 orizzonti di previsione [30, 60, 90, 120 giorni]).
  • Varianti di Recupero: Lo studio confronta "Lag-Llama-only" con "RAF-raw" (fusione a valore fisso) e "RAF-sel." (fusione selezionata tramite validazione, dove la chiave di recupero ottimale e la scala di fusione sono scelte in base alle finestre di validazione).
  • Estensione Stock-Feature: Un esperimento secondario valuta target derivati da OHLCV (log-prezzo, log-volume, range-volatilità, volatilità realizzata a 20 giorni) attraverso 72 configurazioni per testare se rappresentazioni azionarie più ricche migliorino l'efficacia del recupero.
  • Ablazione a Livello di Meccanismo: Valutazioni dettagliate zero-shot e basate su scheduler (learning rate 0.0005) su una singola serie (BBCA.JK) per isolare le sensibilità all'orizzonte e alla lunghezza del contesto.
• Metriche: Le prestazioni sono misurate utilizzando l'Errore Quadratico Medio (MSE) per la precisione della previsione puntuale e il Continuous Ranked Probability Score (CRPS) per la qualità probabilistica.

Risultati Chiave

• Validazione Cross-Market: Nell'esperimento sui soli rendimenti, almeno una variante di recupero ha ridotto l'MSE in tutte le 48 configurazioni. Le riduzioni aggregate dell'MSE sono state del 28,85% (IDX7), 27,27% (US7) e 33,60% (JP7) rispetto a Lag-Llama-only. La variante di recupero selezionata tramite validazione ha superato costantemente il recupero raw in 41 delle 48 configurazioni.
• Estensione Stock-Feature: Per i target derivati da OHLCV, il RAF selezionato tramite validazione ha ridotto l'MSE rispetto a Lag-Llama-only in 68 delle 72 configurazioni. Ha ottenuto l'MSE più basso tra tutti i sistemi confrontati (inclusi baseline esterne come Random Forest, KNN e PatchTST) in 22 configurazioni, dominando notevolmente nei target di volatilità e volume di US7 (17 su 18 impostazioni diverse dal log-prezzo).
• Approfondimenti a Livello di Meccanismo:
  • Sensibilità all'Orizzonte: Il recupero è stato più efficace per orizzonti medi-lunghi (60–120 giorni). In contesti zero-shot, le previsioni a 30 giorni hanno spesso registrato un aumento dell'errore, suggerendo che il recupero introduca rumore quando le dinamiche locali predominano.
  • Lunghezza del Contesto: Lunghezze di contesto moderate (32 e 64) hanno prodotto i risultati migliori. Una lunghezza del contesto di 256 ha spesso degradato le prestazioni, particolarmente per il CRPS, implicando che finestre eccessivamente lunghe diluiscono le rappresentazioni della query con regimi di mercato eterogenei.
  • Adattamento: L'impostazione basata su scheduler ha stabilizzato le prestazioni, riducendo l'MSE in 14 delle 16 configurazioni rispetto alle 12 delle 16 dello zero-shot, sebbene lo zero-shot abbia mostrato riduzioni medie leggermente superiori quando il recupero era ben allineato.
  • MSE vs. CRPS: Il recupero ha migliorato costantemente l'accuratezza della previsione puntuale (MSE) in modo più affidabile rispetto alla calibrazione probabilistica (CRPS), indicando che il meccanismo corregge principalmente la media della previsione piuttosto che rimodellare l'intera distribuzione dell'incertezza.

Significatività e Rivendicazioni
Il documento sostiene di fornire prove controllate che il recupero aumentato funga da efficace correzione di memoria esterna per la previsione di modelli di fondazione in mercati azionari. I suoi contributi primari sono:

1. Validazione del Recupero come Strato di Correzione: Dimostrare che il recupero storico esplicito può ridurre gli errori per un backbone Lag-Llama pre-addestrato e fisso senza richiedere il riaddestramento completo o cambiamenti architettonici.
2. Generalizzabilità Cross-Market: Stabilire che queste riduzioni di errore non sono artefatti di un singolo mercato, ma persistono attraverso i panel azionari sia emergenti (IDX) che sviluppati (US, JP).
3. Utilità Dipendente dalla Configurazione: Chiarire che il recupero non è universalmente benefico; il suo valore dipende dall'orizzonte di previsione (più utile per 60+ giorni) e dalla lunghezza del contesto (ottimale a 32–64 step).
4. Efficacia Specifica per il Target: Mostrare che il sistema ibrido è particolarmente competitivo quando si prevedono target con strutture di volatilità o volume riutilizzabili (es. volatilità realizzata) piuttosto che livelli di prezzo grezzi.

Gli autori posizionano questo lavoro come un'alternativa trasparente e leggera al riaddestramento di grandi modelli, adatta a scenari in cui le risorse computazionali sono limitate o dove si preferiscono correzioni all'inferenza più interpretabili rispetto ad aggiornamenti del modello opachi. Essi notano esplicitamente che il miglioramento dell'errore di previsione non garantisce strategie di trading profittevoli a causa di costi di transazione e impatto di mercato non modellati, inquadrando l'utilità principalmente come uno strumento di supporto alle decisioni per l'analisi degli scenari e la pianificazione del rischio.