Generalized Stock Price Prediction for Multiple Stocks Combined with News Fusion

Questo articolo presenta un modello generalizzato per la previsione dei prezzi azionari di più titoli che integra i grandi modelli linguistici con le notizie finanziarie, utilizzando embedding dei nomi delle azioni e meccanismi di attenzione per filtrare le notizie rilevanti, ottenendo una riduzione del 7,11% dell'errore medio assoluto rispetto ai metodi tradizionali.

L'essenziale

Immagina di dover prevedere il meteo di domani. Non ti basta guardare solo il termometro di oggi (il prezzo delle azioni); devi anche leggere le notizie sul vento, le nuvole e le previsioni dei meteorologi (le notizie finanziarie).

Questo articolo racconta la storia di un nuovo "super-astrologo" digitale, capace di prevedere il futuro delle azioni di borsa leggendo migliaia di giornali ogni giorno.

1. Il Problema: Troppa "Rumore" nella Stanza

Fino a poco tempo fa, prevedere il prezzo di un'azione era come cercare di ascoltare una conversazione specifica in una stanza piena di 200 persone che urlano tutte contemporaneamente.

• I vecchi metodi: Guardavano solo il termometro (i prezzi passati) o cercavano di filtrare le voci leggendo solo parole chiave (es. "Apple"). Spesso, però, mancavano informazioni importanti o si lasciavano entrare troppe notizie inutili che confondevano il modello.
• Il nuovo approccio: Invece di cercare di isolare una voce, il nuovo sistema ascolta tutte le voci della stanza, ma ha un trucco speciale per capire chi sta parlando di quella specifica persona che ci interessa.

2. La Soluzione: Il "Filtro Magico" (Pooling Attento)

Gli autori hanno creato un modello che usa un'intelligenza artificiale molto potente (chiamata LLM, come un cervello digitale che ha letto quasi tutto internet) per leggere le notizie.

Il problema è: come fa il cervello digitale a sapere quale notizia riguarda l'azienda "TSMC" e quale riguarda "Apple", se ci sono 200 articoli in un solo giorno?

Hanno inventato tre metodi creativi, come se fossero diversi tipi di filtri magici:

• Il Filtro "Cercatore" (Cross-Attention): Immagina di avere un cartellino con scritto "TSMC". Il sistema usa questo cartellino come una "lente di ingrandimento" per scansionare tutte le notizie. Se una notizia parla di TSMC, la lente si illumina e il sistema la legge attentamente. Se parla di altro, la ignora.
• Il Filtro "Misto" (Self-Attention): Qui, il sistema mette il nome dell'azienda (es. "TSMC") in fila insieme alle notizie, come se fosse un altro partecipante alla conversazione. Tutti (notizie e nome) si guardano negli occhi e decidono insieme quali informazioni sono importanti. È come se il nome dell'azienda sussurrasse alle notizie: "Ehi, tu mi riguardi, tu no".
• Il Filtro "Ordinato" (Position-Aware): Questo è come il filtro misto, ma tiene anche conto dell'ordine in cui le notizie sono arrivate, come se fosse una fila ordinata di persone.

3. Il Grande Esperimento: Un Solo Modello per Tutti

La cosa geniale di questo lavoro è che non hanno costruito un "astrologo" diverso per ogni azienda. Hanno addestrato un unico modello generale che impara a prevedere il prezzo per tutte le aziende contemporaneamente.
È come se avessero insegnato a un unico studente a studiare per l'esame di matematica, storia e scienze allo stesso tempo, invece di assumere tre professori diversi. Questo rende il sistema più intelligente e capace di vedere schemi che un modello singolo non vedrebbe.

4. I Risultati: Funziona Davvero?

Hanno fatto delle prove su due mercati:

1. Taiwan: Hanno usato i nomi completi delle aziende (es. "MediaTek"). Qui, il sistema ha funzionato benissimo, riducendo gli errori di previsione del 7% rispetto ai metodi precedenti. È come se il filtro magico avesse eliminato il 7% del "rumore" di fondo.
2. Stati Uniti: Hanno usato i codici brevi delle aziende (es. "AAPL" invece di "Apple"). Qui c'era un piccolo ostacolo: i codici brevi sono ambigui (la lettera "F" potrebbe essere Ford o Ford Motor Company?). Il sistema ha funzionato, ma il filtro "Cercatore" si è un po' confuso perché il nome era troppo corto. Il filtro "Misto" (Self-Attention) è stato più robusto e ha funzionato meglio.

5. Il Prezzo da Pagare: La Velocità

C'è un piccolo rovescio della medaglia. Questo "super-astrologo" è molto potente, ma è anche lento e costoso da far girare.

• Un vecchio metodo (LSTM) impiega circa 30 minuti per allenarsi.
• Questo nuovo metodo con l'Intelligenza Artificiale avanzata impiega circa due giorni.
  Tuttavia, il paper conclude che vale la pena aspettare due giorni se il risultato è molto più preciso. È come scegliere tra una ricetta veloce fatta con il microonde (veloce ma meno buona) e una ricetta lenta fatta al forno (lenta ma deliziosa).

In Sintesi

Gli autori hanno creato un sistema che, invece di leggere solo i numeri, legge le notizie e usa il nome dell'azienda come una bussola per trovare le informazioni giuste nel caos dei media.

• Il trucco: Usare il nome dell'azienda per filtrare le notizie.
• Il risultato: Previsioni più accurate e meno errori.
• La morale: Per prevedere il futuro della borsa, non basta guardare i grafici; bisogna ascoltare la conversazione globale, ma sapendo esattamente a chi prestare attenzione.

Sommario tecnico

1. Il Problema

La previsione dei prezzi azionari rimane una sfida complessa nel campo della finanza. Sebbene gli approcci tradizionali (come ARIMA e RNN) siano diffusi, le recenti evoluzioni dei Modelli Linguistici su Grande Scala (LLM) offrono nuove opportunità. Tuttavia, esistono due ostacoli principali nell'integrazione dei dati testuali (notizie finanziarie) con i dati storici dei prezzi:

1. Rumore e Rilevanza: Aggregare tutte le notizie giornaliere senza filtraggio introduce un'enorme quantità di rumore, che ostacola l'analisi. Al contrario, i metodi di recupero basati su parole chiave tradizionali spesso mancano di informazioni implicitamente rilevanti o producono dataset troppo piccoli.
2. Generalizzazione: La maggior parte degli studi precedenti si concentra su modelli addestrati su singole azioni. Manca un approccio unificato in grado di gestire più azioni simultaneamente, catturando le dinamiche di mercato collettive senza perdere la specificità di ciascun titolo.

2. Metodologia Proposta

Gli autori propongono un framework di previsione unificato che integra notizie finanziarie e dati sui prezzi utilizzando un LLM come motore di previsione. L'architettura si articola in quattro moduli principali:

A. Codifica delle Notizie (News Encoding)

Ogni articolo di notizie viene codificato indipendentemente utilizzando modelli linguistici pre-addestrati (BERT per il mercato taiwanese, DeBERTa per il dataset BigData23). Viene utilizzata la rappresentazione del token [CLS] dell'ultimo strato per ottenere un embedding semantico fisso di lunghezza dell'articolo.

B. Pooling Attentivo (Attentive Pooling)

Poiché il numero di notizie giornaliere è elevato (media di ~220 articoli/giorno), è necessario aggregarli in un singolo vettore rappresentativo. Per filtrare le notizie irrilevanti per una specifica azione, il modello utilizza l'embedding del nome dell'azione come query o contesto all'interno di tre meccanismi di pooling attentivo:

1. Cross-attentive Pooling (CAP): L'embedding del nome dell'azione funge da Query, mentre le notizie sono Key e Value. Questo permette di pesare le notizie in base alla loro rilevanza semantica rispetto al nome dell'azione.
2. Self-attentive Pooling (SAP): L'embedding del nome dell'azione viene concatenato alla sequenza delle notizie e l'attenzione è calcolata su tutta la sequenza (incluso il nome).
3. Position-aware Self-attentive Pooling (PA-SAP): Simile al SAP, ma aggiunge embedding posizionali per catturare l'ordine temporale delle notizie all'interno della giornata.

C. Fusione Notizie-Prezzo (News-Price Fusion)

Le rappresentazioni delle notizie aggregate vengono fuse con la serie temporale dei prezzi storici (20 giorni) attraverso tre strategie combinate:

• Cross-attention Bidirezionale: Calcola l'attenzione "Prezzo->Notizie" e "Notizie->Prezzo" per catturare le dipendenze reciproche.
• GCN (Graph Convolutional Network): Una GCN a due strati modella le dipendenze strutturali tra le azioni, seguita da una CausalCNN (finestra di 5 giorni) per aggregare le dinamiche temporali a breve termine.
• Fusione Finale: I risultati delle diverse strategie di fusione vengono combinati con una media ponderata appresa per generare le "Caratteristiche Consapevoli dell'Azione" (Stock-aware Features).

D. Patch Reprogramming e LLM

Per colmare il divario tra i dati numerici (prezzi) e la natura tokenizzata degli LLM, viene utilizzata la tecnica di Patch Reprogramming (presa da Time-LLM). Le caratteristiche fuse vengono mappate nello spazio di embedding dell'LLM tramite un layer lineare e un meccanismo di cross-attention. L'LLM (es. LLaMA o GPT-2) rimane congelato (frozen); solo i layer di reprogramming e il layer di previsione finale vengono addestrati.

3. Contributi Chiave

1. Modello di Previsione Generalizzato: Sviluppo di un singolo modello unificato addestrato su più azioni (sia su TWSE che su mercati USA), capace di catturare dinamiche di mercato trasversali.
2. Meccanismo di Selezione Semantica delle Notizie: Introduzione di un meccanismo di pooling guidato dagli embedding dei nomi delle azioni, che sfrutta la conoscenza semantica degli LLM per filtrare automaticamente il rumore dalle notizie finanziarie senza bisogno di recupero esterno.
3. Integrazione Avanzata di Dati: Fusione di rappresentazioni testuali non strutturate e dati numerici strutturati tramite GCN e cross-attention bidirezionale, alimentando un LLM per la previsione.
4. Validazione Empirica: Sperimentazione su due dataset distinti (Taiwanese TW21 e USA BigData23), dimostrando l'efficacia del metodo in diversi contesti di mercato.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui dati del mercato azionario taiwanese (6 azioni principali) e sul dataset BigData23 (42 azioni USA).

• Riduzione dell'Errore: Il metodo proposto ha mostrato una riduzione del 7,11% dell'Errore Medio Assoluto (MAE) rispetto alla baseline (Time-LLM senza notizie) nel contesto del mercato taiwanese.
• Performance dei Pooling:
  • Il Self-attentive Pooling (SAP) ha dimostrato la varianza di errore più bassa e prestazioni consistenti su diverse azioni, risultando spesso superiore al Cross-attentive Pooling (CAP) in termini di stabilità.
  • Il Cross-attentive Pooling (CAP) ha ottenuto i risultati migliori su azioni a grande capitalizzazione (es. TSMC, Foxconn), ma con una varianza maggiore.
• Impatto del Prompting: L'uso di prompt con il nome dell'azione (Stock Name Prompt) ha migliorato le prestazioni in alcuni casi, ma il meccanismo di attenzione basato sugli embedding del nome è stato sufficiente per filtrare le notizie rilevanti.
• Limiti nei Dataset USA: Sul dataset BigData23, basato su ticker abbreviati (es. "F" per Ford), le prestazioni del CAP sono diminuite a causa dell'ambiguità semantica dei ticker. Il SAP ha mantenuto prestazioni migliori, suggerendo che la fusione tramite auto-attenzione è meno dipendente dalla precisione semantica del nome dell'entità rispetto all'attenzione incrociata.
• Costo Computazionale: L'uso di LLM comporta un costo computazionale significativamente più alto rispetto a modelli leggeri come LSTM (2 giorni di addestramento vs 30 minuti), ma il guadagno in accuratezza (riduzione MAE del 56% rispetto a LSTM) giustifica l'investimento per applicazioni ad alta precisione.

5. Significato e Implicazioni

Questo lavoro dimostra che è possibile costruire un modello di previsione azionaria generalizzato che non richiede un addestramento specifico per ogni singola azione. L'innovazione principale risiede nell'uso intelligente degli embedding dei nomi delle azioni all'interno dei meccanismi di attenzione per filtrare il rumore informativo in tempo reale.

Il studio evidenzia che:

• La conoscenza semantica degli LLM può essere sfruttata efficacemente per la finanza quantitativa.
• La fusione di dati testuali e numerici tramite architetture ibride (GCN + Attention + LLM) supera i metodi tradizionali.
• Esistono sfide specifiche nell'adattare questi modelli a mercati con dati di input meno semantici (come i ticker brevi), suggerendo la necessità di tecniche di Entity Linking per futuri sviluppi.

In conclusione, il framework proposto offre una soluzione robusta per la previsione dei prezzi azionari che scala bene su più asset, riducendo significativamente gli errori di previsione rispetto alle linee di base esistenti.