Sentiment-Aware Stock Price Prediction with Transformer and LLM-Generated Formulaic Alpha

Questo studio presenta un nuovo framework che integra un modello linguistico di grandi dimensioni (LLM) per generare alfa formulaici basati sul sentiment e un modello Transformer, dimostrando come tale combinazione migliori significativamente l'accuratezza nella previsione dei prezzi azionari e ne aumenti l'interpretabilità.

L'essenziale

📈 Prevedere il Futuro in Borsa: Quando l'AI diventa il "Cervellone" Finanziario

Immagina di dover prevedere il prezzo di un'auto usata. Potresti guardare solo il chilometraggio e l'anno di produzione (i dati tecnici), ma se sai che il proprietario ha appena vinto alla lotteria o che il suo concorrente ha lanciato un modello rivoluzionario, la tua previsione sarà molto più accurata.

Questo è esattamente il problema che gli analisti finanziari affrontano ogni giorno: come prevedere il prezzo delle azioni?

Tradizionalmente, gli esperti umani cercavano di creare delle "formule magiche" (chiamate alpha) mescolando dati tecnici e intuizione. Ma il mercato cambia così velocemente che queste formule invecchiano e smettono di funzionare (un fenomeno chiamato "decadimento dell'alpha"). È come cercare di guidare un'auto moderna con una mappa cartacea del 1990: utile per un po', ma presto ti perdi.

Questo studio propone una soluzione rivoluzionaria: usare un'Intelligenza Artificiale avanzata (un LLM) per scrivere nuove formule magiche ogni giorno, e poi usare un'altra AI per prevedere il prezzo.

Ecco come funziona, passo dopo passo, con qualche analogia:

1. Il Cuore del Sistema: L'AI che "Pensa" come un Trader

Immagina di avere un assistente personale super-intelligente (l'LLM, come un ChatGPT molto esperto).

• Cosa gli dai in pasto? Gli dai i dati di base (prezzo di apertura/chiusura, volume) e, cosa fondamentale, l'umore del mercato.
• L'ingrediente segreto: Non guarda solo l'azienda target (es. Apple). Guarda anche le aziende "parenti" o rivali (es. Microsoft, Samsung, Tesla). Se c'è una notizia positiva su un fornitore o un concorrente, l'AI lo capisce. È come se, per prevedere il successo di un ristorante, guardassi anche cosa dicono i clienti del ristorante di fronte e del fornitore di verdure.
• Il compito: Chiediamo a questa AI: "Ehi, crea 5 nuove formule matematiche che mescolino questi dati per dirmi dove andrà il prezzo domani."
• Il risultato: L'AI non ti dà solo un numero, ma una formula spiegata in linguaggio umano. Ad esempio: "Se il prezzo è sceso molto (RSI basso) E i sentimenti su Amazon sono positivi, allora il prezzo potrebbe salire."

2. Il Motore di Previsione: Il "Cervello" Transformer

Una volta che l'AI ha scritto queste nuove formule, non le usiamo per comprare azioni direttamente. Le usiamo come ingredienti per un altro modello AI chiamato Transformer.

• L'analogia: Immagina che l'LLM sia lo Chef che prepara gli ingredienti (le formule) e il Transformer sia il Cuoco esperto che li cuoce per creare il piatto finale (la previsione del prezzo).
• Il Transformer è bravissimo a ricordare le sequenze: ricorda cosa è successo ieri, l'altro ieri e la settimana scorsa, e usa le nuove formule create dallo Chef per capire il futuro.

3. Perché è diverso da prima?

• Prima: Gli umani scrivevano le formule. Era lento, costoso e le formule diventavano obsolete in fretta.
• Ora: L'AI scrive le formule in pochi secondi, adattandosi alle notizie di oggi. Se c'è una crisi improvvisa, l'AI crea una nuova formula che tiene conto di quella crisi. È come avere un team di ricercatori che lavora 24 ore su 24 per trovare nuovi modi di guardare il mercato.

4. Cosa hanno scoperto?

Gli autori hanno testato questo sistema su 5 grandi aziende (Apple, HSBC, Pepsi, Toyota, Tencent) e hanno scoperto tre cose importanti:

1. Funziona meglio: Le previsioni fatte con le formule create dall'AI sono molto più accurate rispetto a quelle fatte con le vecchie formule umane o con modelli statistici classici.
2. È più stabile: Anche se l'AI crea formule diverse ogni volta che la fai ripartire, le previsioni restano affidabili. Non è un "colpo di fortuna".
3. È trasparente: A differenza di altre "scatole nere" dove non sai perché l'AI ha preso una decisione, qui l'AI ci dice perché ha creato quella formula. Ci spiega il ragionamento (es. "Ho unito il prezzo di Toyota con quello di BYD perché sono rivali"). Questo aiuta gli umani a fidarsi di più.

🎯 In sintesi

Questo studio ci dice che il futuro della finanza non è solo "più dati", ma più intelligenza nel modo in cui usiamo i dati.
Invece di far lavorare gli umani a creare formule noiose e ripetitive, lasciamo che l'AI faccia il lavoro creativo di trovare connessioni strane (come il legame tra il sentiment su Amazon e il prezzo della Pepsi) e poi usiamo un altro modello AI per trasformare queste intuizioni in previsioni precise.

È come passare dall'avere una bussola rotta all'avere un GPS che si aggiorna in tempo reale, capisce il traffico, le condizioni meteo e ti dice esattamente quale strada prendere per arrivare a destinazione.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper in italiano, strutturato secondo le sezioni richieste.

Titolo: Previsione del Prezzo delle Azioni Consapevole del Sentiment con Transformer e Alpha Formulaici Generati da LLM

1. Il Problema

Il mercato azionario è un sistema complesso influenzato da fondamentali aziendali, pattern tecnici, sentiment e eventi esterni. La previsione dei prezzi azionari rimane una sfida significativa per diversi motivi:

• Degrado dell'Alpha (Alpha Decay): I fattori predittivi ("alpha") creati manualmente dagli analisti tendono a perdere efficacia nel tempo man mano che vengono scoperti e sfruttati da altri trader, rendendo necessario un processo continuo e costoso di ricerca di nuovi segnali.
• Limiti dei Modelli Tradizionali: I modelli statistici classici (ARIMA, GARCH) e l'apprendimento automatico tradizionale (Random Forest, SVR) faticano a catturare le relazioni non lineari e le dipendenze a lungo termine nelle serie temporali finanziarie.
• Rumore e Instabilità: L'uso diretto di caratteristiche finanziarie grezze spesso porta a previsioni rumorose e instabili.
• Mancanza di Interpretabilità: I modelli di deep learning avanzati agiscono spesso come "scatole nere", offrendo previsioni accurate ma senza spiegare il ragionamento sottostante, il che riduce la fiducia nei processi decisionali finanziari.

2. Metodologia

Gli autori propongono un framework innovativo che integra un Modello Linguistico di Grande Dimensione (LLM) basato su prompt con un modello Transformer per la previsione dei prezzi. Il processo si articola in quattro fasi principali:

• Raccolta e Preprocessing dei Dati:

  • Azioni: Sono state selezionate 5 aziende (Apple, HSBC, Pepsi, Toyota, Tencent) per coprire diversi settori. I dati storici (Open, High, Low, Close, Volume) coprono il periodo dal 1° maggio 2016 all'8 maggio 2024.
  • Indicatori Tecnici: Calcolati tramite la libreria pandas-ta (SMA, EMA, RSI, MACD, Bollinger Bands, OBV, Momentum).
  • Analisi del Sentiment: Vengono analizzate notizie giornaliere relative alle aziende target e alle loro "aziende correlate" (partner, fornitori, concorrenti). Le aziende correlate sono identificate tramite Named Entity Recognition (NER) su base di co-occorrenza nelle notizie. Il sentiment è quantificato utilizzando VADER per ottenere un punteggio di polarità giornaliero.

• Generazione di Alpha Formulaici con LLM:

  • Viene utilizzato il modello DeepSeek-R1 (distillato su LLaMA-70B) tramite un prompt strutturato.
  • Input per l'LLM: Caratteristiche azionarie, indicatori tecnici e punteggi di sentiment (sia dell'azienda target che di quelle correlate).
  • Output: L'LLM genera 5 formule matematiche (alpha) adattive e interpretabili per ogni azienda. Queste formule combinano dinamicamente indicatori tecnici e divergenze di sentiment tra aziende correlate (es. il sentiment di Amazon che influenza Pepsi).
  • Ruolo degli Alpha: Non vengono usati direttamente per il trading, ma trattati come feature di alto livello (input aggiuntivi) per il modello di previsione.

• Modellazione con Transformer:

  • Gli alpha generati, insieme agli indicatori originali, vengono inseriti in un modello Transformer (architettura encoder-decoder).
  • L'encoder elabora le feature con un embedding convoluzionale 1D e embedding temporali per catturare pattern a lungo termine.
  • Il decoder prevede il prezzo di chiusura del giorno successivo.
  • Il modello è addestrato minimizzando l'errore quadratico medio (MSE).

• Confronto e Validazione:

  • I risultati sono confrontati con altri modelli (Informer, LSTM, TCN, SVR, Random Forest, XGBoost).
  • Vengono utilizzati test statistici (Diebold-Mariano) per verificare la significatività dei miglioramenti.
  • Vengono analizzate diverse fonti di feature: Alpha generati da LLM, Alpha generati da Featuretools (strumento automatico) e Alpha definiti dall'uomo (dalla letteratura "101 Formulaic Alphas").

3. Contributi Chiave

1. Automazione della Generazione di Alpha: Il paper introduce un metodo per automatizzare la creazione di alpha formulaici utilizzando le capacità di ragionamento degli LLM, superando i limiti della creatività umana e riducendo i tempi di sviluppo.
2. Integrazione del Sentiment Inter-Aziendale: Un contributo originale è l'uso del sentiment non solo dell'azienda target, ma anche delle aziende correlate (identificate tramite NER e co-occorrenza), che vengono incorporate nelle formule dagli LLM. Questo cattura relazioni macroeconomiche e di settore non ovvie.
3. Interpretabilità e Trasparenza: A differenza delle feature nascoste delle reti neurali, gli alpha generati dall'LLM sono formule leggibili dall'uomo. Il paper include anche il processo di ragionamento dell'LLM, spiegando perché una certa formula è stata creata, migliorando la fiducia nel modello.
4. Framework Ibrido: Dimostra l'efficacia di combinare la generazione simbolica (LLM) con l'apprendimento sequenziale profondo (Transformer) per la finanza.

4. Risultati Sperimentali

• Performance Predittiva: Il modello Transformer alimentato con gli alpha generati dall'LLM ha ottenuto le prestazioni migliori (MSE più basso) su tutte le 5 aziende, superando significativamente LSTM, TCN, SVR e modelli ensemble.
• Significatività Statistica: Il test di Diebold-Mariano ha confermato che il miglioramento del Transformer rispetto agli altri modelli è statisticamente significativo (p < 0.01), tranne che rispetto all'Informer (che ha prestazioni simili).
• Impatto del Sentiment: L'aggiunta delle feature di sentiment (sia target che correlate) ha ridotto l'errore medio (MSE) e la deviazione standard rispetto a modelli senza sentiment, indicando una maggiore stabilità e robustezza.
• Confronto con Altre Fonti di Alpha:
  • Gli alpha generati dall'LLM hanno superato nettamente quelli generati da Featuretools (che producevano formule poco interpretabili e ridondanti).
  • Hanno mostrato una performance di gran lunga superiore rispetto agli alpha definiti dall'uomo (101 Formulaic Alphas), che hanno portato a errori di previsione molto alti, evidenziando il problema del degrado dell'alpha nei modelli statici.
• Stabilità: L'analisi della varianza ha dimostrato che le differenze di performance sono dovute principalmente alla scelta del modello (varianza tra modelli) e non al rumore casuale dell'addestramento, confermando la robustezza del metodo.

5. Significato e Implicazioni

Questo studio rappresenta un passo avanti significativo nell'intersezione tra Intelligenza Artificiale Generativa e Finanza Quantitativa:

• Mitigazione del Degrado dell'Alpha: Fornisce un meccanismo scalabile per generare continuamente nuovi segnali predittivi adattivi, contrastando il fenomeno del degrado dell'alpha.
• Decisioni Finanziarie Informate: La capacità degli LLM di spiegare il ragionamento dietro le formule (es. collegare il sentiment di un concorrente al prezzo di un'azienda target) supporta una migliore valutazione del rischio e decisioni più consapevoli.
• Nuovo Paradigma di Feature Engineering: Sposta il focus dalla creazione manuale o puramente statistica delle feature a una generazione guidata dal contesto e dal ragionamento semantico, sfruttando la conoscenza latente negli LLM per scoprire relazioni non lineari complesse tra settori diversi.

In sintesi, il paper dimostra che l'integrazione di LLM per la generazione di feature semantiche e sentimentali, combinata con architetture Transformer, offre un approccio superiore per la previsione dei prezzi azionari rispetto ai metodi tradizionali.