Impact of LLMs news Sentiment Analysis on Stock Price Movement Prediction

Questo studio valuta l'impatto dell'analisi del sentiment delle notizie tramite LLM (DeBERTa, RoBERTa e FinBERT) sulla previsione dei movimenti dei prezzi azionari, dimostrando che DeBERTa raggiunge il 75% di accuratezza, un modello ensemble arriva all'80% e le feature di sentiment offrono un lieve vantaggio a vari modelli di classificazione e regressione.

L'essenziale

Ecco una spiegazione semplice e creativa di questo articolo scientifico, pensata per chiunque, anche senza un background in finanza o informatica.

Immagina il mercato azionario come un enorme oceano. Le azioni sono come barche che navigano su queste acque. Per prevedere dove andranno queste barche domani, gli investitori guardano due cose:

1. Il mare stesso: I dati storici (prezzi passati, volumi, grafici).
2. Il vento e le nuvole: Le notizie finanziarie (cosa dicono i giornali, le TV e i social media).

Questo studio si chiede: "Quanto è utile guardare il 'vento' (le notizie) per prevedere il percorso della barca?" E soprattutto: "Quale 'navigatore' (intelligenza artificiale) è il migliore per leggere il vento?"

1. I "Naviatori" (I Modelli di Intelligenza Artificiale)

Gli scienziati hanno messo alla prova tre diversi "navigatori" basati su Intelligenza Artificiale (chiamati LLM) per capire se una notizia è positiva, negativa o neutra:

• FinBERT: Un navigatore esperto che ha studiato solo libri di finanza. È specializzato, ma forse un po' rigido.
• RoBERTa: Un navigatore generico molto intelligente, che ha letto di tutto.
• DeBERTa: Un altro navigatore generico, ma con una capacità speciale di capire le sfumature e il contesto profondo.

Il risultato? Sorprendentemente, DeBERTa è stato il migliore, capendo il 75% delle notizie correttamente. FinBERT e RoBERTa sono stati buoni, ma non eccezionali.

2. La "Squadra dei Navigatori" (Il Modello Ensemble)

Gli autori hanno pensato: "E se invece di affidarci a un solo navigatore, ne mettessimo tre insieme?".
Hanno creato una squadra (chiamata modello ensemble) dove i tre navigatori discutono tra loro e prendono una decisione comune.

• Risultato: La squadra ha funzionato meglio di chiunque da solo, raggiungendo un'accuratezza dell'80%. È come se tre esperti che si consultano facciano meno errori di uno solo, anche se quello è molto bravo.

3. Come si usa il "Vento" per prevedere il mercato?

Una volta che i navigatori hanno capito il "sentimento" delle notizie (es. "Oggi le notizie su Tesla sono molto positive"), gli scienziati hanno provato a mescolare queste informazioni con i dati storici delle azioni (prezzi, volumi) usando diversi tipi di "motori" per prevedere il futuro:

• LSTM: Un motore classico, come un vecchio ma affidabile motore diesel.
• PatchTST e TimesNet: Motori moderni e veloci, come motori a reazione o elettrici, progettati per analizzare grandi quantità di dati complessi.
• tPatchGNN: Un motore che guarda anche le relazioni tra le diverse barche (azioni).

Cosa è successo?

• Per le previsioni "Sì/No" (Sale o Scende?): Aggiungere le notizie ha aiutato un po' i motori classici (LSTM) e alcuni moderni, ma non è stato una rivoluzione magica. Il mercato è caotico e le notizie non sempre determinano tutto.
• Per le previsioni di "Quanto" (Prezzo esatto): Qui è stato interessante. I motori moderni (PatchTST e TimesNet) sono diventati molto più precisi quando hanno ricevuto le notizie come input. È come se questi motori moderni sapessero integrare il "vento" nel loro calcolo molto meglio dei vecchi motori.

4. Il Metodo: Come hanno lavorato?

Hanno preso le notizie di 5 grandi aziende (Apple, Tesla, Amazon, ecc.) per tre anni.

• Hanno raggruppato le notizie giornaliere: se ci sono 10 notizie positive e 2 negative, qual è il "sentimento totale" della giornata? Hanno usato metodi matematici per sommare, fare la media o prendere il voto di maggioranza.
• Hanno poi addestrato i modelli per vedere se, sapendo il "sentimento" del giorno, potevano prevedere meglio il prezzo del giorno dopo.

In sintesi: Cosa ci insegna questo studio?

1. Le notizie contano, ma non sono tutto: Non puoi prevedere il mercato solo leggendo i giornali, ma ignorarli è un errore.
2. La tecnologia fa la differenza: I modelli di intelligenza artificiale più recenti e sofisticati (come DeBERTa e i motori PatchTST) riescono a "digerire" le notizie e usarle meglio dei vecchi metodi.
3. Il lavoro di squadra vince: Mettere insieme diverse intelligenze artificiali (la squadra) dà risultati migliori rispetto a fidarsi di una sola.

L'analogia finale:
Immagina di dover prevedere il tempo di domani. Se guardi solo il termometro di oggi (i dati storici), puoi fare una stima. Ma se aggiungi anche la lettura delle nuvole e del vento (le notizie) usando un satellite moderno (DeBERTa) e un computer potente (TimesNet), la tua previsione sarà molto più affidabile. Questo studio ci dice che, nel mercato azionario, ascoltare il "vento" delle notizie con gli strumenti giusti può davvero aiutare a navigare più sicuri.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper in italiano, strutturato secondo le sezioni richieste.

Titolo: Impatto dell'Analisi del Sentiment delle Notizie tramite LLM sulla Previsione del Movimento dei Prezzi Azionari

1. Il Problema

La previsione dei prezzi azionari rimane una sfida complessa a causa della volatilità dei mercati influenzata da fattori economici, tecnici e politici. Sebbene l'analisi del sentiment delle notizie finanziarie sia stata identificata come un fattore correlato alle variazioni dei prezzi, la ricerca esistente presenta diverse lacune:

• Mancanza di confronto sistematico: Gli studi precedenti tendono a valutare singoli modelli di Large Language Model (LLM) in isolamento, senza confrontarli su dataset finanziari etichettati identici.
• Assenza di analisi sulle rappresentazioni: Non esiste una valutazione completa su come diverse rappresentazioni dell'output del sentiment (punteggi di probabilità vs. etichette discrete) e diversi metodi di aggregazione giornaliera influenzino le prestazioni.
• Fusione sottoutilizzata: L'integrazione degli output dell'analisi del sentiment con dati temporali azionari, specialmente utilizzando architetture state-of-the-art recenti (come Transformer basati su patch, GNN temporali e modelli convoluzionali), è ancora poco esplorata.

2. Metodologia

Gli autori hanno condotto uno studio di valutazione comparativa che combina modelli di analisi del sentiment basati su LLM con diverse architetture di previsione temporale.

• Modelli di Analisi del Sentiment (Input):

  • Sono stati confrontati tre LLM: DeBERTa, RoBERTa e FinBERT (una variante di BERT adattata al dominio finanziario).
  • Questi modelli sono deterministici e non generativi, riducendo il rischio di allucinazioni.
  • Sono stati creati anche tre modelli di ensemble (Random Forest, Logistic Regression, SVM) addestrati sugli output combinati dei tre LLM per migliorare l'accuratezza del sentiment.
  • I dati di sentiment provengono dal dataset SEntFiN 1.0 (10.700 titoli di notizie con coppie testo-sentiment).

• Metodi di Previsione Azionaria (Downstream Task):

  • Sono stati testati quattro modelli di serie temporali con architetture diverse:
    1. LSTM: Rete neurale ricorrente come baseline.
    2. PatchTST: Transformer ottimizzato per serie temporali multivariate con meccanismo di "patching".
    3. TimesNet: Modella la variazione temporale in uno spazio bidimensionale.
    4. tPatchGNN: Integra patching temporale con Graph Neural Networks per catturare dipendenze relazionali tra asset.

• Dataset e Setup Sperimentale:

  • Azioni: Microsoft (MSFT), Amazon (AMZN), Apple (AAPL), Netflix (NFLX), Tesla (TSLA).
  • Periodo: 10 marzo 2022 – 2 aprile 2025.
  • Dati: Prezzi e volumi da Yahoo Finance; notizie da AlphaVantage API (oltre 96.000 articoli).
  • Aggregazione: Le notizie giornaliere sono aggregate in un'unica feature giornaliera tramite somma dei punteggi, minimo/massimo, voto di maggioranza e conteggio.
  • Task:
    • Classificazione: Previsione binaria del trend (salita/discesa).
    • Regressione: Previsione del fattore di prezzo (rapporto tra prezzo futuro e attuale).
  • Split dei dati: 70% training, 10% validation, 20% test (split temporale per evitare bias di look-ahead).

3. Contributi Chiave

1. Valutazione Comparativa Estesa: Prima analisi che confronta sistematicamente DeBERTa, RoBERTa e FinBERT su un dataset finanziario comune per il sentiment, e ne valuta l'impatto su quattro diverse famiglie di architetture di previsione.
2. Analisi delle Rappresentazioni del Sentiment: Studio dettagliato su come diverse modalità di aggregazione delle notizie (conteggio, somma, voto di maggioranza) influenzino le prestazioni dei modelli di previsione.
3. Validazione dell'Ensemble: Dimostrazione che combinare i risultati di diversi LLM tramite un modello di ensemble (SVM) supera le prestazioni dei singoli modelli.
4. Integrazione con Architetture Moderne: Valutazione dell'efficacia del sentiment in modelli avanzati come PatchTST e tPatchGNN, spesso trascurati in questo contesto.

4. Risultati Principali

• Performance dei Modelli di Sentiment:

  • DeBERTa ha ottenuto le migliori prestazioni tra i singoli LLM con un'accuratezza del 75,2%, superando FinBERT (69,6%) e RoBERTa (58,9%).
  • L'approccio Ensemble (SVM) ha raggiunto un'accuratezza media del 79,1% (circa 80%), dimostrando che i modelli sono complementari e non predicono correttamente le stesse notizie.

• Impatto sulla Previsione Azionaria (Classificazione):

  • L'introduzione delle feature di sentiment ha migliorato le prestazioni, sebbene in modo variabile.
  • LSTM e TimesNet hanno mostrato i migliori risultati generali.
  • Per LSTM, l'uso di FinBERT ha migliorato l'AUC da 0,545 a 0,562.
  • Per TimesNet, l'uso di DeBERTa ha migliorato l'AUC da 0,521 a 0,533.
  • I modelli PatchTST e tPatchGNN hanno beneficiato meno o in modo inconsistente rispetto alla baseline senza sentiment in alcuni casi.

• Impatto sulla Previsione Azionaria (Regressione):

  • L'impatto è stato più marcato sui modelli di regressione basati su PatchTST e TimesNet.
  • PatchTST: L'uso di sentiment (specialmente SVM) ha ridotto l'errore MAE da 0,391 a 0,205 e l'RSE da 5,030 a 2,881.
  • TimesNet: Ha mostrato i guadagni più significativi, con una riduzione dell'MAE da 0,483 a 0,254 (con RoBERTa) e dell'RSE da 6,399 a 3,620.
  • LSTM e tPatchGNN hanno mostrato sensibilità minima all'integrazione del sentiment, ottenendo talvolta i risultati migliori senza feature di notizie.

• Ablazione delle Feature:

  • Per LSTM, le feature di "conteggio" (numero di notizie) e "somma" (intensità del sentiment) sono state cruciali. La rimozione di queste ha degradato le prestazioni, mentre l'eliminazione del "voto di maggioranza" ha avuto un impatto minimo.

5. Significato e Conclusioni

Il paper dimostra che l'analisi del sentiment basata su LLM, sebbene non sia una soluzione universale per tutti i modelli di previsione, offre un valore aggiunto significativo quando integrata correttamente.

• DeBERTa emerge come il modello di sentiment più efficace per questo dominio specifico, superando i modelli specializzati come FinBERT.
• La strategia di ensemble (combinare i modelli) è la via migliore per massimizzare l'accuratezza del sentiment.
• L'efficacia del sentiment dipende fortemente dall'architettura di previsione: i modelli basati su PatchTST e TimesNet traggono il massimo beneficio dall'aggiunta di dati testuali per la regressione, mentre i modelli tradizionali come LSTM beneficiano più per la classificazione.
• Questo lavoro fornisce una guida pratica per i ricercatori e i praticanti su come selezionare e integrare modelli di linguaggio e architetture temporali per la finanza algoritmica, sottolineando l'importanza di testare diverse combinazioni di rappresentazioni dei dati.