Can News Predict the Market? Limits of Zero-Shot Financial NLP and the Role of Explainable AI

Sintesi Tecnica: Le notizie possono prevedere il mercato? Limiti del NLP finanziario zero-shot e il ruolo dell'IA spiegabile

Definizione del problema
Il documento affronta la sfida irrisolta se le notizie finanziarie possano prevedere in modo affidabile i movimenti di breve termine del mercato azionario utilizzando modelli linguistici di grandi dimensioni (LLM) senza un fine-tuning specifico per il dominio. Sebbene le notizie finanziarie siano una fonte primaria per interpretare il sentiment di mercato, la conversione di tali notizie in previsioni affidabili è ostacolata dal rumore dei dati, dalla duplicazione tra le testate, dal linguaggio implicito e dalla complessa disallineamento temporale tra la pubblicazione della notizia e la reazione del mercato. Gli approcci esistenti spesso si affidano a modelli supervisionati addestrati su dataset etichettati, che faticano a generalizzare attraverso regimi di mercato mutevoli. Al contrario, gli approcci zero-shot offrono flessibilità ma rischiano di produrre segnali inaffidabili a causa della sensibilità al prompt e della mancanza di struttura temporale. Gli autori indagano se una pipeline zero-shot strutturata e consapevole dell'impatto possa superare queste limitazioni per fornire un supporto decisionale affidabile, anche se l'accuratezza predittiva grezza rimane bassa.

Metodologia
Gli autori propongono una pipeline di previsione zero-shot consapevole dell'impatto composta da quattro fasi:

1. Acquisizione dei dati e allineamento temporale:

   • Le notizie vengono recuperate tramite l'API di Finnhub per specifiche aziende e finestre di previsione (1, 3, 5, 7, 14, 31 giorni).
   • Viene calcolato un periodo di lookback dinamico per bilanciare la copertura recente rispetto alle informazioni obsolete.
   • Gli articoli sono mappati su specifiche sessioni di trading (ora orientale degli Stati Uniti), assicurando che gli articoli pubblicati dopo la chiusura del mercato siano riportati alla sessione valida successiva per allineare i tempi di reazione del mercato.

2. Pre-elaborazione e filtraggio della rilevanza:

   • Deduplicazione: La deduplicazione basata sul titolo mantiene la versione più vecchia o più lunga di una storia.
   • Corrispondenza delle entità: Gli articoli vengono filtrati per garantire che la società target sia menzionata nel titolo o nel corpo del testo.
   • Filtraggio a livello di frase: Un modello di Natural Language Inference (NLI) zero-shot (DeBERTa) filtra i boilerplate, le clausole di esclusione della responsabilità legali e le frasi irrilevanti basandosi su un'ipotesi di rilevanza.

3. Pesatura degli articoli consapevole dell'impatto:

   • Pesatura della ricenza: Gli articoli sono pesati in base al numero di giorni di trading trascorsi, utilizzando un parametro di decadimento ottimizzato per specifici orizzonti di previsione.
   • Classificazione dell'orizzonte dell'evento: Un classificatore NLI zero-shot categorizza gli articoli in nove famiglie di eventi (es. utili, M&A, azioni regolatorie). Ogni famiglia riceve orizzonti di impatto primari e secondari basati sulla letteratura degli studi sugli eventi.
   • Pesatura dell'orizzonte: Una funzione di pesatura gaussiana allinea il tempo di impatto previsto dell'articolo con la finestra di previsione.
   • Peso finale: Un peso composito combina la ricenza, l'allineamento dell'orizzonte, la copertura della fonte (logaritmica) e uno sconto per gli articoli presenti solo nel titolo.

4. Previsione e spiegabilità:

   • Classificazione del sentiment: Un modello RoBERTa esegue la classificazione NLI zero-shot con ipotesi per "bullish" (rialzista), "bearish" (ribassista) e "neutral" (neutrale). A differenza dello standard softmax, il modello utilizza lo scoring sigmoid per trattare le etichette in modo indipendente.
   • Meccanismo di astensione: Le previsioni vengono emesse solo se i punteggi superano soglie calibrate ($\tau_{pos}=0.56, \tau_{neg}=0.26$), permettendo al sistema di astenersi quando l'evidenza è debole.
   • Framework di spiegabilità: Il sistema genera spiegazioni multilivello che includono:
     • Livello di token: attribuzioni LIME per le frasi influenti.
     • Livello di articolo: analisi del contributo contrastivo e analisi del flip-set greedy (rimozione di articoli per testare la stabilità della previsione).
     • Livello aggregato: flag sulla qualità dell'evidenza (es. evidenza sottile, concentrazione del peso, diversità delle fonti) e riassunti testuali radicati generati da un LLM locale.

Contributi chiave

1. Sviluppo della pipeline: La creazione di una pipeline zero-shot consapevole dell'impatto che integra il filtraggio della rilevanza aziendale, la pesatura della ricenza, la pesatura dell'orizzonte di impatto dipendente dall'evento e la previsione a tre vie basata sull'astensione.
2. Framework di spiegabilità: Un framework multilivello che collega le previsioni alle attribuzioni a livello di token, ai contributi degli articoli, ai controlli di robustezza (analisi del flip-set) e alle razionali testuali radicati.
3. Valutazione completa: Una valutazione su un dataset di 480 casi che copre 20 società quotate negli USA in cinque settori e sei orizzonti di previsione, confrontando la configurazione NLI zero-shot proposta con i baseline adattati al dominio (FinBERT, FinGPT) e quelli generici (Llama 3.1, Mistral 7B).
4. Risultati empirici sui limiti: Evidenza che dimostra come, sebbene il NLP zero-shot fatichi con l'accuratezza direzionale (particolarmente per i movimenti negativi), la spiegabilità strutturata e le diagnostiche della qualità dell'evidenza possano distinguere efficacemente tra previsioni affidabili e inaffidabili.

Risultati

• Performance predittiva: Nessun modello, inclusa la pipeline zero-shot proposta, ha superato il baseline della classe maggioritaria (48.4%) in termini di accuratezza grezza sul set di holdout. Ciò indica che la previsione azionaria a breve termine basata solo sul sentiment delle notizie rimane estremamente difficile.
• Confronto tra modelli: La pipeline NLI basata su RoBERTa proposta ha ottenuto il Macro-F1 più alto (0.3409) tra i modelli testati, superando FinBERT, FinGPT e gli LLM generativi. Ciò suggerisce che l'accuratezza del sentiment di benchmark non si traduce direttamente in accuratezza della pipeline di previsione.
• Difficoltà della classe negativa: Tutti i modelli hanno incontrato difficoltà significative nel prevedere i movimenti negativi. I modelli basati su argmax hanno identificato solo 1 caso su 38 negativi, mentre il modello RoBERTa ottimizzato con soglie ne ha identificati 9. Gli autori attribuiscono ciò alla debole relazione tra il sentiment dell'articolo e la successiva direzione del prezzo, poiché i rendimenti negativi sono spesso guidati da condizioni di mercato più ampie o aspettative mancate non catturate nel testo delle notizie.
• Varianza di orizzonte e settore: Le performance hanno raggiunto il picco all'orizzonte di 3 giorni. Le performance per settore variano: i titoli Consumer hanno mostrato una maggiore accuratezza (largamente dovuta a previsioni neutrali) e l'Healthcare la più bassa, probabilmente a causa della complessità dei fattori regolatori e legali.
• Valore della spiegabilità: Il livello di spiegabilità ha fornito utilità pratica. I casi valutati come "HIGH" (alta) sulla qualità dell'evidenza hanno raggiunto un'accuratezza del 49.4% (leggermente sopra il baseline), mentre i casi "LOW" (bassa) sono scesi al 26.3%. L'analisi del flip-set ha rivelato che il 10.4% delle previsioni era fragile (cambiava dopo la rimozione di un singolo articolo), mentre la mediana richiedeva la rimozione di 10 articoli per cambiare l'etichetta.

Significatività e affermazioni
Il documento conclude che il NLP finanziario zero-shot non dovrebbe essere visto come una fonte autonoma e affidabile per segnali di trading, poiché non riesce a superare costantemente i semplici baseline in termini di accuratezza direzionale. Tuttavia, gli autori sostengono un cambio di prospettiva: il valore primario del NLP finanziario zero-shot in contesti ad alto rischio risiede nel supporto decisionale trasparente.

Organizzando le evidenze, quantificando l'allineamento temporale, valutando la robustezza e fornendo valutazioni di affidabilità, il framework proposto permette agli utenti di comprendere quando e perché una previsione potrebbe essere affidabile o meno. Lo studio evidenzia che, sebbene la mappatura dal sentiment delle notizie alla dinamica dei prezzi sia strutturalmente limitata, la capacità di esporre l'evidenza sottostante e l'incertezza attraverso l'IA spiegabile offre un valore pratico significativo per la gestione del rischio e l'analisi degli investimenti.