Riepilogo Tecnico: GS-Fuse

Enunciato del Problema

Prevedere con precisione l'impatto di eventi finanziari salienti (ad esempio, rilasci macroeconomici, decisioni di politica monetaria) sui prezzi delle attività è fondamentale per investitori e decisori politici. Sebbene i recenti progressi nei Modelli Linguistici di Grande Dimensione (LLM) e nei Modelli Fondamentali per le Serie Temporali abbiano migliorato la previsione unimodale, gli approcci multimodali esistenti per la previsione finanziaria guidata dagli eventi affrontano tre limitazioni principali:

1. Fusione Invariante rispetto all'Evento: I metodi attuali fondono tipicamente testo e dati sui prezzi in modo simmetrico utilizzando livelli condivisi, assumendo un equilibrio stabile tra le modalità. Ciò non riesce ad adattarsi alla natura eterogenea dei mercati finanziari, dove alcuni eventi sono guidati dal sentiment mentre altri seguono pattern tecnici preesistenti.
2. Mancanza di Fusione Consapevole della Causalità: I modelli esistenti mancano di meccanismi espliciti per determinare quando il testo degli eventi fornisce un valore predittivo incrementale oltre ai prezzi storici. Spesso fondono le modalità in modo simmetrico, rischiando un uso eccessivo di testo rumoroso o non informativo.
3. Allineamento a Grana Grossa: I meccanismi di allineamento standard operano a livello di istanza (embedding globale dell'evento vs embedding globale della serie temporale). Ciò ignora il fatto che solo passaggi specifici nei rilasci finanziari (ad esempio, la guida prospettica nelle dichiarazioni del FOMC) guidano le reazioni di mercato, portando a segnali diluiti da contenuti irrilevanti.

Metodologia

Gli autori propongono GS-Fuse, un framework multimodale progettato per affrontare queste limitazioni attraverso un meccanismo di fusione a gate consapevole della causalità e supervisionato da Granger, e un allineamento a multi-granularità. L'architettura è composta da quattro componenti principali:

1. Encoder

• Encoder di Testo: Utilizza un LLM pre-addestrato (ad esempio, LLaMA, Phi-3) per codificare gli script degli eventi ($E_i$) in rappresentazioni a livello di token, che vengono proiettate in uno spazio di embedding condiviso.
• Encoder di Serie Temporali: Utilizza un Modello Fondamentale per le Serie Temporali pre-addestrato (ad esempio, MOMENT, Kronos) per codificare i segmenti di mercato pre-evento ($X_i$) in rappresentazioni passo-passo.
• Strategia di Congelamento: L'LLM di base e i modelli fondazionali per le serie temporali rimangono congelati; vengono addestrati solo le teste di proiezione e i moduli a valle.

2. Allineamento Incrociato tra Modalità a Multi-Granularità

Per colmare il divario tra le modalità, GS-Fuse impone l'allineamento a due livelli:

• Allineamento Globale a Livello di Istanza: Utilizza l'attenzione incrociata bidirezionale per intercalare le rappresentazioni di token e passi, seguita da una perdita contrastiva InfoNCE per allineare gli embedding globali dell'evento e della serie temporale.
• Allineamento Fine a Livello di Token/Passo: Allinea i singoli token di testo con specifici passi della serie temporale. Un punteggio di salienza identifica i top-$K$ token "ancora", e una perdita contrastiva incoraggia questi token salienti ad allinearsi con i loro pattern temporali corrispondenti, respingendo allo stesso tempo i passi non correlati di altre istanze.

3. Gate Causale Supervisionato da Granger

Questa è l'innovazione centrale. Il modello impiega un meccanismo di gate che decide se incorporare il testo dell'evento in base alla sua utilità predittiva incrementale:

• Segnale di Utilità di Granger: Durante l'addestramento, il modello confronta un predittore "ristretto" (utilizzando solo dati di serie temporali, $\hat{Y}_{ts}$) con un predittore "illimitato" (utilizzando sia testo che serie temporali, $\hat{Y}_{full}$).
• Supervisione: La differenza di perdita ($\Delta_i = \ell(Y_i, \hat{Y}_{ts}) - \ell(Y_i, \hat{Y}_{full})$) funge da proxy per la causalità di Granger. Se l'incorporazione del testo riduce l'errore di previsione, il testo è considerato utile.
• Addestramento del Gate: Una rete di gate predice un punteggio di apertura scalare ($\alpha_i$) per ogni istanza. Questo punteggio è supervisionato tramite una perdita di distillazione per corrispondere a un obiettivo di "responsabilità" soft ($r_i$) derivato dall'utilità di Granger. Il gate si apre ($\alpha_i \approx 1$) solo quando il testo fornisce un valore misurabile e si chiude altrimenti.

4. Decoder

Un decoder Transformer leggero prende la rappresentazione fusa (pesata dal gate) e genera la traiettoria futura del mercato sull'orizzonte di previsione $H$.

Schema di Addestramento

Il modello viene addestrato in tre fasi per garantire stabilità:

1. Pre-addestramento solo TS: Addestramento del ramo delle serie temporali per stabilire una solida linea di base.
2. Warm-up solo Testo: Addestramento del ramo di testo per garantire che le rappresentazioni degli eventi siano rilevanti per la previsione.
3. Fine-tuning Multimodale: Addestramento congiunto dei moduli di fusione e allineamento con un obiettivo combinato di perdita di previsione, perdita di allineamento e supervisione del gate.

Contributi Chiave

1. Fusione a Gate Supervisionata da Granger: Un modulo innovativo che impara a fidarsi selettivamente del testo degli eventi solo quando fornisce un valore predittivo incrementale oltre ai prezzi storici, modellando efficacemente la direzione causale dall'evento al prezzo.
2. Allineamento a Multi-Granularità: Uno schema di allineamento congiunto che opera sia a livello di istanza sia a livello fine di token/passi, permettendo al modello di localizzare specifici indizi testuali che guidano le reazioni di mercato.
3. Framework Plug-and-Play: Un adattatore agnostico rispetto al modello che può avvolgere LLM arbitrari e modelli fondazionali per le serie temporali, rendendolo flessibile attraverso diversi backbones e contesti di mercato.

Risultati Sperimentali

Gli autori hanno valutato GS-Fuse su un dataset curato che integra rilasci macroeconomici (CAMEF) e notizie finanziarie (FNSPID) contro cinque attività (S&P500, NASDAQ, INDU, USGG1M, USGG5YR) su tre orizzonti di previsione ($H \in \{35, 70, 140\}$ passi da 5 minuti).

• Prestazioni: GS-Fuse ha costantemente superato le linee di base unimodali all'avanguardia (ARIMA, DLinear, iTransformer, FEDformer) e le linee di base multimodali (GPT4MTS, TimeCMA, TEST). Ha ottenuto il MSE e il MAE più bassi su tutte le attività e gli orizzonti.
• Studi di Ablazione: La rimozione del gate di Granger o dell'allineamento a multi-granularità ha comportato cali significativi delle prestazioni, confermando che entrambi i componenti sono essenziali e complementari.
• Generalità del Backbone: Il framework ha dimostrato robustezza attraverso diverse combinazioni di LLM (LLaMA vs. Phi) e fondazioni per le serie temporali (MOMENT vs. Kronos), sebbene accoppiamenti specifici abbiano prodotto variazioni marginali nelle prestazioni.
• Analisi Causale: L'apertura media del gate è stata di circa il 51% per gli indici azionari, ma più alta (60,68%) per i rendimenti dei titoli di stato, indicando che il modello adatta dinamicamente la sua dipendenza dal testo in base alla classe di attività e all'utilità specifica della narrazione dell'evento.

Significato e Affermazioni

Il documento afferma che GS-Fuse affronta il difetto fondamentale nelle previsioni multimodali esistenti: l'assunzione che testo e dati sui prezzi debbano sempre essere fusi in modo simmetrico. Introducendo un gate supervisionato da Granger, il modello impara esplicitamente la dipendenza condizionale dei prezzi dal testo degli eventi, evitando il rumore delle narrazioni non informative. L'allineamento a multi-granularità garantisce inoltre che il modello si concentri sulle parti specifiche di uno script dell'evento che guidano i movimenti di mercato.

Gli autori posizionano GS-Fuse non solo come un miglioramento delle prestazioni, ma come un cambiamento metodologico verso una fusione multimodale consapevole della causalità e adattiva in finanza. Il framework è presentato come una soluzione flessibile e plug-and-play che può essere istanziata con vari modelli fondazionali, offrendo un approccio robusto per la previsione finanziaria guidata dagli eventi, dove il valore predittivo dell'informazione è eterogeneo e non stazionario.