FinAnchor: Aligned Multi-Model Representations for Financial Prediction

1. Il Problema

La previsione finanziaria basata su documenti lunghi (come trascrizioni di conference call, report 10-Q o comunicazioni delle banche centrali) presenta sfide significative:

• Segnali sparsi e rumorosi: I segnali azionabili sono spesso sottili e nascosti tra molto testo boilerplate e pattern ricorrenti.
• Instabilità dei modelli LLM: Diversi Large Language Models (LLM) possono codificare lo stesso documento finanziario con bias induttivi differenti, evidenziando span di testo diversi e producendo previsioni non identiche o eterogenee.
• Incompatibilità degli spazi di feature: Le rappresentazioni (embedding) generate da diversi modelli risiedono in spazi vettoriali eterogenei, rendendo l'aggregazione diretta (es. media semplice) mal definita e potenzialmente inefficace.
• Costo del fine-tuning: Il fine-tuning di modelli LLM su task finanziari specifici è costoso e può compromettere la generalizzazione temporale.

2. Metodologia: FinAnchor

Gli autori propongono FinAnchor (Financial Anchored Representations), un framework leggero che integra embedding da più LLM senza richiedere il fine-tuning dei modelli di base. Il processo si articola in tre fasi principali:

1. Selezione dello Spazio Ancora (Anchor Space):

   • Viene scelto un encoder LLM specifico come "ancora" (es. Gemma2-9B-IT).
   • Gli altri modelli (encoder sorgente) vengono trattati come fonti di rappresentazioni da allineare.

2. Allineamento Lineare (Linear Alignment):

   • Per colmare il divario tra gli spazi di feature eterogenei, il framework apprende mappe lineari (tramite regressione Ridge) che proiettano le rappresentazioni degli encoder sorgente nello spazio dell'ancora.
   • Questo addestramento avviene solo sulla split di training e non richiede il fine-tuning dei pesi dei LLM.
   • La formula di ottimizzazione minimizza la differenza tra le feature standardizzate della sorgente proiettate e quelle dell'ancora:
     $$W_m = \arg \min_{W} \| \tilde{X}^{(m)}W - \tilde{X}^{(a)} \|_F^2 + \alpha \|W\|_F^2$$
   • La qualità di questo allineamento è misurata dal coefficiente di determinazione ($R^2$), che risulta molto alto (0.97-0.98), indicando una struttura geometrica compatibile tra i modelli.

3. Aggregazione e Lettura (Aggregation & Readout):

   • Una volta allineate, tutte le rappresentazioni condividono lo stesso sistema di coordinate. Vengono aggregate tramite una media fissa nello spazio ancora.
   • Viene addestrato un classificatore leggero (un piccolo MLP) sopra le rappresentazioni aggregate per la previsione finale.
   • Questo approccio mantiene un basso overhead computazionale e garantisce l'auditabilità.

3. Contributi Chiave

• Framework di Allineamento Multi-Encoder: Introduzione di un metodo semplice e deployabile per combinare rappresentazioni di LLM congelati in uno spazio condiviso senza fine-tuning.
• Valutazione Sistematica: Sperimentazione su cinque dataset finanziari (transcript di earnings call, report 10-Q, notizie Nasdaq, previsioni di movimento azionario, stance della FOMC) con split temporali per valutare la generalizzazione "out-of-time".
• Analisi di Interpretabilità: Dimostrazione che i guadagni di performance derivano da una correzione sistematica degli errori e non da rumore, attraverso l'analisi delle transizioni decisionali e degli shift di confidenza.

4. Risultati Sperimentali

Il modello FinAnchor è stato confrontato con diverse baseline: prompting zero-shot/few-shot, Longformer, Hierarchical FinBERT e singoli LLM (Llama, Qwen, Gemma).

• Performance Superiori: FinAnchor ha ottenuto i migliori risultati (Accuracy e F1) su tutti e cinque i dataset, superando i modelli singoli più forti.
  • Esempio: Su "Conference Call", ha raggiunto un'Accuracy di 0.787 (vs 0.772 di Hierarchical FinBERT e 0.770 di Gemma2).
  • Esempio: Su "Stock Movement" (task molto rumoroso), ha raggiunto un'Accuracy di 0.599, superando le baseline.
• Analisi degli Errori:
  • Gli errori dei diversi modelli non sono sovrapposti (overlap ~0.8), il che significa che ogni modello fallisce su casi diversi, offrendo opportunità di correzione.
  • Transizioni Decisionali: L'aggregazione allineata riduce significativamente i Falsi Positivi (convertendo FP in TN), un aspetto cruciale in finanza per evitare posizioni lunghe non necessarie su giorni di mercato in calo.
  • Shift di Confidenza: Le correzioni apportate da FinAnchor sono accompagnate da un aumento sistematico della probabilità assegnata all'etichetta vera, confermando che il modello impara segnali stabili e non rumore.
• Caso Studio: L'analisi di occlusione a livello di frase mostra che FinAnchor riesce a dare un peso maggiore a segnali finanziari bearish (es. compressione dei margini, costi) che i modelli singoli (come Gemma) sottovalutavano, correggendo così previsioni errate.

5. Significato e Implicazioni

Il lavoro dimostra che l'eterogeneità delle rappresentazioni tra diversi LLM non è un ostacolo, ma una risorsa. Allineando queste rappresentazioni in uno spazio comune tramite mappe lineari semplici, è possibile:

1. Migliorare la robustezza: Creare segnali di previsione più stabili nel tempo.
2. Ridurre i rischi operativi: Minimizzare i falsi allarmi (falsi positivi) che possono portare a costi di transazione e rischi di mercato evitabili.
3. Mantenere l'efficienza: Evitare il costoso fine-tuning di modelli massicci, rendendo la soluzione scalabile e facilmente interpretabile per i professionisti finanziari.

In sintesi, FinAnchor offre un approccio pratico per sfruttare il "consenso" tra diversi modelli di linguaggio per la previsione finanziaria, trasformando visioni complementari in segnali azionabili affidabili.