Relational Probing: LM-to-Graph Adaptation for Financial Prediction

1. Il Problema

La previsione delle tendenze del mercato azionario (Financial Trend Prediction - FTP) non dipende solo dalla momentum storica di un singolo titolo, ma anche dalle relazioni dinamiche tra diverse aziende.

• Limiti degli approcci attuali: I metodi esistenti spesso si basano su grafi relazionali predefiniti e statici (es. settore industriale, proprietà azionarie) che diventano rapidamente obsoleti nei mercati dinamici.
• Inefficienza dei modelli linguistici (LM): Sebbene i Large Language Models (LLM) possano estrarre relazioni da testi finanziari (notizie), i pipeline basati sul prompting richiedono:
  1. Decodifica autoregressiva costosa e ad alta latenza.
  2. Una fase di parsing del testo strutturato (es. JSON) per costruire il grafo, separando la costruzione del grafo dall'ottimizzazione del task a valle.
  3. Fragilità nel seguire vincoli di formato complessi.
• Obiettivo: Creare un metodo che estragga direttamente le relazioni semantiche dagli stati nascosti del modello linguistico, costruendo un grafo strutturato e ottimizzandolo congiuntamente al task di previsione, eliminando la decodifica testuale.

2. Metodologia: Relational Probing

Gli autori propongono Relational Probing, un framework end-to-end che sostituisce l'head standard di generazione del linguaggio con un Relation Head (RH) leggero.

Architettura del Framework

Il sistema è composto da tre fasi principali (vedi Figura 1 del paper):

1. Codifica delle Notizie: Un modello linguistico (backbone SLM) codifica gli articoli di notizie per produrre rappresentazioni di token contestuali ($H$).
2. Induzione delle Relazioni (Relation Head):
   • Invece di generare testo, il RH mappa gli stati nascosti del LM direttamente in una matrice di adiacenza.
   • Utilizza un meccanismo di attenzione scalata (dot-product attention) per condizionare gli embedding dei ticker (azioni) sul contenuto delle notizie.
   • Le interazioni tra ticker sono calcolate tramite una mappa bilineare nello spazio ridotto, normalizzata per produrre un grafo pesato giornaliero.
3. Predizione a Valle (GAT):
   • Un Graph Attention Network (GAT) riceve il grafo indotto (nodi = ticker, archi = relazioni semantiche) e le feature dei nodi (dati storici di trading codificati da LSTM).
   • Il GAT predice la tendenza futura (salita, discesa, invariata) per ogni ticker.

Addestramento Congiunto

Il punto cruciale è che il Relation Head e il GAT sono addestrati congiuntamente. I gradienti della funzione di perdita del task di previsione finanziaria retropropagano attraverso il GAT fino al Relation Head e al backbone LM. Questo allinea l'estrazione delle relazioni direttamente con l'obiettivo finale di previsione, senza bisogno di decodifica autoregressiva.

Definizione Operativa di SLM (Small Language Models)

Per migliorare la riproducibilità, gli autori definiscono gli SLM come modelli che possono essere fine-tuned end-to-end su una singola GPU da 24GB (es. RTX 4090) con budget specifici di batch size e lunghezza della sequenza. Nel paper vengono utilizzati i backbones Qwen3 (0.6B, 1.7B, 4B).

3. Contributi Chiave

1. Generalizzazione del Linear Probing: Estendono il concetto di linear probing a un "Relational Probing", dove un head apprendibile converte gli stati nascosti in grafi relazionali, allineando l'output alla struttura target senza decodifica vincolata.
2. Addestramento Congiunto Task-Grafo: Il Relation Head è ottimizzato per produrre obiettivi strutturati in grafo che si trasferiscono meglio al task a valle, eliminando il rumore del parsing testuale.
3. Benchmark e Definizione SLM: Forniscono una definizione operativa rigorosa per gli SLM e un benchmark controllato utilizzando la famiglia Qwen3, dimostrando l'efficacia su hardware consumer.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un dataset di notizie finanziarie con etichette di ticker complete, confrontando il metodo proposto con una baseline basata sulla co-occorrenza delle notizie.

• Performance Complessiva:
  • Il metodo Relational Probing supera costantemente la baseline di co-occorrenza su tutte le metriche (Accuracy, Macro F1, MCC, AUC).
  • Con Qwen3-0.6B, il Macro F1 sale da 0.2831 (co-occorrenza) a 0.3171, e il MCC da 0.0143 a 0.0312.
  • Le performance migliorano all'aumentare della capacità del modello (Qwen3-4B raggiunge il miglior punteggio: Acc 0.5705, Macro F1 0.3272), sebbene con rendimenti decrescenti.
• Analisi delle Metriche:
  • L'accuratezza grezza è fuorviante a causa dello sbilanciamento delle classi (molte giornate "neutrali"). Le metriche come Macro F1 e MCC sono più indicative: il modello riesce a identificare meglio le tendenze "a coda" (salita/discesa) rispetto alla baseline.
• Studio Ablativo:
  • Architettura dell'Head: L'approccio "Full" (attenzione completa tra notizie e ticker) supera sia l'approccio "Pooling" (media semplice) che "Limited" (attenzione ristretta solo ai ticker menzionati). Questo dimostra che la fusione semantica completa è necessaria per catturare relazioni contestuali.
  • Stati Nascosti: L'uso degli stati nascosti solo dell'input (Input-only) è più efficace ed efficiente rispetto all'uso di token generati (Input+Gen), che aggiungono overhead computazionale senza migliorare le performance.

5. Significato e Implicazioni

• Efficienza Computazionale: Eliminando la decodifica autoregressiva e il parsing, il metodo riduce drasticamente la latenza e i costi di inferenza, rendendo scalabile l'estrazione di relazioni in tempo reale.
• Qualità del Grafo: Il metodo produce grafi relazionali "puliti" e semanticamente fondati, riducendo il rumore delle semplici co-occorrenze e catturando interazioni complesse (es. correlazioni negative o effetti di momentum) che i metodi statici perdono.
• Riproducibilità: La definizione operativa degli SLM e l'uso di backbones standardizzati (Qwen3) su hardware accessibile offrono un punto di riferimento chiaro per la ricerca futura in finanza computazionale.
• Integrazione End-to-End: Dimostra che l'allineamento diretto tra la rappresentazione semantica del testo e la struttura del grafo di previsione è superiore ai pipeline a più stadi.

In sintesi, il paper propone un cambio di paradigma: invece di usare gli LM per generare testo che descrive relazioni, li usa per generare direttamente la struttura (il grafo) necessaria alla previsione finanziaria, ottimizzando l'intero processo in un'unica rete neurale.