Riepilogo Tecnico: Recupero Incrementato da Grafi per l'Analisi del Sentiment Finanziario Cross-Entity

Definizione del Problema

La rapida digitalizzazione dei mercati finanziari ha generato un volume senza precedenti di dati testuali non strutturati, creando una sfida per la sintesi azionaria in tempo reale. Sebbene i framework di Retrieval-Augmented Generation (RAG) siano diventati fondamentali per ancorare i Large Language Models (LLM) a corpora di dominio specifico, le convenzionali architetture RAG "solo-vettoriali" affrontano un "plateau contestuale" nell'analisi finanziaria specializzata.

Il documento identifica tre limitazioni critiche del recupero basato esclusivamente su vettori in questo dominio:

1. Mancanza di Consapevolezza Strutturale: Il recupero vettoriale tratta il testo come frammenti isolati, fallendo nel catturare relazioni esplicite strutturate (ad esempio, cascate della catena di approvvigionamento, reti di influenza multi-hop) necessarie per l'analisi del rischio sistemico.
2. Diluizione Contestuale: La concatenazione di molteplici snippet semanticamente simili spesso porta al fenomeno del "lost in the middle" (perso nel mezzo), dove dettagli cruciali vengono oscurati all'interno di contesti con un numero elevato di token ridondanti.
3. Rumore Semantico: La terminologia finanziaria è altamente suscettibile al rumore; senza un grafo strutturato per separare logicamente le entità, la sovrapposizione semantica nel recupero denso può risultare in errori fattuali.

Inoltre, l'analisi puramente lessicale spesso trascura la "contagio del sentiment" — la propagazione del sentiment attraverso documenti ed entità — che è critica per comprendere le dinamiche di mercato.

Metodologia

Gli autori propongono e valutano un'architettura Graph-RAG a due hop progettata per integrare il recupero denso tramite vettori con la traversata di grafi strutturati. Il sistema è costruito su un corpus di 255 articoli di notizie che coprono 10 principali titoli tecnologici, risultando in 1.477 distinti chunk di notizie e un grafo di conoscenza di 59 entità azionarie.

Architettura del Sistema

La metodologia transita dall'ingestione automatizzata dei dati a uno studio comparativo di recupero che coinvolge due pipeline distinte:

1. Ingestione Dati e Costruzione del Grafo:

   • Estrazione delle Entità: Il modello gliner-bi-large-v2.0 esegue il riconoscimento zero-shot di entità (Ticker Azionario, Indice Azionario, Banca d'Investimento, Organizzazione).
   • Pesatura del Sentiment: FinBERT calcola la polarità del sentiment. L'Intensità ($I$) relazionale tra le entità è definita come la differenza assoluta tra i punteggi positivi e negativi ($I = |Score_{pos} - Score_{neg}|$).
   • Topologia del Grafo: Un grafo Neo4j viene costruito dove i nodi Ticker si connettono ai nodi News Chunk tramite archi HAS_NEWS_CHUNK. Le relazioni inter-ticker sono definite da archi diretti INFLUENCES, pesati in base all'intensità del sentiment.

2. Architettura Baseline (RAG Generale):

   • Un sistema standard basato solo su vettori utilizzando FAISS per l'indicizzazione.
   • Recupera i top $k=5$ chunk basandosi sulla massima similarità del coseno.
   • Il contesto è una concatenazione piatta del testo recuperato senza metadati relazionali.

3. Architettura Proposta (2-Hop Graph-RAG):

   • Hop 1 (Ancora Semantica): La ricerca vettoriale identifica i top $k=5$ chunk "seed".
   • Hop 2 (Espansione Strutturale): Dal ticker associato a ciascun seed, il sistema attraversa gli archi INFLUENCES dove l'Intensità $> \tau$ (soglia).
   • Re-ranking dei Vicini: I news chunk associati alle entità vicine vengono recuperati e re-classificati rispetto alla query. Solo i top 2 chunk per ogni vicino con un punteggio di similarità $> 0.2$ vengono aggiunti come "Evidenza di Rete".
   • Sintesi: L'LLM riceve un contesto contenente le notizie primarie, i nomi delle entità connesse, i punteggi numerici di sentiment e l'evidenza re-classificata.

Framework di Valutazione

Lo studio valuta entrambe le architetture su 100 query fondate (30 Dirette, 70 Relazionali) utilizzando:

• Metriche Statistiche: Similarità semantica (similarità del coseno) e Entity Recall, validate tramite test Wilcoxon signed-rank.
• Framework RAGAS: Metriche senza riferimento (reference-free) quali Faithfulness, Answer Relevancy, Context Precision e Context Recall.
• Studio di Ablazione: Analisi della soglia di intensità ($\tau$) sulla qualità della risposta.

Risultati Chiave

1. Prestazioni Complessive

• Entity Recall: Il Graph-RAG ha ottenuto un miglioramento statisticamente significativo del +6,4% ($p < 0,001$) rispetto alla baseline, confermando che la traversata strutturale fa emergere entità trascurate dalla pura similarità vettoriale.
• Answer Relevancy: Il Graph-RAG è migliorato del +11,7%, suggerendo che il contesto aumentato dal grafo aiuta gli LLM a produrre risposte più focalizzate sul tema.
• Similarità Semantica: Non vi è stata alcuna differenza statisticamente significativa nella qualità della risposta ($\Delta = +0,001$, $p = 0,281$), indicando che il contesto aggiuntivo del grafo non ha né migliorato né degradato la qualità della generazione di base.
• Latenza: Il Graph-RAG ha comportato un incremento del 22,6% nella latenza media (9,03s vs 7,37s) ma ha dimostrato una riduzione dell'80% nella varianza della latenza ($\sigma = 0,96$s vs 4,82s), offrendo tempi di risposta più deterministici.

2. Analisi Stratificata per Tipo di Query

I benefici del Graph-RAG sono altamente concentrati nelle query relazionali (cross-entity):

• Query Relazionali: L'Answer Relevancy è migliorata del +16,1%.
• Query Dirette (Single-entity): Le prestazioni sono state comparabili tra i sistemi, con il Graph-RAG che mostra un guadagno marginale nella Context Precision (+8,6%) ma un compromesso nella Context Recall (-11,9%), poiché le entità aggiuntive possono diluire l'evidenza del singolo articolo.

3. Studio di Ablazione: Soglia di Intensità ($\tau$)

Lo studio ha identificato una relazione a U invertita tra la soglia di intensità e la qualità della risposta:

• $\tau = 0,3$: Troppo permissiva; introduce evidenze irrilevanti, degradando la qualità.
• $\tau = 0,7$: Troppo restrittiva; perde relazioni moderatamente informative.
• $\tau = 0,5$: Identificata come l'equilibrio ottimale, superando il default di produzione di 0,7 del +0,5% in similarità semantica.

Significato e Claim

Il documento caratterizza i risultati come un compromesso tra precisione e copertura intrinseco al recupero aumentato dai grafi. Gli autori sostengono che il Graph-RAG non supera uniformemente il recupero basato solo su vettori, ma sposta il punto operativo per servire meglio i compiti di ragionamento complesso multi-entità comuni nell'analisi finanziaria.

Contributi chiave includono:

1. Efficacia Dimostrata: La prova che l'integrazione di una rete di influenza specializzata permette di identificare la "dissonanza di mercato" — casi in cui le narrazioni testuali vengono corrette o arricchite dai metadati sottostanti.
2. Guida Architetturale: L'identificazione della relazione a U invertita per le soglie di intensità fornisce una guida di tuning azionabile per i professionisti, suggerendo che i valori di filtraggio estremi sono subottimali.
3. Consapevolezza del Tipo di Query: I risultati suggeriscono che i sistemi in produzione dovrebbero essere consapevoli del tipo di query, indirizzando le query relazionali verso pipeline Graph-RAG e riservando il recupero solo-vettoriale per semplici ricerche fattuali per ottimizzare latenza e consumo di token.

Gli autori notano limitazioni, tra cui l'uso di ground truth generato da LLM (che può introdurre un effetto soffitto), la scala specifica del dataset dei 10 titoli e l'overhead di latenza delle implementazioni Neo4j in cloud. Concludono che, sebbene l'architettura sia agnostica rispetto al dominio, è necessaria un'ulteriore validazione per la generalizzazione ad altri domini e grafi di entità più ampi.