Technische Samenvatting: Grafiek-geaugmenteerde Retrieval voor Cross-Entity Financiële Sentimentanalyse

Probleemstelling

De snelle digitalisering van financiële markten heeft geleid tot een ongekende volumes aan ongestructureerde tekstuele data, wat een uitdaging vormt voor real-time aandelen-synthese. Hoewel Retrieval-Augmented Generation (RAG) frameworks fundamenteel zijn geworden voor het verankeren van Large Language Models (LLMs) in domeinspecifieke corpora, kampen conventionele "vector-only" RAG-architecturen met een "contextueel plateau" in gespecialiseerde financiële analyse.

Het paper identificeert drie kritieke beperkingen van standaard vector-gebaseerde retrieval in dit domein:

1. Gebrek aan Structureel Bewustzijn: Vector-retrieval behandelt tekst als geïsoleerde fragmenten, waardoor expliciete gestructureerde relaties (bijv. supply-chain cascades, multi-hop invloedsnetwerken) die nodig zijn voor systeemanalyse van risico's, niet worden gevangen.
2. Contextuele Verdunning: Het concateneren van meerdere semantisch gelijkaardige fragmenten leidt vaak tot het "lost in the middle"-fenomeen, waarbij cruciale details worden vertroebeld binnen redundante, hoog-token contexten.
3. Semantische Ruis: Financiële terminologie is zeer gevoelig voor ruis; zonder een gestructureerde graaf om entiteiten logisch te scheiden, kan semantische overlap in dense retrieval resulteren in feitelijke fouten.

Bovendien negeert louter lexicale analyse vaak "sentiment-contagion"—de propagatie van sentiment over documenten en entiteiten heen—wat cruciaal is voor het begrijpen van marktdynamiek.

Methodologie

De auteurs stellen een twee-hop Graph-RAG architectuur voor en evalueren deze, ontworpen om dense vector-retrieval aan te vullen met gestructureerde graaf-traversering. Het systeem is gebouwd op een corpus van 255 nieuwsartikelen die 10 grote technologieaandelen dekken, resulterend in 1.477 afzonderlijke nieuwsfragmenten en een kennisgraaf van 59 equity-entiteiten.

Systeemarchitectuur

De methodologie gaat over van geautomatiseerde data-ingestie naar een vergelijkende retrieval-studie bestaande uit twee verschillende pipelines:

1. Data Ingestie & Graafconstructie:

   • Entiteitsextractie: Het gliner-bi-large-v2.0 model voert zero-shot herkenning van entiteiten uit (Stock Ticker, Equity Index, Investment Bank, Organization).
   • Sentimentweging: FinBERT berekent de sentimentpolariteit. De relationele Intensiteit ($I$) tussen entiteiten wordt gedefinieerd als het absolute verschil tussen positieve en negatieve scores ($I = |Score_{pos} - Score_{neg}|$).
   • Graaftopologie: Een Neo4j-graaf wordt geconstrueerd waarbij Ticker-nodes verbinding maken met News Chunk-nodes via HAS_NEWS_CHUNK edges. Inter-ticker relaties worden gedefinieerd door gerichte INFLUENCES edges, gewogen door sentimentintensiteit.

2. Baseline Architectuur (General RAG):

   • Een standaard vector-only systeem gebruikmakend van FAISS voor indexering.
   • Retrieve de top $k=5$ chunks op basis van maximale cosinus-gelijkenis.
   • De context is een platte concatenatie van de geretraaide tekst zonder relationele metadata.

3. Voorgestelde Architectuur (2-Hop Graph-RAG):

   • Hop 1 (Semantische Anker): Vector search identificeert de top $k=5$ "seed" chunks.
   • Hop 2 (Structurele Expansie): Vanaf de ticker geassocieerd met elke seed, traverseert het systeem INFLUENCES edges waar de Intensiteit $> \tau$ (drempelwaarde) is.
   • Neighbor Re-ranking: Geassocieerde nieuwsfragmenten voor naburige entiteiten worden geretrieved en opnieuw gerangschikt tegen de query. Alleen de top 2 chunks per buur met een gelijkenisscore $> 0.2$ worden toegevoegd als "Network Evidence".
   • Synthese: De LLM ontvangt een context bestaande uit primaire nieuwsberichten, verbonden entiteitsnamen, numerieke sentimentscores en de opnieuw gerangschikte bewijsvoering.

Evaluatiekader

De studie evalueert beide architecturen op 100 gegronde queries (30 Direct, 70 Relationeel) met behulp van:

• Statistische Metrieken: Semantische gelijkenis (cosinus-gelijkenis) en Entity Recall, gevalideerd via Wilcoxon signed-rank tests.
• RAGAS Framework: Referentievrije metrieken zoals Faithfulness, Answer Relevancy, Context Precision en Context Recall.
• Ablatie-studie: Analyse van de impact van de intensiteitsdrempel ($\tau$) op de antwoordkwaliteit.

Belangrijkste Resultaten

1. Algemene Prestaties

• Entity Recall: Graph-RAG bereikte een statistisch significante verbetering van +6,4% ($p < 0,001$) ten opzichte van de baseline, wat bevestigt dat structurele traversering entiteiten naar boven brengt die gemist worden door pure vector-gelijkenis.
• Answer Relevancy: Graph-Rag verbeterde met +11,7%, wat suggereert dat graaf-geaugmenteerde context hels de LLM helpt meer topisch gefocuste antwoorden te produceren.
• Semantische Gelijkenis: Er was geen statistisch significant verschil in antwoordkwaliteit ($\Delta = +0,001$, $p = 0,281$), wat aangeeft dat de extra graaf-context de kern van de generatiekwaliteit noch verbeterde, noch verslechterde.
• Latentie: Graph-RAG veroorzaakte een toename van 22,6% in gemiddelde latentie (9,03s vs. 7,37s) maar vertoonde een reductie van 80% in latentievariantie ($\sigma = 0,96$s vs. 4,82s), wat zorgt voor meer deterministische responstijden.

2. Gestratificeerde Analyse per Vraagtype

De voordelen van Graph-RAG zijn sterk geconcentreerd in Relationele (cross-entity) queries:

• Relationele Queries: Answer Relevancy verbeterde met +16,1%.
• Directe (Single-entity) Queries: De prestaties waren vergelijkbaar tussen beide systemen, waarbij Graph-RAG een marginale winst liet zien in Context Precision (+8,6%), maar een trade-off had in Context Recall (-11,9%), omdat extra entiteiten de bewijsvoering van een enkel artikel kunnen verdunnen.

3. Ablatie-studie: Intensiteitsdrempel ($\tau$)

De studie identificeerde een inverted-U relatie tussen de intensiteitsdrempel en de antwoordkwaliteit:

• $\tau = 0,3$: Te permissief; introduceert irrelevante bewijsvoering, wat de kwaliteit verslechtert.
• $\tau = 0,7$: Te restrictief; mist matig informatieve relaties.
• $\tau = 0,5$: Geïdentificeerd als de optimale balans, waarbij het de productie-default van 0,7 overtrof met +0,5% in semantische gelijkenis.

Significantie en Claims

Het paper karakteriseert de bevindingen als een precision-voor-coverage trade-off die inherent is aan graaf-geaugmenteerde retrieval. De auteurs claimen dat Graph-RAG niet uniform beter presteert dan vector-only retrieval, maar het werkingspunt verschuift om complexe, multi-entiteit redeneertaken die gebruikelijk zijn in financiële analyse beter te dienen.

Kernbijdragen zijn onder meer:

1. Aangetoonde Effectiviteit: Bewijs dat het integreren van een gespecialiseerd invloedsnetwerk systemen in staat stelt om "marktdissonantie" te identificeren—gevallen waarin tekstuele narratieven worden gecorrigeerd of verrijkt door onderliggende metadata.
2. Architecturale Richtlijnen: De identificatie van de inverted-U relatie voor intensiteitsdrempels biedt bruikbare tuning-richtlijnen voor practitioners, wat suggereert dat extreme filterwaarden suboptimaal zijn.
3. Query-Type Bewustzijn: De resultaten suggereren dat productiesystemen query-type-bewust moeten zijn, waarbij relationele queries naar Graph-RAG pipelines worden gerouteerd, terwijl vector-only retrieval wordt gereserveerd voor eenvoudige feitelijke zoekopdrachten om latentie en tokenverbruik te optimaliseren.

De auteurs vermelden beperkingen, waaronder het gebruik van door LLM gegenereerde grondwaarheid (wat een plafond-effect kan introduceren), de specifieke schaal van de 10-aandelen dataset, en de latentie-overhead van cloud-gebaseerde Neo4j-deployments. Zij concluderen dat hoewel de architectuur domein-agnostisch is, verdere validatie vereist is voor generalisatie naar andere domeinen en grotere entiteitsgrafen.