Technische Samenvatting: Semantische Verrijking van Microblogs van Investeerders voor Opinionsbewuste Emotieanalyse

Probleemstelling

Hoewel sentimentanalyse een hoeksteen is van financieel Natural Language Processing (NLP), blijft het vastleggen van de nuances van waarom een sentiment bestaat een aanzienlijke uitdaging. Bestaande benaderingen analyseren vaak investeerdersgevoelens naast sentiment, maar missen de granulariteit om de specifieke doelen van deze emoties te identificeren. De huidige literatuur is overgestapt van binaire sentimenten naar rijkere emotionele categorieën (bijvoorbeeld Ekman's of Plutchik's classificaties), maar er blijft een kloof bestaan in het integreren van deze emotionele categorieën met fijnmazige meningen die specifieke doelen en diepe semantische context omvatten. Dit artikel adresseert de noodzaak om verder te gaan dan eenvoudige emotionele categorisering naar een representatie die meningssemantiek integreert, specifiek gericht op de interactie tussen de emotionele toestand van investeerders en de gestructureerde semantiek van meningen.

Methodologie

De voorgestelde aanpak omvat een drie-traps pipeline: datasetaugmentatie, grafgebaseerde semantische codering en kenmerkenfusie voor classificatie.

1. Datasetaugmentatie via LLM

De auteurs augmenteren de StockEmotions-dataset (verzameld van StockTwits) met fijnmazige meningsrepresentaties gebaseerd op de Unified Opinion Concepts (UOC)-ontologie.

• Proces: Een declaratieve Large Language Model (LLM)-pipeline, specifiek gebruikmakend van Qwen3.5-35B en de Multi-prompt Instruction Proposal Optimiser (MIPRO), genereert meningsannotaties voor 10.000 opmerkingen. Deze aanpak vermijdt naïeve prompting door automatisch instructies en voorbeelden in de context te optimaliseren.
• Annotatieschema: De augmentatie extrahert vijf sleutelcomponenten voor elke mening:
  • Sentiment: Polairiteit (positief/negatief/neutraal), intensiteit en expressie.
  • Doel: De entiteit waarover wordt gesproken (bijvoorbeeld "Batterij").
  • Aspect: Het specifieke attribuut van het doel (bijvoorbeeld "batterijduur").
  • Houder: Het individu of de organisatie die de mening uitdrukt.
  • Kwalificator: De groep of context waarvoor de mening geldt.

2. Graph Neural Network (GNN) Architectuur

De kerninnovatie ligt in het integreren van deze meningssemantiek in een classificatiemodel met behulp van Graph Neural Networks.

• Grafconstructie: Voor elke tekstsequentie construeert het systeem meningssubgrafieken waarbij knopen de Houder, Doel, Aspect, Kwalificator en Sentiment vertegenwoordigen. Randen coderen de relaties en sentimentpolariteit tussen deze knopen.
• Berichtoverdracht: Het model maakt gebruik van een Graph Attention Network (GATv2) om informatie van buurknopen te aggregeren. Hierdoor kan het model parametrische semantische representaties van de meningsstructuur leren.
• Kenmerkenfusie: De grafniveausrepresentaties worden teruggemapt naar het sequentieniveau en gefuseerd met de baseline transformer-embeddings (van BERT of RoBERTa). De auteurs experimenteren met drie fusiemechanismen:
  1. Concatenatie: Eenvoudige vectorconcatenatie.
  2. Gated Fusion: Een mechanisme dat het model toelaat om dynamisch het belang van tekst versus meningssemantiek te wegen.
  3. Attention Fusion: Een dot-product attention-mechanisme dat interactie tussen kenmerkenruimtes modelleert.
• Residuele Connectie: Een residuele fase behoudt de originele tekstuele context door de baseline-sequentiekenmerken weer toe te voegen aan de gefuseerde representatie.

Belangrijkste Bijdragen

1. Datasetaugmentatie: Het creëren van een geaugmenteerde StockEmotions-dataset verrijkt met gedetailleerde, fijnmazige meningsannotaties afgeleid van de UOC-ontologie met behulp van een door LLM aangedreven pipeline.
2. Architecturale Integratie: Het voorstellen van een nieuwe methode om UOC-meningssemantiek te integreren in classifiers op basis van voorgeprogrammeerde taalmodellen met behulp van Graph Neural Networks.
3. Empirische Evaluatie: Een uitgebreide evaluatie van state-of-the-art LLM's (GPT-5, Qwen-3.5) tegen fine-tuned encoder-modellen (BERT, RoBERTa) versterkt met GNN's voor emotieclassificatie in financiële teksten.

Resultaten

De studie evalueert prestaties over 12 distincte emotiecategorieën en geaggregeerde valentie-groepen (Positief, Negatief, Dubbelzinnig).

• Prestatiewinst: De integratie van GNN's verbeterde de prestaties van de BERT-baseline aanzienlijk. De BERT-GNN-variant behaalde een F1-macro-score van 37,88, een verbetering van meer dan 4,5 punten ten opzichte van de standaard BERT-baseline (33,25), met statistische significantie ($p \approx 0,001$).
• Categorie-specifieke resultaten:
  • BERT-GNN toonde opmerkelijke verbeteringen bij "Angst" (50,19), "Opwinding" (48,25) en "Dubbelzinnigheid" (23,12).
  • RoBERTa-GNN behaalde de hoogste scores voor "Depressie" (41,86) en "Walging" (45,36), hoewel de algehele macro-F1-toename marginaal was (van 37,57 naar 38,01) en niet statistisch significant via de McNemar-test, hoewel veranderingen in labeltoewijzing wel significant waren.
  • Baseline Encoders versus Generatieve LLM's: Fine-tuned encoder-modellen (BERT/RoBERTa) presteerden in een zero-shot setting aanzienlijk beter dan grote generatieve modellen (GPT-5, GPT-5-MINI, Qwen-3.5-35B). De generatieve modellen hadden vooral moeite met "Dubbelzinnigheid", "Geloof" en "Walging", waarbij ze vaak in single-digit F1-scores belandden.
• Valentie-analyse: De door GNN versterkte modellen toonden superieure robuustheid bij het classificeren van "Dubbelzinnige" en "Negatieve" emoties in vergelijking met generatieve LLM's, die goed presteerden bij "Positieve" emoties maar faalden bij de anderen.

Betekenis en Beweringen

Het artikel beweert dat het integreren van semantisch rijke meningsrepresentaties de nauwkeurigheid van het voorspellen van emotionele toestanden van investeerders aanzienlijk verbetert, met name voor complexe of dubbelzinnige emoties. De auteurs stellen het volgende:

• Meningsemantiek is belangrijk: Het "waarom" achter sentiment (vastgelegd via UOC) biedt de nodige granulariteit die de classificatieprestaties verbetert over verschillende emotionele spectrum.
• Taak-specifieke Encoders presteren beter dan Algemene LLM's: Voor specifieke financiële emotieclassificatietaken presteren fine-tuned encoder-modellen verrijkt met grafgebaseerde semantische redenering beter dan grotere, algemeen doelgerichte generatieve LLM's, vooral bij het detecteren van negatieve en dubbelzinnige sentimenten.
• Praktisch Nut: De voorgestelde declaratieve LLM-pipeline biedt een praktische aanpak om bestaande datasets te verrijken zonder dat parametrisch leren vereist is voor het annotatieproces zelf, waardoor de kloof tussen ruwe tekst en gestructureerde meningsanalyse wordt overbrugd.

Het werk concludeert dat hoewel grote taalmodellen veelbelovend zijn in zero-shot scenario's voor positief sentiment, ze momenteel de precisie missen die nodig is voor genuanceerde financiële emotieanalyse, waar meningsbewuste, grafversterkte architecturen een effectievere oplossing bieden.