Can News Predict the Market? Limits of Zero-Shot Financial NLP and the Role of Explainable AI

Technische Samenvatting: Kan nieuws de markt voorspellen? Limieten van Zero-Shot Financial NLP en de rol van Explainable AI

Probleemstelling
Het artikel behandelt de onopgeloste uitdaging of financieel nieuws betrouwbaar korte-termijn bewegingen op de aandelenmarkt kan voorspellen met behulp van Large Language Models (LLMs) zonder domeinspecifieke fine-tuning. Hoewel financieel nieuws een primaire bron is voor het interpreteren van marktsentiment, wordt het omzetten van dit nieuws in betrouwbare voorspellingen gehinderd door dataruis, duplicatie tussen verschillende media, impliciete taal en complexe temporele mismatch tussen de publicatie van het nieuws en de reactie van de markt. Bestaande benaderingen vertrouwen vaak op supervised modellen die getraind zijn op gelabelde datasets, welke moeite hebben met het generaliseren over veranderende marktregimes. Daarentegen bieden zero-shot benaderingen flexibiliteit, maar lopen ze het risico onbetrouwbare signalen te produceren door de gevoeligheid voor prompts en een gebrek aan temporele structuur. De auteurs onderzoeken of een gestructureerde, impact-bewuste zero-shot pipeline deze beperkingen kan overwinnen om betrouwbare besluitvormingsondersteuning te bieden, zelfs als de ruwe voorspellende nauwkeurigheid laag blijft.

Methodologie
De auteurs stellen een impact-bewuste zero-shot voorspellingspipeline voor die bestaat uit vier stadia:

1. Data-acquisitie en Temporele Uitlijning:

   • Nieuws wordt opgehaald via de Finnhub API voor specifieke bedrijven en voorspellingsvensters (1, 3, 5, 7, 14 en 31 dagen).
   • Een dynamische lookback-periode wordt berekend om recente dekking te balanceren tegen verouderde informatie.
   • Artikelen worden gekoppeld aan specifieke handelsessies op de Amerikaanse markt (US Eastern Time), waarbij ervoor wordt gezorgid dat artikelen die na markt sluiting zijn gepubliceerd, worden doorgeschoven naar de volgende geldige sessie om de marktreactietijden uit te lijnen.

2. Preprocessing en Relevantiefiltering:

   • Deduplicatie: Titel-gebaseerde deduplicatie behoudt de oudste of langste versie van een verhaal.
   • Entiteitsmatching: Artikelen worden gefilterd om te garanderen dat het doelbedrijf wordt vermeld in de kop of de tekst.
   • Zinsniveau-filtering: Een zero-shot Natural Language Inference (NLI) model (DeBERTa) filtert boilerplate-teksten, juridische disclaimers en irrelevante zinnen eruit op basis van een relevantie-hypothese.

3. Impact-bewuste Artikelweging:

   • Recente Weging: Artikelen worden gewogen op basis van het aantal verstreken handelsdagen, met een decay-parameter die is afgestemd op specifieke voorspellingshorizonten.
   • Event Horizon Classificatie: Een zero-shot NLI-classifier categoriseert artikelen in negen event-families (bijv. kwartaalcijfers, M&A, regelgevende acties). Elke familie krijgt primaire en secundaire impacthorizonten toegewezen op basis van event-study literatuur.
   • Horizon Weging: Een Gaussische wegingsfunctie stemt de verwachte impacttijd van het artikel af op het voorspellingsvenster.
   • Finale Weging: Een samengestelde wegingsfactor combineert recentie, horizon-uitlijning, brondekking (logaritmisch) en een korting voor artikelen die alleen een kop bevatten.

4. Voorspelling en Verklaarbaarheid:

   • Sentiment Classificatie: Een RoBERTa-model voert zero-shot NLI-classificatie uit met hypothesen voor "bullish", "bearish" en "neutral". In tegenstelling tot standaard softmax gebruikt het model sigmoid-scoring om labels onafhankelijk te behandelen.
   • Abstentiemechanisme: Voorspellingen worden alleen afgegeven als de scores boven getunede drempelwaarden ($\tau_{pos}=0.56, \tau_{neg}=0.26$) liggen, waardoor het systeem kan onthouden wanneer de bewijslast te zwak is.
   • Explainability Framework: Het systeem genereert meerlagige verklaringen inclusief:
     • Token-niveau: LIME-attributies voor invloedrijke zinnen.
     • Artikel-niveau: Contrastieve bijdrageanalyse en greedy flip-set analyse (het verwijderen van artikelen om de stabiliteit van de voorspelling te testen).
     • Geaggregeerd niveau: Kwaliteitsvlaggen voor bewijs (bijv. dun bewijs, concentratie van gewicht, diversiteit van bronnen) en gegronde natuurlijke taal-samenvattingen gegenereerd door een lokale LLM.

Belangrijkste Bijdragen

1. Pipeline Ontwikkeling: De creatie van een impact-bewuste zero-shot pipeline die bedrijf-relevantie filtering, recentie-weging, event-afhankelijke impact-horizon weging en een drieledige abstention-gebaseerde voorspelling integreert.
2. Explainability Framework: Een meerlagig framework dat voorspellingen koppelt aan token-niveau attributies, artikelbijdragen, robuustheidscontroles (flip-set analyse) en gegronde natuurlijke taal-rationales.
3. Omvattende Evaluatie: Een evaluatie op een dataset van 480 gevallen die 20 in de VS genoteerde bedrijven uit vijf sectoren en zes voorspellingshorizonten beslaat, waarbij de voorgestelde zero-shot NLI-configuratie wordt vergeleken met domein-adaptieve (FinBERT, FinGPT) en algemene (Llama 3.1, Mistral 7B) baselines.
4. Empirische Bevindingen over Limieten: Bewijs dat, hoewel zero-shot NLP moeite heeft met directionele nauwkeurigheid (met name voor negatieve bewegingen), gestructureerde verklaarbaarheid en diagnostiek van de kwaliteit van het bewijs effectief kunnen onderscheiden tussen betrouwbare en onbetrouwbare voorspellingen.

Resultaten

• Voorspellende Prestaties: Geen enkel model, inclusclusief de voorgestelde zero-shot pipeline, overtrof de meerderheidsklasse-baseline (48.4%) in ruwe nauwkeurigheid op de holdout-set. Dit geeft aan dat korte-termijn aandelenvoorspelling op basis van enkel nieuws-sentiment zeer moeilijk blijft.
• Modelvergelijking: De voorgestelde RoBERTa-gebaseerde NLI-pipeline behaalde de hoogste Macro-F1 (0.3409) van alle geteste modellen, waarmee zij FinBERT, FinGPT en generatieve LLM's versloeg. Dit suggereert dat benchmark sentiment-nauwkeurigheid niet direct vertaalt naar pipeline-niveau aandelenvoorspelling.
• Moeilijkheidsgraad Negatieve Klasse: Alle modellen hadden aanzienlijke problemen met het voorspellen van negatieve bewegingen. Argmax-gebaseerde modellen identificeerden slechts 1 van de 38 negatieve gevallen, terwijl de drempelwaarde-getunede RoBERTa er 9 identificeerde. De auteurs wijten dit aan de zwakke relatie tussen artikel-niveau sentiment en de daaropvolgende prijsrichting, aangezien negatieve rendementen vaak worden gedreven door bredere marktomstandigheden of gemiste verwachtingen die niet in de nieuwstekst worden gevangen.
• Horizon en Sector Variantie: De prestaties piekten bij de 3-dagen horizon. De prestaties per sector varieerden: Consumer-aandelen lieten een hogere nauwkeurigheid zien (grotendeels door neutrale voorspellingen) en Healthcare vertoonde de laagste nauwkeurigheid, waarschijnlijk door de complexiteit van regelgevende en juridische factoren.
• Waarde van Verklaarbaarheid: De explainability-laag bood praktische bruikbaarheid. Casussen die als "HOOG" werden beoordeeld op de kwaliteit van het bewijs behaalden 49.4% nauwkeurigheid (licht boven de baseline), terwijl "LAAG" beoordeelde gevallen daalden naar 26.3%. Flip-set analyse toonde aan dat 10.4% van de voorspellingen fragiel was (veranderde na het verwijderen van één enkel artikel), terwijl de mediaan er 10 artikelen nodig had om de label te veranderen.

Significantie en Claims
Het artikel concludeert dat zero-shot financiële NLP niet moet worden beschouwd als een op zichzelf staande bron voor betrouwbare autonome handelsignalen, omdat het er niet in slaagt om consistent de eenvoudige baselines te overtreffen in directionele nauwkeurigheid. De auteurs pleiten echter voor een verschuiving in perspectief: de primaire waarde van zero-shot financiële NLP in omgevingen met hoge inzet ligt in transparante besluitvormingsondersteuning.

Door bewijsvoering te organiseren, de temporele uitlijning te kwantificeren, de robuustheid te beoordelen en betrouwbaarheidsratings te verstrekken, stelt het voorgestelde framework gebruikers in staat om te begrijpen wanneer en waarom een voorspelling betrouwbaar of onbetrouwbaar kan zijn. De studie benadrukt dat hoewel de mapping van nieuws-sentiment naar prijsdynamiek structureel beperkt is, het vermogen om de onderliggende bewijslast en onzekerheid bloot te leggen via explainable AI een aanzienlijke praktische waarde biedt voor risicobeheer en beleggingsanalyse.