Technische Samenvatting: Economische Narratieve Indices en Media-gebaseerde Sentimentmetingen (2007–2025)

1. Probleemstelling

Traditionele economische voorspellingen vertrouwen op kwantitatieve statistieken die met aanzienlijke vertragingen (30–90 dagen) en een lage frequentie worden gepubliceerd. In contrast hiermee onthult realtime tekstuele data (media-narratieven, bedrijfsverklaringen, publieke verwachtingen) continu het economische sentiment. Hoewel er sinds Tetlock (2007), die de voorspellende kracht van media-sentiment aantoonde, substantieel onderzoek is voortgekomen, blijven er kritieke hiaten bestaan met betrekking tot methodologische consistentie, de robuustheid van verbeteringen in voorspellingen en ernstige geografische en taalkundige vooroordelen. De literatuur is sterk geconcentreerd op de Verenigde Staten en Engelstalige teksten, waardoor enorme populaties in Afrika, Latijns-Amerika en Zuid-Azië (inclusief 265 miljoen Bengaalse sprekers) zonder toegewijde economische sentimentindices blijven. Bovendien blijven de causale mechanismen die narratieven aan macro-economische uitkomsten koppelen grotendeels theoretisch, en variëren de validatiepraktijken sterk in strengheid.

2. Methodologie

Deze studie voert een systematische review uit volgens de PRISMA-richtlijnen, waarbij bewijs wordt gesynthetiseerd uit 46 empirische studies (2007–2025) die sentiment extraheren uit tekst voor economische voorspellingen, aangevuld met 20 theoretische papers die macro-economische modellen van sentiment ontwikkelen.

• Zoekstrategie: Er is een systematische zoekopdracht uitgevoerd in vijf databases (Web of Science, Scopus, EconLit, SSRN, Federal Reserve working papers) met zoektermen die sentimentanalyse, economische voorspelling en NLP/machine learning-termen combineren. Achterwaartse en voorwaartse citatie-tracking werd toegepast.
• Inclusiecriteria: Studies moeten (1) sentiment/narratieven extraheren uit tekst, (2) deze toepassen op economische/financiële voorspellingen, en (3) een systematische validatie hanteren.
• Kwaliteitsbeoordeling: Papers werden geëvalueerd op methodologische strengheid, datakwaliteit, validatierobustheid en reproduceerbaarheid.
• Synthesebenadering: De review stelt een methodologische taxonomie op, voert een kwantitatieve synthese uit van de voorspellingsprestaties (gestandaardiseerd naar RMSE-reductie), en documenteert de geografische en taalkundige dekingsverschillen.

3. Belangrijkste Bijdragen

Het artikel levert vijf fundamentele bijdragen aan het vakgebied:

1. Omvattende Taxonomie: Een classificatie van sentimentextractiemethoden over vier tijdperken: woordenboekgebaseerde benaderingen (55% van de studies), traditionele machine learning (6%), transformer-modellen (6%) en opkomende Large Language Models (3%).
2. Kwantitatieve Synthese van Voorspellende Waarde: Een meta-analyse die vaststelt dat sentimentgebaseerde modellen de nauwkeurigheid van voorspellingen verbeteren, met een mediane reductie van de Root Mean Square Error (RMSE) van 20% over alle studies. Het artikel nuanceert dit echter door aan te tonen dat studies met sterke baselines (professionele voorspellingen, ARIMA) rapportages van 12–15% verbetering laten zien, terwijl studies met zwakke baselines (AR(1)) grotere maar minder realistische winsten rapporteren.
3. Documentatie van Onderzoeksverschillen: Expliciete identificatie van kritieke geografische en taalkundige vooroordelen: 56% van de studies richt zich op de VS, 84% analyseert Engelse teksten, en nul studies construeren indices voor Afrika, Latijns-Amerika of Bengaals-sprekende regio's.
4. Validatiekader: Een gestructureerd, gelaagd kader voor best practices in de validatie van sentimentvoorspellingen, waarbij onderscheid wordt gemaakt tussen essentiële (bijv. out-of-sample testen, realtime protocollen), aanbevolen en geavanceerde praktijken.
5. Casestudy Voorstel: Een concreet voorstel voor de Bangla Economic Narrative Index (BENI) om de geografische kloof te overbruggen, gebruikmakend van BanglaBERT en keyword-assisted topic modeling.

4. Belangrijkste Resultaten

Methodologische Evolutie

• Woordenboekgebaseerd (2007–2018): Domineerde het vroege onderzoek (bijv. Loughran-McDonald). Hoge interpreteerbaarheid en lage kosten, maar moeite met context en woordvolgorde.
• Machine Learning & Transformers (2018–Heden): De verschuiving naar BERT en varianten (bijv. FinBERT) verbeterde de nauwkeurigheid naar 85–92% en legde context vast.
• Large Language Models (2022–Heden): Opkomend gebruik van GPT-3.5/4 voor zero-shot decompositie. Hoewel ze een hoge nauwkeurigheid bereiken (88–95%), kampen ze met problemen zoals hallucinaties, kosten en potentiële datacontaminatie.
• Theoretische Modellen: 30% van de gereviewde literatuur bestaat uit theoretische papers (bijv. Angeletos & La'O, Shiller) die sentiment modelleren als extrinsieke schokken of narratieve modi, vaak zonder computationele tekstextractie.

Voorspellingsprestaties

• Algehele Verbetering: De onvoorwaardelijke mediane RMSE-reductie is 20%.
• Domeinspecifiteit:
  • Volatiliteit: Hoogste verbetering (mediaan 28%).
  • Inflatie/CPI: Mediaan verbetering van 22%.
  • BBP (GDP): Mediaan verbetering van 18%.
  • Aandelenrendementen: 15% mediane verbetering.
  • Werkgelegenheid: Zwakste domein (16% mediaan).
• Baseline Afhankelijkheid: De gerapporteerde toegevoegde waarde is zeer gevoelig voor de benchmark. Vergelijkingen met professionele voorspellingen (SPF, Blue Chip) leveren meer bescheiden (12–15%) maar realistischere winsten op vergeleken met naïeve AR(1)-modellen.
• Publicatiebias: Slechts 2 van de 66 papers rapporteerden nul of negatieve resultaten, wat wijst op een significante opwaartse bias in de gerapporteerde prestatiecijfers.

Validatiepraktijken

• Out-of-Sample (OOS) Testen: 83% van de studies past OOS-testen toe.
• Real-Time Protocollen: Slechts 33% van de studies houdt zich strikt aan realtime dataprotocollen (om look-ahead bias te vermijden). Ongeveer 35% van de papers overtreedt deze discipline.
• Statistische Rigor: Hoewel 71% Diebold-Mariano-testen gebruikt, hanteert slechts 18% geavanceerde Model Confidence Sets (MCS) of Superior Predictive Ability (SPA) testen.
• Robuustheid: Inter-annotator overeenstemming wordt slechts in 12% van de studies gerapporteerd, en temporele robuustheid (het testen van modelverval over de tijd) is grotendeels onverkend.

Geografische en Taalkundige Dispariteiten

• Concentratie: Noord-Amerika (56%), Europa (20%), Azië-Pacific (14%), Zuid-Azië (6%).
• Gaten: Nul dekking voor Afrika, Latijns-Amerika en het Midden-Oosten.
• Taal: 84% Engels; 16% niet-Engels (voornamelijk Duits, Frans, Chinees). Er bestaan geen indices voor Bengaals, Hindi of de meeste niet-OECD-talen.

5. Betekenis en Claims

Het artikel betoogt dat sentimentanalyse is uitgegroeid van een nichecuriositeit tot een geloofwaardig, zij het bescheiden, voorspellingsinstrument. De betekenis ligt in het verder gaan dan beschrijvende claims naar een rigoureuze, systematische beoordeling van de staat van het veld.

• Over Voorspellende Nut: De auteurs beweren dat sentimentindices de out-of-sample voorspellingen betrouwbaar verbeteren met 10–15% wanneer ze zijn geconditioneerd op sterke baselines en gecorrigeerd voor publicatiebias. Dit is economisch betekenisvol voor realtime beleid en handel, maar bescheiden in verhouding tot de modelonzekerheid.
• Over Methodologie: Het veld wordt gekenmerkt door een afruil tussen interpreteerbaarheid (woordenboeken) en nauwkeurigheid (LLM's). Er bestaat geen enkele "beste" methode; de keuze hangt af van specifieke toepassingsvereisten.
• Over Causaliteit: De review benadrukt dat hoewel sentiment de uitkomsten voorspelt, de literatuur grotendeels faalt om causaliteit vast te stellen. De meeste studies vertrouwen op Granger-causaliteit of temporele precedentie, wat onvoldoende is voor beleidsontwerp. De auteurs merken op dat voor voorspellers voorspelling voldoende is, maar voor beleidsmakers die uitkomsten willen beïnvloeden via communicatie, het gebrek aan causale identificatie een beperkende factor is.
• Over Toekomstige Richtingen: Het paper stelt dat recente vooruitgang in meertalige NLP (bijv. mBERT, XLM-R, BanglaBERT) geografische expansie technisch haalbaar maakt. Het stelt voor dat het komende decennium zal bepalen of narratieve analyse een wereldwijde standaard wordt of beperkt blijft tot welvarende economieën.

Het artikel concludeert met een oproep tot methodologische standaardisatie (getrapte validatiekaders, preregistratie, gestandaardiseerde rapportage van effectgroottes) en onmiddellijke expansie naar ondervertegenwoordigde regio's om de robuustheid en generaliseerbaarheid van economisch sentimentonderzoek te waarborgen.