Media Framing through the Lens of Event-Centric Narratives

Technische Samenvatting: Mediaframing door de lens van gebeektscentrische narratieven

Probleemstelling
Mediaframing-analyse beoogt te begrijpen hoe nieuwsorganisaties aspecten van kwesties selecteren en organiseren om specifieke interpretaties te bevorderen. Bestaande computationele benaderingen vertrouwen voornamelijk op hoogwaardige onderwerp-markers, zoals latente onderwerpmodellen (bijv. LDA) of handmatig geconstrueerde taxonomieën van trefwoorden. De auteurs stellen dat deze methoden vaak te breed zijn om de nuances van framing te vatten. Door frames te reduceren tot samenvoorkomende trefwoorden of brede thema's (bijv. "economisch"), falen deze benaderingen erin uit te leggen hoe verschillende aspecten worden gekozen en georganiseerd om een argument te construeren. Specifiek kan een enkele onderwerp-marker zoals "economisch" immigratie framen als óf een stimulans óf een last voor de economie, een onderscheid dat trefwoordgebaseerde modellen moeilijk kunnen disambigueren zonder begrip van de onderliggende narratieve structuur.

Methodologie
Het artikel stelt een computationeel kader voor dat de focus verschuift van statische onderwerpen naar dynamische, gebeektscentrische narratieven. De methodologie bestaat uit drie primaire fasen:

1. Gebeurtenisextractie (Event Extraction):
   Het systeem hanteert een werkwoord-centrisch perspectief op gebeurtenissen, waarbij (werkwoord, object)-paren uit de tekst worden geëxtraheerd. Met behulp van een dependency parser identificeert het framework niet-hulpwerkwoorden en hun bijbehorende object-koppen (waarbij onderscheid wordt gemaakt tussen actieve en passieve stem) om een lijst met gebeurtenisvermeldingen voor elk document te vormen.

2. Relatie-extractie en Ketenconstructie:
   Een classifier wordt getraind om relaties te voorspellen tussen geëxtraheerde gebeurtenisparen binnen een document. Het model richt zich op twee specifieke relatietypen:

• Temporeel: Chronologische ordening (bijv. precedentie, opvolging, synchroon).
• Causaal: Oorzaak-gevolgrelaties (bijv. reden, gevolg).
  De classifier wordt getraind op een subset van de ASER (Activities, States, Events and their Relations) kennisgraaf, waarbij RoBERTa wordt gebruikt om gebeurtenisparen en hun omliggende zinnen te representeren. Alleen gebeurtenisparen met voorspelde temporele of causale relaties worden behouden om single-hop narratieve ketens te construeren, gerepresenteerd als (gebeurtenis1, relatie, gebeurtenis2).

3. Narratieve Clustering en Expansie:
   Om deze ketens te transformeren naar hoogwaardige thema's, maakt het framework gebruik van een Large Language Model (LLM), specifiek Llama 3.1 8B. De LLM wordt in een zero-shot setting geprompt om elke narratieve keten uit te breiden naar een beschrijvende zin die de causale of temporele sequentie articuleert. Deze uitgebreide zinnen worden vervolgens geëmbed met SBERT en geclusterd middels K-means. De auteurs experimenteren met clusteraantallen variërend van 25 tot 200 om onderscheidende narratieve thema's te identificeren.

Belangrijkste Bijdragen

• Een Narratief-Centraal Framework: De auteurs stellen een nieuw model voor mediaframing-analyse voor dat gebeektscentrische narratieve representaties extraheert en groepeert in hogere thema's, waarmee zij verder gaan dan eenvoudige trefwoord-co-occurence.
• Cross-Domein Generaliseerbaarheid: Het framework wordt toegepast en geëvalueerd over twee verschillende nieuwsdomeinen: immigratie en wapencontrole, wat de aanpasbaarheid aan verschillende beleidsvraagstukken aantoont.
• Predictieve en Explicatieve Bruikbaarheid: De studie biedt een uitgebreide evaluatie waaruit blijkt dat de geïnduceerde narratieve clusters dienen als significante signalen voor het voorspellen en verklaren van de Boydstun et al. (2014) beleidskader-taxonomie.

Resultaten

• Relatievoorspelling: De relatie-classifier behaalde een macro-F1 score van 0,60, waarmee het baselines zoals Majority Class, Random en Logistische Regressie met GloVe-embeddings versloeg. Het model vertoonde een hogere precisie bij het identificeren van temporele relaties vergeleken met causale relaties, hoewel de recall voor causale relaties werd geprioriteerd om dekking te garanderen.
• Clusterkwaliteit: Een intrusietest onthulde een hoge inter-annotator overeenstemming (82,61%) en labelingsnauwkeurigheid (67,5%) voor de immigratie-dataset, wat wijst op goed gedefinieerde, semantisch coherente clusters. De dataset voor wapencontrole vertoonde een lagere nauwkeurigheid (37,5%), wat de auteurs toeschrijven aan een gebrek aan variatie in narratieve thema's en overlappende clusters in dat domein.
• Frame-voorspelling:
  • Bij het gebruik van enkel narratieve clusterkenmerken (zonder ruwe tekst), presteerde het model beter dan baselines inclusief Random, LDA-onderwerpen en Gebeurtenistypen. De optimale prestatie werd bereikt met 150 clusters voor immigratie en 50 voor wapencontrole.
  • Wanneer narratieve clusterkenmerken werden gecombineerd met RoBERTa-gebaseerde tekstrepresentaties, liet het model een kleine maar consistente verbetering zien in nauwkeurigheid en F1-scores ten opzichte van tekst-alleen baselines, wat suggereert dat narratieve structuren een nuttige inductieve bias introduceren.
• Kwalitatieve Bevindingen: De analyse isoleerde succesvol narratieve thema's die corresponderen met specifieke frames. Zo werd het "Crime and Punishment" frame in immigratie sterk geassocieerd met narratieven over de "smokkel van ongedocumenteerde immigranten" en het "arresteren van smokkelaars". Op dezelfde wijze werd het "Legality, Constitutionality, Jurisdiction" frame in wapencontrole gekoppeld aan narratieven over "Second Amendment rechten" en "hofuitspraken".

Betekenis en Claims
Het artikel claimt dat de primaire bijdrage ligt in het aantonen dat framing fundamenteel een narratieve constructieprobleem is. Door het extraheren en clusteren van gebeurtenisketens kan het framework de "story-telling patronen" vangen die hoogwaardige dimensies van framing disambigueren. De auteurs stellen dat hun benadering een rijkere en meer beknopte representatie van documenten biedt dan traditionele onderwerpmodellering, omdat het zich richt op de saillante narratieven die gekozen worden om argumenten te voeren, in plaats van enkel op de onderwerpen die besproken worden.

De auteurs hanteren een bescheiden toon bij hun claims en erkennen dat het framework niet is ontworpen om prestaties te maximaliseren via massieve, complexe modellen vanwege computationele beperkingen. In plaats daarvan beoogt het werk een onderzoeksrichting te benadrukken die het belang van het identificeren van cruciale nuances in narratieve ketens onderstreept. Zij merken beperkingen op in domein-generalisatie (getest op slechts immigratie en wapencontrole) en de afhankelijkheid van menselijke annotatie voor de evaluatie van clusters, en suggereren dit als gebieden voor toekomstig onderzoek.