From Entity Mentions to Tone: An LLM-Based Pipeline for Media Bias Analysis

In de moderne wereld arriveert het nieuws dat we lezen zelden als een neutrale stroom van feiten. In plaats daarvan wordt het gefilterd door de keuzes van redacteuren en de algoritmen die bepalen wat wij te zien krijgen. Deze filters fungeren als poortwachters, die bepalen welke verhalen ons bereiken en hoe ze worden gepresenteerd. Een verhaal over een politieke gebeurtenis kan door de ene bron als een triomf worden gepresenteerd en door de andere als een mislukking, niet omdat de feiten veranderden, maar omdat de toon en de focus verschoven. Dit fenomeen, bekend als mediabias, is moeilijk op grote schaal te volgen omdat het gepaard gaat met subtiele verschuivingen in taalgebruik, de selectie van specifieke details en de emotionele lading die aan verschillende mensen en gebeurtenissen wordt toegekend. Decennialang vereiste het begrijpen van deze patronen teams van menselijke experts die artikelen één voor één moesten lezen en analyseren, een traag en kostbaar proces dat niet kon meekomen met de snelheid van het internet.

Onderzoekers zijn begonnen met het inzetten van kunstmatige intelligentie om dit probleem op te lossen, in de hoop de detectie van deze subtiele vooroordelen te automatiseren. Er blijft echter een aanzienlijke hindernis bestaan voor veel delen van de wereld: de meeste geavanceerde taalmodellen zijn gebouwd voor grote talen zoals het Engels, waardoor kleinere talen zonder betrouwbare software voor het analyseren van hun eigen nieuws achterblijven. In deze regio's betekent het gebrek aan gespecialiseerde tools dat zelfs basisvragen — zoals welke nieuwsbronnen een specifieke gebeurtenis hebben behandeld of hoe verschillende media dezelfde publieke figuur beschreven — moeilijk consistent te beantwoorden blijven. Zonder deze tools is het moeilijk om het volledige beeld te zien van hoe informatie wordt vormgegeven en verspreid.

Een team onderzoekers van de Universiteit van Tirana in Albanië heeft een nieuwe aanpak ontwikkeld om deze kloof te overbruggen. Ze creëerden een systeem dat een krachtig, algemeen taalmodel gebruikt om duizenden nieuwsartikelen in het Albanees te lezen, een taal met zeer weinig toegewijde digitale hulpmiddelen. Het systeem leest niet alleen de tekst; het breekt deze af in drie afzonderlijke lagen van analyse. Ten eerste groepeert het artikelen in onderwerpen en specifieke gebeurtenissen om te zien welke verhalen worden verteld. Ten tweede identificeert het de namen van personen en organisaties die in die verhalen worden genoemd. Derde, en misschien wel het belangrijkste, meet het de emotionele toon van het geschreven werk, waarbij wordt bepaald of de berichtgeving over een persoon of gebeurtenis positief, negatief of neutraal is. Door deze lagen te combineren, kan de pijplijn niet alleen in kaart brengen welke nieuwsbronnen er voor kiezen om te berichten, maar ook hoe zij de betrokken personen in die verhalen beschrijven.

Om hun systeem te testen, verzamelden de onderzoekers een collectie van 8.358 nieuwsartikelen van 124 verschillende Albanese nieuwsbronnen, gepubliceerd in april 2026. Ze voerden deze artikelen in hun pijplijn, die een lokale versie van een geavanceerd taalmodel gebruikte om de benodigde gegevens te extraheren. Het doel was om te zien of deze geautomatiseerde methode betrouwbare resultaten kon produceren zonder een enorme, reeds bestaande database van door mensen gelabelde voorbeelden nodig te hebben. De onderzoekers vergeleken de output van hun systeem met de annotaties geleverd door GDELT, een grote wereldwijde database die ook geautomatiseerde tools gebruikt om het nieuws te volgen. De vergelijking toonde een matig niveau van overeenstemming tussen de twee systemen, wat suggereert dat de nieuwe pijplijn in een vergelijkbare richting werkte als gevestigde methoden. Belangrijker nog, de onderzoekers ontdekten dat hun systeem veel vermeldingen van personen identificeerde die het GDELT-systeem had gemist. Dit vermogen om extra namen te vangen is crucia \text{cruciaal} voor bias-analyse, omdat het missen van een publiek figuur het begrip van hoe verschillende media die persoon behandelen kan verstoren.

De studie testte ook twee verschillende sets instructies, of prompts, die aan het taalmodel werden gegeven om te zien welke beter zou werken. Eén set instructies was strikt en vereiste dat het model zijn eigen werk controleerde om te verzekeren dat de emotionele labels overeenkwamen met de numerieke scores die het toekende. De andere set was eenvoudiger en sneller. De strikte instructies elimineerden inder de inconsistenties tussen labels en scores, maar vertraagden het proces ook aanzienlijk en zorgden ervoor dat het systeem bijna de helft van de verwerkte artikelen oversloeg. De eenvoudigere instructies, hoewel ze meer inconsistenties produceerden, lieten het systeem toe om een veel groter deel van de nieuwscollectie te analyseren en veel sneller te draaien. De onderzoekers concludeerden dat voor een systeem dat ontworpen is om het nieuws continu te monitoren, de snellere, bredere aanpak praktischer was, aangezien de enkele inconsistenties later met eenvoudige regels kunnen worden opgeschoond.

Met behulp van de door deze pijplijn gegenereerde gegevens konden de onderzoekers gedetailleerde profielen maken van hoe verschillende nieuwsbronnen opereren. Ze ontdekten dat sommige media consequent onderwerpen met een gunstigere toon kaderden, terwijl andere systematisch kritischer waren. Het systeem kon ook specifieke publieke figuren volgen, waarbij werd aangetoond hoe dezelfde persoon in de ene krant positief en in de andere negatief beschreven kon worden. Zo toonde de analyse aan dat de berichtgeving over bepaalde politieke figuren sterk varieerde afhankelijk van de bron, waarbij sommige media bijna uitsluitend positieve berichtgeving boden terwijl anderen overwegend kritisch waren. Daarnaast kon het systeem "gatekeeping"-gebeurtenissen identificeren — verhalen die slechts door een klein aantal bronnen werden behandeld en door de rest van het medialandschap werden genegeerd. Dit stelde de onderzoekers in staat om niet alleen de toon van het nieuws te zien, maar ook het bereik van specifieke verhalen en waar informatie werd geconcentreerd of achtergehouden.

Het werk demonstreert dat het mogelijk is om een gestructureerd, geautomatiseerd systeem te bouwen voor het analyseren van mediabias in talen met weinig middelen (low-resource languages), zonder dat daar gespecialiseerde, taalspecifieke trainingsdata voor nodig is. De onderzoekers benadrukken dat hun instrument niet bedoeld is om menselijk oordeel of deskundige beoordeling te vervangen, maar om te dienen als een snel startpunt. Het transformeert een enorme collectie artikelen in duidelijke signalen die gemakkelijker geïnspecteerd kunnen worden. Door de initiële extractie van namen, onderwerpen en tonen te automatiseren, vermindert het systeem de hoeveelheid materiaal die mensen vanaf nul moeten lezen. Dit is bijzonder waardevol in omgevingen waar continue monitoring moeilijk is en waar gespecialiseerde taaltools schaars zijn. De onderzoekers suggereren dat deze aanpak een reproduceerbaar blauwdruk biedt die kan worden toegepast op andere talen en regio's, wat een manier biedt om te visualiseren hoe nieuws wordt gekaderd en wie er gehoord wordt in het publieke debat.