MUESCA: A Multi-Genre Corpus and Annotation Scheme for Subjectivity in Spanish

In het uitgestrekte landschap van de menselijke taal bestaat een constante spanning tussen wat simpelweg waar is en wat als waar wordt gevoeld. Decennialang hebben wetenschappers werkzaam in het veld van natuurlijke taalverwerking geprobeerd computers te leren het verschil te zien tussen een feitelijke bewering en een uiting van een persoonlijke mening. Deze taak, bekend als subjectiviteitsdetectie, is cruciaal voor alles van het sorteren van nieuwsartikelen tot het begrijpen van het publieke sentiment. De traditionele aanpak is echter vaak te simpel geweest, waarbij taal werd behandeld als een binaire schakelaar waarbij een zin ofwel objectief ofwel subjectief is. In werkelijkheid is menselijke communicatie zelden zo zwart-wit. Een nieuwsverslag kan een feit vermelden terwijl het subtiel wordt gekaderd door het perspectief van een journalist; een wetenschappelijk artikel kan harde gegevens presenteren terwijl het voorzichtige taal gebruikt om toekomstige mogelijkheden te beschrijven. De uitdaging ligt in het vangen van dit vloeiende middengebied, waar de "vingerafdruk van de auteur" verborgen zit in woorden die op het oppervlak neutraal lijken.

Een team onderzoekers aan de Universiteit van Alicante in Spanje heeft een belangrijke stap gezet richting het oplossen van dit puzzelstukje door een nieuwe bron genaamd MUESCA te creëren. In plaats van teksten in rigide hokjes te dwingen, bouwden zij een dataset die subjectiviteit behandelt als een glijdende schaal, of een continuüm. Hiervoor verzamelden en analyseerden zij drie zeer verschillende soorten geschriften: wetenschappelijke abstracts, die het meest objectieve uiteinde van het spectrum vertegenwoordigen; consumentenbeoordelingen, die het meest subjectieve uiteinde vertegenwoordigen; en nieuwsartikelen, die in het rommelige, hybride midden zitten. Door te onderzoeken hoe auteurs in deze verschillende genres specifieke linguïstische instrumenten gebruiken — zoals woorden die zekerheid tonen, zinnen die twijfel tonen, of voornaamwoorden die persoonlijke betrokkenheid onthullen — brachten de onderzoekers nauwkeurig in kaart hoe de "stem" van de schrijver verandert over deze stijlen heen. Hun werk biedt een nieuwe manier om de onzichtbare aanwezigheid van een menselijke auteur binnen een tekst te meten, en biedt een meer genuanceerde kaart voor computers om door de complexe wereld van menselijke expressie te navigeren.

De kern van dit project is het MUESCA-corpus, een collectie van 1.865 zinnen afkomstig uit 135 documenten. De onderzoekers hebben deze zinnen niet alleen verzameld; ze hebben ze minutieus geannoteerd, waarbij ze specifieke grammaticale en lexicale kenmerken hebben gemarkeerd die aangeven in welke mate de auteur zich committeert aan wat hij zegt. Ze verdeelden deze signalen in twee hoofdgroepen: hoge auteur-commitment en lage auteur-commitment. Hoge commitment omvat markers van zekerheid, zoals het gebruik van de toekomende tijd of het stellen van iets als een feit, en markers van participatie, zoals het gebruik van "ik" of "wij". Lage commitment omvat markers van twijfel, zoals de conjunctief (de aanvoegende wijs) of woorden als "misschien", en markers van distantie, zoals het gebruik van de lijdende vorm om te verbergen wie de handeling verrichtte. Door deze kenmerken te tellen, konden het team zien hoe wetenschappelijke abstracts de neiging hebben om te vertrouwen op specifieke data en onpersoonlijke structuren, terwijl beoordelingen vol staan van persoonlijke meningen en directe betrokkenheid. Nieuwsartikelen vertoonden, zoals verwacht, een mix van beide, wat hun status als hybride genre bevestigde.

Om hun bevindingen robuust te maken, testten de onderzoekers of deze linguïstische markers computers daadwerkelijk konden helpen om de verschillende soorten geschriften te onderscheiden. Ze trainden machine learning-modellen om de teksten te classificeren in objectieve, hybride of subjectieve categorieën. Wanneer de modellen alleen de ruwe tekst kregen, presteerden ze redelijk goed, maar wanneer de onderzoekers de specifieke pragmatische markers uit hun annotatieschema toevoegden, werden de modellen aanzienlijk beter in de taak. De meest effectieve combinatie van kenmerken betrof het meten van het niveau van specificiteit en de mate van zekerheid. Deze aanpak stelde de computer in staat om niet alleen te begrijpen waar de tekst over ging, maar ook hoe de auteur die informatie presenteerde. De resultaten waren bijzonder sterk voor het nieuwsgenre, dat vaak het moeilijkst te classificeren is omdat het feiten mengt met interpretatie. Door deze pragmatische markers te gebruiken, verbeterde het model zijn vermogen om de subtiele manieren te ontdekken waarop journalisten hun verhalen inkaderen.

De onderzoekers verkenden ook hoe deze door mensen ontworpen regels konden samenwerken met moderne kunstmatige intelligentie. Ze combineerden hun specifieke markers met een krachtig taalmodel genaamd BETO, dat getraind is op enorme hoeveelheden Spaanse tekst. Hoewel dit geavanceerde model al erg goed was in het begrijpen van taal, verbeterde het toevoegen van de specifieke subjectiviteitsmarkers de prestaties nog steeds. De verbetering was klein in procentuele termen, maar statistisch significant, wat sugggeilen dat de expliciete regels over auteur-commitment de computer hielpen om ambiguïteiten op te lossen die pure statistische patronen misten. Dit is vooral waar voor nieuwsartikelen, waarbij de nauwkeurigheid van het model toenam wanneer het de specifieke linguïstische signalen van twijfel of zekerheid kon zien. De studie bevestigt dat hoewel grote AI-modellen krachtig zijn, ze nog steeds profiteren van een gestructureerd begrip van hoe mensen hun argumenten construeren en hun overtuigingen uiten.

Een van de meest onthullende aspecten van de studie was hoe het nieuwsgenre zich gedroeg wanneer het tegenover de andere twee extremen werd geplaatst. Wanneer de onderzoekers het model testten door het te vragen nieuws te onderscheiden van wetenschappelijke abstracts, vond het model het relatief eenvoudig om ze uit elkaar te houden. Echter, wanneer het werd gevraagd nieuws te onderscheiden van consumentenbeoordelingen, was de taak moeilijker. Dit suggereert dat de taal van de journalistiek, ondanks haar reputatie van neutraliteit, meer pragmatisch DNA deelt met persoonlijke opiniestukken dan met de afstandelijke taal van de wetenschap. De nieuwsartikelen bevatten vaak genoeg subjectieve inkadering en evaluatieve taal om de lijn met beoordelingen te vervagen, wat ze moeilijker te scheiden maakt van de subjectieve pool. Dit bevinding ondersteunt het idee dat subjectiviteit geen vaste eigenschap is van een teksttype, maar een vloeiende kwaliteit die kan verschuiven afhankelijk van hoe de auteur ervoor kiest de informatie te presenteren.

Het MUESCA-project beweert niet het probleem van subjectiviteitsdetectie volledig te hebben opgelost, maar het biedt een solide fundament voor toekomstig werk. De onderzoekers hebben hun dataset en hun annotatierichtlijnen beschikbaar gesteld aan anderen, zodat de wetenschappelijke gemeenschap voort kan bouwen op hun werk. Ze zijn van plan het corpus uit te breiden met meer genres, zoals berichten op sociale media en technische rapporten, om te zien of hun methode standhoudt in meer informele of gepolariseerde omgevingen. Ze zien ook potentie voor toepassingen in het detecteren van misleiding, waarbij de manier waarop informatie wordt gepresenteerd — door middel van zekerheid of twijfel — meerzeggend kan zijn dan de feiten zelf. Door te focussen op de pragmatische levering van informatie in plaats van alleen de inhoud, biedt deze aanpak een nieuwe lens om te begrijpen hoe mensen taal gebruiken om de werkelijkheid vorm te geven. Het werk demonstreert dat door de complexe taak van subjectiviteit te ontleden in meetbare, linguïstische componenten, we tools kunnen bouwen die niet alleen nauwkeuriger zijn, maar ook transparanter over hoe ze tot hun conclusies komen.