“Just do register analysis”, they said. “It’ll be easy”, they said: Evaluating the impact of lexico-grammatical tagging systems on multidimensional analysis
Deze studie evalueert systematisch vijf open-source lexico-grammaticale tag-systemen voor multidimensionale analyse, waarbij wordt onthuld dat hoewel zij algemene registerverschillen succesvol repliceren, de resulterende dimensiescores significant variëren door inconsistente operationalisering van kenmerken in plaats van verschillen in onderliggende NLP-pipelines.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Beschouw taal als een enorme, bruisende stad. Elke keer dat we spreken of schrijven, wandelen we door verschillende wijken: een levendige marktplaats vol geklets (conversatie), een stille bibliotheek vol feiten (academisch schrijven), of een dramatisch toneelstuk (fictie). Linguïsten willen deze wijken al lang in kaart brengen om te begrijpen wat ze uniek maakt. Hiervoor gebruiken ze een krachtig instrument genaamd "Multidimensionale Analyse" (MDA). Denk aan MDA als een high-tech GPS die niet alleen naar individuele woorden kijkt, maar de "vibe" van een tekst meet door honderden kleine aanwijzingen te tellen—zoals hoe vaak er contracties worden gebruikt, hoe vaak mensen "ik" of "jij" zeggen, of hoeveel lange, ingewikkelde zinnen er verschijnen. Deze aanwijzingen worden gegroepeerd in "dimensies", die als onzichtbare assen op een kaart fungeren. Eén as kan meten hoe "spraakzaam en betrokken" een tekst is, terwijl een andere meet hoe "feitelijk en afstandelijk" hij is.
Decennialang hebben onderzoekers vertrouwd op een specifiek, legendarisch instrument genaamd de "Biber Tagger" om deze aanwijzingen te tellen. Het is als de originele, vertrouwde kompas die iedereen in de stad gebruikt. Maar er is een addertje onder het gras: dat originele kompas zit op slot in een kluis; niemand anders kan zien hoe het werkt of het direct gebruiken. Dus heeft een groep slimme ingenieurs zijn eigen open-source versies van dit kompas gebouwd om iedereen met de kaart te laten spelen. Maar een grote vraag blijft bestaan: wijzen deze nieuwe kompassen precies dezelfde richting op als het origineel? Als twee ontdekkingsreizigers verschillende kaarten gebruiken, komen ze dan in dezelfde buurt terecht, of raken ze verdwaald in een ander deel van de stad? Dit is het mysterie dat een team van onderzoekers van de Universiteit van Erlangen-Nuremberg probeerde op te lossen.
De onderzoekers besloten om vijf van deze nieuwe "Biber-stijl" instrumenten op de proef te stellen. Ze namen een enorme collectie 19e-eeuwse Britse romans—waarbij ze specifiek keken naar het verschil tussen de spraakzame delen waar personages met elkaar praten (dialoog) en de delen waar de auteur het verhaal vertelt (narratie). Ze wisten dat het "originele" kompas al had aangetoord dat dialoog meestal heel "betrokken" en conversationeel is, terwijl narratie meer "informatief" en beschrijvend is. Het team liet dezelfde tekst door vijf verschillende open-source instrumenten lopen: MAT, pseudobibeR, pybiber, BiberPlus en Biberpy. Ze wilden zien of deze instrumenten het eens zouden zijn over de lay-out van de kaart of dat ze compleet verschillende steden zouden tekenen.
De resultaten waren een mix van "grotendeels wel" en "pas op voor de uitschieters". Eerst het goede nieuws: bijna alle instrumenten slaagden erin om hetzelfde grote plaatje te vinden. Ze waren het er allemaal over eens dat dialoog spraamszaam is en narratie feitelijk is. De algemene vorm van de stad bleef hetzelfde. Echter, toen de onderzoekers naar de exacte coördinaten keken—de specifieke getallen op de kaart—vonden ze dat de instrumenten het niet altijd met elkaar eens waren over de details. Sommige instrumenten, zoals MAT en pybiber, produceerden resultaten die zeer dicht bij het origineel lagen. Anderen, zoals Biberpy, waren een beetje wild; ze plaatsten de teksten op plekken die verrassend ver weg lagen van waar het originele kompas ze had geplaatst.
Waarom gebeurde dit? De onderzoekers duikten in de machinekamers van deze instrumenten om de boosdoeners te vinden. Ze ontdekten dat de verschillen meestal niet werden veroorzaakt door de onderliggende technologie (zoals het specifieke taalmodel dat het instrument gebruikte om grammatica te begrijpen). In plaats daarvan kwam de problemen door hoe de instrumenten specifieke zaken telden. Het bleek dat een paar lastige kenmerken anders werden geteld, wat de boel in de war schoof. Bijvoorbeeld: één instrument kon een specif kind type vraagteken of een vreemde zinstructuur op een manier tellen waardoor de cijfers de pan uit vlogen, wat de eindscore verstoorde. Het is alsoast als één kaartmaker besluit om elke kiezelsteen op het trottoir als een "gebouw" te tellen, terwijl een ander alleen wolkenkrabbers telt; het totale aantal gebouwen zou er totaal anders uitzien, zelfs als de stad zelf niet veranderd is.
De studie controleerde ook hoe snel deze instrumenten waren. De onderzoekers ontdekten dat de instrumenten gebouwd met moderne technologie (met behulp van Python) over het algemeen snel waren, vooral als je een krachtige computer met een grafische kaart (GPU) had om hen te helpen. Eén instrument, MAT, was wat langzamer omdat het vereiste dat een mens op knoppen klikte, terwijl anderen automatisch konden draaien. Interessant genoeg maakte het gebruik van een "slimmer" of complexer taalmodel de uiteindelijke kaart niet noodzakelijkerwijs nauwkeuriger; het duurde alleen langer om de kaart te tekenen.
Uiteindelijk suggereert het artikel dat hoewel deze nieuwe instrumenten geweldig en grotendeels betrouwbaar zijn, ze geen perfecte kopieën van het origineel zijn. Als je je nieuwe bevindingen direct wilt vergelijken met oude studies die de originele "Biber Tagger" gebruikten, moet je zeer voorzichtig zijn. Je moet misschien je instellingen aanpassen of zeldzame woorden filteren om de cijfers op één lijn te krijgen. De onderzoekers waarschuwen dat sommige instrumenten, zoals Biberpy, op dit moment te verschillend zijn om voor directe vergelijkingen te worden gebruikt. Ze suggereren ook dat de toekomst van dit veld ligt in het flexibeler maken van deze instrumenten, waardoor onderzoekers precies kunnen kiezen hoe ze dingen willen tellen, en misschien zelfs het bouwen van instrumenten die talen behalve Engels in kaart kunnen brengen. De stad van de taal is uitgestrekt, en hoewel we veel nieuwe kompassen hebben, moeten we nog steeds zorgen dat ze allemaal naar het Noorden wijzen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.