Creation of the Estonian Subjectivity Dataset: Assessing the Degree of Subjectivity on a Scale

Technische Samenvatting: Creatie van de Estse Subjectiviteitsdataset

Probleemstelling
Subjectiviteitsanalyse is een fundamentele taak binnen Natural Language Processing (NLP) voor het begrijpen van menselijke meningen, attitudes en perspectieven. Hoewel bestaande datasets vaak vertrouwen op binaire classificatie (objectief versus subjectief) of analyse op zinsniveau, is de menselijke perceptie van subjectiviteit inherent gradueel en bestaat deze op een continuüm. Bovendien is er een gebrek aan middelen voor talen met een lage beschikbaarheid (low-resource languages); specifiek bestond er vóór dit werk geen subjectiviteitsdataset voor het Ests. De uitdaging ligt in het creëren van een betrouwbare dataset die de nuance van subjectiviteit op een continue schaal vastlegt, terwijl tegelijkertijd de inherente variabiliteit in menselijke annotatie wordt geadresseerd en de haalbaarheid van het automatiseren van dit proces met behulp van Large Language Models (LLM's) wordt onderzocht.

Methodologie
De auteurs hebben de Estse Subjectiviteitsdataset geconstrueerd, bestaande uit 1.000 documenten die zijn beoordeeld op een continue schaal van 0 (volledig objectief) tot 100 (volledig subjectief).

• Dataverzameling: De dataset bevat 300 journalistieke teksten (150 nieuwsartikelen, 150 opiniestukken) en 700 willekeurig geselecteerde webteksten uit het Estse Nationale Corpus van 2021. Teksten werden beperkt tot 100–6.000 tekens om zinvolle analyse te garanderen terwijl de focus van de annotator behouden bleef. Het corpus beslaat diverse genres, waaronder reclame, sociale media, juridische teksten en literatuur.
• Annotatieprotocol:
  • Pilotstudie: Een voorlopige studie met 60 teksten valideerde de continue schaal en de selectie van bronnen (variërend van neutrale publieke omroep tot gepassioneerde alternatieve media).
  • Hoofdannotatie: Drie annotatoren (A1, A2, A3) beoordeelden de volledige dataset van 1.000 teksten met behulp van een glijdende schaal in een survey-omgeving. Zij gaven ook betrouwbaarheidsratings op ("niet helemaal zeker" tot "volledig zeker").
  • Re-annotatie: Om de hoge mate van onenigheid tussen annotatoren te onderzoeken, werd een subset van 250 teksten (geselecteerd op basis van extreme score-divergenties) na een interval van vier maanden opnieuw geannoteerd door twee van de oorspronkelijke annotatoren.
  • Vierde Annotator: Een vierde annotator (A4), die deelnam aan de pilot, werd gerekruteerd om de volledige dataset te annoteren om de betrouwbaarheid van de score-aggregatie te verbeteren.
• LLM-experiment: De auteurs gebruikten GPT-5 om de gehele dataset van 1.000 teksten te annoteren. Het model kreeg de opdracht om een score (0–100) toe te kennen en een rationale te verstrekken. Om de consistentie te beoordelen, werd de dataset in drie afzonderlijke batches verwerkt en werden de scores gemiddeld.

Belangrijkste Bijdragen

1. Eerste Estse Subjectiviteitsdataset: De creatie van een document-niveau subjectiviteitsdataset voor het Ests, geannoteerd op een continue 0–100 schaal in plaats van een categorische binaire schaal.
2. Analyse van Annotatievariabiliteit: Een gedetailleerde examinatie van de overeenstemming tussen annotatoren, waarbij werd vastgesteld dat hoewel de correlaties matig zijn, ze statistisch significant zijn. De studie identificeert dat tekstlengte en genre de annotatieconsistentie verschillend beïnvloeden.
3. Contextuele Effecten: Het artikel documenteert de invloed van de annotatiecontext (de volgorde van de gepresenteerde teksten) op de menselijke scoring, waarbij wordt opgemerkt dat annotatoren onbewust hun interne schalen kunnen aanpassen op basis van voorgaande teksten.
4. Mens-LLM Vergelijking: Een empirische vergelijking tussen menselijke annotaties en GPT-5 outputs, die specifieke systematische divergenties belicht in hoe mensen en modellen subjectiviteitsaanwijzingen interpreteren.

Resultaten

• Overeenstemming tussen Annotatoren: De initiële correlaties tussen de drie primaire annotatoren waren matig (Pearson's r variërend van 0,525 tot 0,627). De re-annotatie van de subset met hoge mate van onenigheid verbeterde de overeenstemming tussen de twee her-annoterende deelnemers naar r = 0,678. De vierde annotator vertoonde consistente correlaties (0,627–0,675) met de initiële groep.
• Factoren die Scores Beïnvloeden:
  • Tekstlengte: Langere teksten werden over het algemeen als subjectiever beoordeeld, hoewel deze correlatie significant varieerde per genre (bijv. sterk in juridische teksten, verwaarloosbaar in nieuws).
  • Context: Annotatoren rapporteerden dat het scoren van een reeks subjectieve teksten hen gevoeliger maakte voor objectiviteit bij daaropvolgende teksten, wat wijst op sequentie-effecten.
  • Zekerheid: De betrouwbaarheidsratings van de annotatoren correleerden niet sterk met de mate van onenigheid tussen de annotatoren.
• Prestaties van de LLM: GPT-5 vertoonde een hoge interne consistentie over drie runs (Pearson's r ≈ 0,98). Echter, vergeleken met mensen vertoonde het model duidelijke patronen:
  • Scorebereik: GPT-5 gaf zelden scores boven de 98, terwijl mensen de volledige 0–100 range gebruikten.
  • Citaten: GPT-5 had de neiging om teksten met directe citaten (veelvoorkomend in nieuws) als subjectiever te beoordelen dan mensen, waarschijnlijk omdat het de geciteerde inhoud interpreteerde als onderdeel van de subjectiviteit van de tekst in plaats van als een gerapporteerd feit.
  • Toon versus Inhoud: Mensen beoordeelden teksten met colloquiale taal, slang en emoticons (bijv. forumberichten) als zeer subjectief. GPT-5 richtte zich meer op de feitelijke inhoud en gaf lagere subjectiviteitsscores aan deze teksten.

Betekenis en Claims
Het artikel beweert dat de gecreëerde dataset een valide en nuttig middel is voor linguïstisch onderzoek en de ontwikkeling van automatische systemen voor subjectiviteitsdetectie. De auteurs stellen dat:

• Menselijke annotatoren consistent een continue numerieke schaal voor subjectiviteit kunnen gebruiken, ondanks de matige overeenstemming tussen annotatoren.
• Automatische subjectiviteitsscoring op basis van LLM's haalbaar is en plausibele scores produceert die matig correleren met menselijke ratings.
• Echter, LLM's zijn geen vervangbaar alternatief voor menselijke annotatie. De studie concludeert dat LLM's andere aanwijzingen gebruiken (bijv. prioriteit geven aan inhoud boven toon) vergeleken met mensen. Daarom kunnen LLM's, hoewel ze menselijke inspanningen kunnen aanvullen in toepassingen waar snelheid en automatisering vereist zijn, de menselijke annotator nog niet vervangen in taken die een genuanceerd, menselijk begrip van subjectiviteit vereisen, met name in linguïstisch of interpretatief onderzoek.

De auteurs benadrukken dat toekomstig werk zich moet richten op het uitbreiden van de dataset met aanvullende menselijke annotaties om contextuele effecten beter te begrijpen, en op het verfijnen van prompt engineering om de discrepanties tussen mens en LLM te verminderen.