Temporal Simultaneity Predicts Annotation Quality in Sentiment Corpora

Technische Samenvatting: Temporele Simultaneïteit Voorspelt Annotatiekwaliteit in Sentimentcorpora

Probleemstelling
De snelle uitbreiding van Natural Language Processing (NLP) voor Afrikaanse talen heeft talrijke gelabelde bronnen gegenereerd, doch deze datasets worden vaak samengesteld door kleine groepen vrijwillige of student-annotatoren die gedurende langere periodes werken. Hoewel in settings met hoge hulpbronnen is gedocumenteerd dat dergelijke omstandigheden de annotatiekwaliteit verslechteren, blijft dit fenomeen onderbestudeerd in low-resource Afrikaanse talen. Een centrale uitdaging in dit domein is de afweging tussen datasetgrootte en kwaliteit; grote, ruizige corpora zijn vaak minder effectief voor het trainen van downstream-modellen dan kleinere, zorgvuldig samengestelde corpora. De auteurs identificeren een kritieke lacune in het begrijpen van de specifieke oorzaken van kwaliteitsverlies bij longitudinale annotatiecampagnes, met name met betrekking tot hoe inter-annotator overeenstemming (IAA) in de loop van de tijd fluctueert en of standaardmetrieken zoals geaggregeerde IAA significante lokale verslechtering maskeren.

Methodologie
De auteurs presenteren een systematische analyse van een nieuwe Setswana-sentimentdataset bestaande uit 3.565 tweets, geannoteerd door drie native-speaking undergraduate studenten. Het onderzoek onderscheidt zich door het verzamelen van granulaire metadata, specifiek precieze UTC-tijdstempels voor elke labelinzending, wat een temporele analyse van het annotatieproces mogelijk maakt.

De methodologie omvat zes gerichte onderzoeksvragen (RQ's) die worden onderzocht aan de hand van de volledige annotatielogboeken:

1. Batchtrends: Neemt de IAA monotoon af over de annotatiebatches heen?
2. Labelverwarring: Welke labelparen worden het meest verward, en verschuift dit patroon in de loop van de tijd?
3. Autopiloot-gedrag: Vertonen annotatoren "run-length drift" (toenemend lange reeksen identieke labels) die wijzen op vermoeidheid?
4. Annotatiesnelheid: Is snellere annotatie (kortere intervallen tussen annotaties) geassocieerd met lagere IAA?
5. Temporele Simultaneïteit: Voorspelt de tijd die verstrijkt tussen het tijdstempel van de eerste en de laatste annotator voor dezelfde tweet de IAA?
6. Linguïstische Complexiteit: Verklaarden tweet-kenmerken (bijv. tokenaantal, betrouwbaarheid van taalidentificatie) de variatie in IAA?

Het onderzoek maakt gebruik van Randolph's free-marginal Kappa ($\kappa$) als primaire metriek voor overeenstemming, geschikt voor natuurlijk scheef verdeelde corpora. Bovendien benchmarken de auteurs drie open multilinguale encoders (mBERT, AfriBERTa, AfroXLMR-base) en propriëtaire modellen (GPT-5, Gemini) op een sentimentclassificatietaken met drie klassen om de bruikbaarheid van de dataset te evalueren.

Belangrijkste Bevindingen en Resultaten

• Kwaliteitsdaling: Hoewel de geaggregeerde Randolph's $\kappa$ 0,76 is ("uitstekend"), daalt de per-batch $\kappa$ scherp van 0,92 in Batch 1 naar 0,60 in Batch 7, een daling van meer dan 32 punten. De meest significante enkele daling treedt op tussen Batch 4 en Batch 5.
• Labelverwarring: De dominante bron van onenigheid is de grens tussen Negatieve en Neutrale labels (1.448 paarsgewijze gevallen), een patroon dat in latere batches intensifieert. Dit weerspiegelt echte linguïstische ambiguïteit in Setswana-politieke discours in plaats van loutere fouten.
• Autopiloot-drift: Twee van de drie annotatoren vertonen een statistisch significante toename in de gemiddelde lengte van reeksen met hetzelfde label naarmate de campagne vordert, met name in Batches 5–7. Dit suggereert een verschuiving van bewuste beoordeling naar automatische patroonherkenning.
• Temporele Simultaneïteit (Primaire Predictor): Het onderzoek identificeert temporele simultaneïteit als de dominante structurele predictor van overeenstemming. Tweets die door alle drie de annotatoren binnen één minuut worden gelabeld, bereiken een $\kappa = 0,98$. Daarentegen dalen tweets die meer dan een dag uit elkaar worden gelabeld naar een $\kappa = 0,65$. Deze 33-puntenkloof is het grootste waargenomen effect.
• Nulresultaten:
  • Snelheid: Annotatiesnelheid (interval tussen annotaties) toont geen betekenisvolle associatie met IAA op tweet-niveau; overeenstemmende en niet-overeenstemmende tweets hebben bijna identieke intervalverdelingen.
  • Linguïstische Kenmerken: Noch de rang van taalidentificatie (betrouwbaarheid van Setswana-detectie) noch het tokenaantal correleren significant met de variatie in IAA.
• Classificatiebenchmarks: Pre-getrainde modellen zonder fine-tuning presteren dicht bij willekeurig (8,7–20,6 macro-F1). Fine-tuning levert aanzienlijke winsten op (29–43 macro-F1-punten), waarbij AfroXLMR-base 53,6 bereikt. GPT-5 in een few-shot setting behaalt de hoogste prestatie (62,2 macro-F1) en presteert beter dan alle gefine-tunede encoders.

Betekenis en Bijdragen
Het paper stelt dat de primaire drijvende kracht achter de degradatie van annotatiekwaliteit in campagnes met kleine groepen en lange duur niet de moeilijkheid van de data of de snelheid van annotatie is, maar eerder temporele asynchroneiteit en annotatorvermoeidheid.

1. Datasetpublicatie: De auteurs publiceren een handmatig geannoteerde Setswana Twitter-sentimentdataset (3.565 tweets) met volledige tijdstempels per annotatie, wat toekomstig reproduceerbaar kwaliteitsauditing mogelijk maakt.
2. Methodologisch Inzicht: Door de daling van $\kappa$ over een multi-batchcampagne te karakteriseren, identificeert het onderzoek temporele simultaneïteit als een kritieke, vaak over het hoofd geziene variabele. Het toont aan dat geaggregeerde IAA-metrieken ernstige kwaliteitsverslechtering in latere stadia van een project kunnen maskeren.
3. Actiegerichte Aanbevelingen: De bevindingen suggereren dat voor low-resource NLP-taken de kwaliteit kan worden verbeterd door kosteneffectieve interventies: het afdwingen van batch-gebonden annotatiewinstdelen om tijdsintervallen tussen annotatoren te minimaliseren en het bewaken van reekslengtes om autopiloot-gedrag te detecteren. Deze strategieën vereisen geen extra budget.
4. Herformulering van Onenigheid: De auteurs onderscheiden tussen "betekenisvolle onenigheid" (echte ambiguïteit in de data, zoals de grens Negatief/Neutraal) en "procesartefacten" (vermoeidheid en planningproblemen). Zij betogen dat terwijl de eerste moet worden behouden als een signaal van nuance, de laatste moet worden gemitigeerd om kunstmatige ruis te voorkomen.

Het werk concludeert dat toekomstige NLP-bronnen voor Afrikaanse talen prioriteit moeten geven aan plannings- en bewakingsmechanismen die temporele simultaneïteit en annotatorbetrokkenheid handhaven, in plaats van ervan uit te gaan dat grotere datasets of snellere annotatiesnelheden inherent tot betere kwaliteit leiden.