💻 computer science

How Annotator Agreement Affects Sentiment Classification Performance for Indonesian Coastal Tourism Reviews

Deze studie toont aan dat het trainen van sentimentclassificatie modellen op een grotere, op meerderheidsstemmen gebaseerde dataset van Indonesische kusttoerisme-recensies een hogere prestatie oplevert dan een strikt op unanimiteit gebaseerde dataset, hoewel de resultaten suggereren dat een toegenomen datavolume en klassenbalans, in plaats van het behoud van ambigue instanties alleen, de primaire drijfveren van verbetering kunnen zijn, terwijl IndoBERT effectief de systematische misclassificatie van neutrale recensies vermindert.

Oorspronkelijke auteurs: Sandy Kurniawan, Henri Tantyoko, Khadijah Khadijah, Helmie Arif Wibawa

Gepubliceerd 2026-08-31

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sandy Kurniawan, Henri Tantyoko, Khadijah Khadijah, Helmie Arif Wibawa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het digitale tijdperk is de stem van de reiziger een enorme, ongestructureerde bibliotheek van menselijke meningen geworden. Miljoenen mensen schrijven recensies over stranden, hotels en restaurants, waarbij ze hun hoop, teleurstellingen en observaties in tekst gieten die vaak informeel, vol jargon en diep genuanceerd is. Voor bedrijven en onderzoekers is de uitdaging om orde te scheppen in deze vloedgolf. Ze willen niet alleen weten of een recensie goed of slecht is, maar precies hoe de schrijver zich voelt. Dit is het domein van sentimentanalyse, een tak van de informatica die machines leert om emotie te lezen. Jarenlang was de standaardmethode om mensen deze recensies te laten labelen met eenvoudige categorieën zoals "positief", "negatief" of "neutraal", om vervolgens computers te trainen om die patronen te herkennen. Menselijk oordeel is echter zelden perfect. Wanneer drie mensen dezelfde recensie lezen, kunnen ze het oneens zijn over de vraag of deze werkelijk neutraal of licht negatief is. Deze onenigheid creëert een puzzel voor wetenschappers: moeten ze de verwarrende recensies weggooien om alleen de exemplaren te behouden waar iedereen het over eens is, of moeten ze de rommelige, betwiste gevallen bewaren om de computer meer voorbeelden te geven om van te leren?

Een team van onderzoekers aan de Diponegoro Universiteit in Indonesië ging aan de slag om dit specifieke puzzelstuk op te lossen met behulp van recensies over kustbestemmingen voor toerisme. Ze richtten zich op de Indonesische taal, die rijk is aan informele uitdrukkingen en regionale variaties, wat het een bijzonder moeilijke testcase maakt voor computers. De onderzoekers verzamelden honderdduizenden publieke recensies van Google Maps die stranden over de archipel beslaan. Na het opschonen van de gegevens en het filteren van duplicaten of niet-Indonesische tekst, selecteerden ze een gebalorde steekproef van ongeveer 22.000 recensies om gelezen te worden door drie menselijke annotatoren. Elke persoon besliste onafhankelijk of een recensie positief, negatief of neutraal was. Dit proces onthulde een natuurlijke realiteit: de mensen waren het niet altijd eens. Sommige recensies waren zo duidelijk dat alle drie de annotatoren hetzelfde label kozen, terwijl andere ambigu genoeg waren zodat twee het eens waren en één afweek, of waarbij alle drie verschillende labels kozen.

De onderzoekers verdeelden hun gegevens vervolgens in twee verschillende groepen om te zien hoe deze onenigheid het leren van de computer beïnvloedde. De eerste groep, die ze de "unanimous" (eensgezinde) set noemden, bevatte alleen de recensies waar alle drie de mensen het eens waren. Dit was een kleinere, schonere collectie van 15.527 recensies, maar het miste de lastige, ambigue gevallen. De tweede groep, de "majority" (meerderheids) set, behield de eensgezinde recensies maar voegde daar ook de recensies aan toe waarbij twee van de drie mensen het eens waren. Deze grotere set bevatte 21.235 recensies en omvatte veel meer voorbeelden van de neutrale, gemengde sentimenten of verwarrende teksten die computers vaak in de war brengen. Ze trainden vervolgens drie verschillende soorten computerprogramma's op deze twee groepen. Twee van de programma's gebruikten oudere, traditionele methoden die kijken naar woordfrequenties, terwijl het derde een modern, geavanceerd systeem gebruikte genaamd IndoBERT, dat ontworpen is om de context en relaties tussen woorden in de Indonesische taal te begrijpen, net zoals een menselijke lezer dat doet.

De resultaten waren duidelijk en enigszins verrassend. In tegen tegen de gedachte in dat een computer het beste leert van enkel perfect overeengekomen voorbeelden, presteerde elk programma beter wanneer het werd getraind op de grotere, rommeligere groep die de betwiste recensies bevatte. Het meest geavanceerde systeem, IndoBERT, behaalde een hogere score wanneer het leerde van de meerderheidsgroep vergeleken met de eensgezinde groep. Dit suggereert dat door de ambigue recensies weg te gooien om perfecte overeenstemming te garanderen, de onderzoekers eigenlijk waardevolle lessen weggooiden. De betwiste recensies bevatten vaak de complexe, gemengde gevoelens die echte reizigers uiten, en het hebben van meer van deze voorbeelden hielp de computer om het volledige spectrum van menselijke emotie te begrijpen. De studie vond dat de grootste verbetering kwam in het vermogen om "neutrale" recensies correct te identificeren. Wanneer de computer alleen werd getraind op de schone, eensgezinde gegevens, had hij moeite om onderscheid te maken tussen een werkelijk neutrale recensie en een die licht positief of negatief was. Maar wanneer hij de mogelijkheid kreeg om met de meerderheidsdata te studeren, die veel meer voorbeelden van deze neutrale gevallen bevatten, werd hij veel beter in het herkennen ervan.

De onderzoekers merkten echter zorgvuldig op dat deze verbetering niet uitsluitend te danken kon worden aan de onenigheid zelf. De grotere groep had simpelweg meer gegevens en een betere balans van neutrale voorbeelden, die van nature moeilijker te vinden zijn dan duidelijke positieve of negatieve voorbeelden. De studie bewees niet dat onenigheid op zichzelf goed is, maar eerder dat het eruit filteren ervan te veel nuttige informatie verwijdert. De computer bleef echter worstelen met bepaalde soorten complexe teksten, zoals recensies die één deel van een strand prezen terwijl ze een ander deel bekritiseerden, of die subtiele, indirecte taal gebruikten om teleurstelling uit te drukken. Deze moeilijke gevallen bleven een uitdaging, zelfs voor het meest geavanceerde model. Uiteindelijk suggereert het werk dat in de rommelige wereld van de menselijke taal, een beetje onenigheid in de trainingsgegevens noodzakelijk kan zijn om een computer echt te leren de nuance van de stem van de reiziger te begrijpen.

Technische Samenvatting: Annotator-overeenstemming en Sentimentclassificatie in de Indonesische Kusttoerisme

Probleemstelling
De verwerking van User-Generated Content (UGC) voor regionale toerisme, specifiek Indonesische kustbeoordelingen, wordt gehinderd door linguïstische complexiteit, ambiguïteit en de subjectieve aard van sentiment. Hoewel diepe contextuele modellen zoals IndoBERT een superieure semantische begripsvorm bieden vergeleken met traditionele baselines, wordt hun effectiviteit fundamenteel begrensd door de kwaliteit van geannoteerde trainingsdata. Een centrale methodologische uitdaging in subjectieve NLP-taken is de behandeling van annotator-onenigheid. Conventionele strategieën maken vaak gebruik van meerderheidsstemming om geschillen op te lossen, waarbij informatie over de onenigheid zelf wordt weggegooid, of filteren data om alleen unanimiteit te behouden. Dit creëert een afweging: het filteren voor hoge consensus kan de labelconsistentie verbeteren maar verwijdert linguïstisch ambigue en informatieve voorbeelden, terwijl het behouden van meerderheidsgestemde instanties de omvang en diversiteit van de dataset vergroot maar potentiële labelruis introduceert. De specifieke impact van deze annotatie-overeenstemmingscondities op downstream sentimentclassificatieprestaties, met name binnen het Indonesische domein, blijft onderbelicht.

Methodologie
De studie stelt een dataset samen van 21.779 Indonesische kusttoerisme-beoordelingen die zijn gescraped van Google Maps, variërend van Sumatra tot Papoea. De data onderging gestratificeerde undersampling om de oorspronkelijke sterwaarderingen te balanceren, gevolgd door handmatige annotatie door drie onafhankelijke menselijke annotatoren die labels toewezen van positief, negatief of neutraal.

De onderzoekers organiseerden de data in twee verschillende experimentele trainingspaden om de effecten van annotatie-overeenstemming te isoleren:

Track A (Unanieme Consensus): Bevat alleen beoordelingen waar alle drie de annotatoren hetzelfde label toewezen ( $n=15.527$ ). Deze subset is sterk vertekend naar gepolariseerde sentimenten, waarbij neutrale instanties slechts 9,48% van de data uitmaken.
Track B (Meerderheidsstemming): Bevat beoordelingen die zijn opgelost door een twee-tegen-één meerderheidsakkoord ( $n=21.235$ ). Deze subset bevat alle unanieme instanties plus die met opgeloste onenigheid, wat resulteert in een significant hoger aandeel neutrale labels (20,08%) en een grotere vocabulaire.

Drie modellen werden getraind en geëvalueerd onder beide condities met een identieke, apart gehouden testset van 300 gebalanceerde beoordelingen (100 per klasse):

Lineaire Support Vector Classifier (SVM) met TF-IDF features (unigrams en bigrams).
Multinomial Naive Bayes met TF-IDF features.
IndoBERT (indobenchmark/indobert-base-p1), een Transformer-gebaseerd model dat is voorgetraind op de Indonesische Indo4B corpus.

Preprocessing-pipelines verschilden per modelfamilie: traditionele modellen gebruikten stemming en stopwoordverwijdering (waarbij ontkenningswoorden behouden bleven), terwijl IndoBERT een minder agressieve pipeline gebruikte die de originele morfologische vormen en interpunctie behield om de contextuele integriteit te bewaren.

Belangrijkste Resultaten
In tegen tegen de hypothese dat een hogere annotatieconsensus leidt tot betere prestaties, behaalden alle drie de classificaties hogere Accuracy en Macro F1-scores wanneer ze werden getraind op Track B (Meerderheidsstemming) vergeleken met Track A (Unanieme Consensus).

IndoBERT: Behaalde een Macro F1 van 0,9327 op Track B versus 0,9255 op Track A.
SVM: Verbeterde van een Macro F1 van 0,7223 (Track A) naar 0,7552 (Track B).
Naive Bayes: Toonde de meest significante relatieve winst, bewegend van 0,5084 (Track A) naar 0,6433 (Track B).

Foutanalyse en "Neutrality Bleed"
Analyse van de verwarringsmatrix onthulde dat de neutrale klasse de primaire bron van fouten was, met name voor traditionele TF-IDF-gebaseerde modellen. Een fenomeen genaamd "Neutrality Bleed" werd waargenomen, waarbij traditionele classificaties systematisch neutrale beoordelingen als gepolariseerd (positief of negatief) classificeerden.

Op Track A faalde Naive Bayes in het identificeren van enige neutrale testinstanties (Recall = 0,00), waarbij ze als negatief of positief werden geclassificeerd.
IndoBERT demonstreerde superieure robuustheid, waarbij het een neutrale recall bereikte van 0,83 op Track A en 0,86 op Track B, wat aanzienlijk beter presteert dan de baselines in het onderscheiden van neutraal van gepolariseerde sentimenten.

Kwalitatieve analyse identificeerde specifieke linguïstische uitdagingen die zelfs voor IndoBERT moeilijk bleven, waaronder:

Ruimtelijk conflicterend sentiment: Beoordelingen die verschillende delen van een bestemming evalueren met tegenovergestelde polariteiten (bijv. vuilnis aan de westkant versus geweldige golven aan de noordkant).
Multi-aspect gemengde evaluaties: Lange beoordelingen die meerdere positieve en negatieve aspecten bevatten die aggregeren tot een neutraal cijfer, maar vaak als negatief worden geclassificeerd door het cumulatieve gewicht van negatieve signalen.
Indirecte kritiek: Subtiele uitingen van ontevredenheid (bijv. "het is een spijt") die modellen soms als neutraal interpreteren.

Betekenis en Claims
Het artikel beweert dat, binnen de context van deze specifieke dataset en experimentele opzet, het behouden van meerderheidsopgeloste instanties (Track B) betere voorspellende prestaties oplevert dan het beperken van de training tot unanieme consensus (Track A). De auteurs schrijven deze verbetering toe aan de toegenomen omvang van de trainingsset, de bredere vocabulaire en, cruciaal, de verbeterde representatie van de neutrale klasse in Track B.

De auteurs stellen echter expliciet dat deze bevindingen niet uitsluitend kunnen worden toegeschreven aan annotator-overeenstemming. Omdat Track B een bovenset is van Track A met verschillende klassenverdelingen en steekproefgroottes, kunnen de waargenomen prestatiewinsten evenzeer het resultaat zijn van de voordelen van een grotere datavolume en klassebalans. Bij consequent is de studie niet dat annotator-onenigheid inherent gunstig is; eerder benadrukt het een afweging waarbij het filteren voor consensus informatieve, ambigue voorbeelden verwijdert die cruciaal zijn voor het trainen van robuuste modellen, met name voor de neutrale klasse.

De studie concludeert dat hoewel IndoBERT de fouten geassocieerd met ontkenning en gemengde-sentimentconstructies aanzienlijk vermindert in vergelijking met traditionele baselines, domeinspecifieke uitdagingen zoals multi-aspect evaluaties en regionale expressies blijven bestaan. De auteurs pleiten voor toekomstige gecontroleerde experimenten die de omvang van de trainingsset en de klassenverdeling constant houden om de specifieke bijdrage van annotator-overeenstemming te isoleren, en suggereren een beweging naar Aspect-Based Sentiment Analysis (ABSA) om beoordelingen met conflicterende polariteiten beter te kunnen afhandelen.

Meer zoals dit