Language-Specific Sentiment Polarity Biases in Encoder and Large Language Model Classification of Product Reviews

Technische Samenvatting: Taalspecifieke Sentiment-polairiteitsbiases in Encoder- en Large Language Model Classificatie van Productbeoordelingen

Probleemstelling
Hoewel sentimentsystemen breed worden ingezet voor meertalige opiniemining, wordt de betrouwbaarheid ervan vaak als consistent verondersteld over sentimentklassen heen (positief versus negatief). Echter, eerder onderzoek suggereert dat modellen polariteitsbiases kunnen vertonen—systematische verschillen in nauwkeurigheid tussen positieve en negatieve classificaties. De specifieke aard van deze biases blijft onduidelijk met betrekking tot hoe ze interageren met verschillende modelarchitecturen (encoder-only versus decoder-gebaseerde Large Language Models) en onderscheidende linguïstische/culturele contexten. Deze studie onderzoekt of de nauwkeurigheid van sentimentclassificatie significant verschilt tussen positieve en negatieve beoordelingen, en of deze biases specifiek zijn voor zowel de modelarchitectuur als de doeltaal, in het bijzonder voor typologisch verschillende talen zoals Frans en Japans.

Methodologie
De studie maakte gebruik van de Amazon Multilingual Reviews Corpus, waarbij een gebalanceerde dataset van 500 beoordelingen per taal (250 positief, 250 negatief) werd geëxtraheerd voor Frans en Japans. Positieve beoordelingen werden gedefinieerd als 4–5 sterrenratings, en negatieve als 1–2 sterrenratings.

Vier modellen werden geëvalueerd:

1. Encoder Model: mDeBERTa-v3 (een meertalige encoder die is gefinetuned op MultiNLI en XNLI), waarbij een zero-shot Natural Language Inference (NLI) benadering werd gebruikt waarbij beoordelingen werden geëvalueerd tegen hypothese-templates ("Het sentiment is positief/negatief").
2. Large Language Models (LLMs): Claude Opus 4.6, GPT-5.4 en Gemini 3.1 Pro, geprompt om sentiment te classificeren met een antwoord van één woord.

Analyse en Metrieken:

• Statistische Toetsing: Chi-kwadraat onafhankelijkheidstoetsen (met Yates' continuïteitscorrectie) werden gebruikt om te bepalen of nauwkeurigheidsverschillen tussen positieve en negatieve klassen statistisch significant waren binnen elk model-taalpaar.
• Effectgrootte: Cramér's V werd berekend om de omvang van de associatie te meten.
• Foutanalyse: Verwarringsmatrices (confusion matrices) werden geanalyseerd om onderscheid te maken tussen False Negatives (positieve beoordelingen foutief geclassificeerd als negatief) en False Positives (negatieve beoordelingen foutief geclassificeerd als positief).
• Kwalitatieve Review: Misclassificaties werden handmatig geanalyseerd om de bijdragende linguïstische kenmerken (bijv. indirecte kritiek, gemengde sentimentmarkers) te identificeren.
• Ensemble Potentieel: Inter-model overeenstemming en foutoverlap werden berekend om de haalbaarheid van het combineren van architecturen te beoordelen.

Belangrijkste Resultaten
De studie bevestigde dat sentiment-polariteitsbiases zowel architectuurspecifiek als taalspecifiek zijn:

• Franse Resultaten (Negatieve Bias in LLMs):

  • Alle drie de LLM's vertoonden een statistisch significante negatieve bias, waarbij ze negatieve beoordelingen met een hogere nauwkeurigheid classificeerden (99,2%) dan positieve beoordelingen (91,6%–94,4%).
  • Foutanalyse toonde aan dat LLM's 7–10 keer vaker positieve beoordelingen als negatief classificeerden (False Negatives), vaak door een overmatige nadruk op expliciete negatieve markers (bijv. "mais", "problème") in beoordelingen met gemengd sentiment.
  • mDeBERTa vertoonde geen significante bias in het Frans, en presteerde even goed op beide klassen (~92%).

• Japanse Resultaten (Positieve Bias in Encoder):

  • mDeBERTa vertoonde een statistisch significante positieve bias, met een nauwkeurigheid van 92,4% op positieve beoordelingen versus 84,4% op negatieve beoordelingen.
  • Het encoder-model had moeite met indirecte kritiek die gebruikelijk is in de high-context communicatie van het Japans (bijv. het verzachten van negatieve feedback met een positieve inkadering), wat leidde tot een hoog aantal False Positives (39 versus 19).
  • Daarentegen vertoonden de LLM's geen significante bias in het Japans, waarbij ze een gebalanceerde nauwkeurigheid behielden (~95–97%) over beide klassen. Ze slaagden erin de impliciete negatieve sentimenten te parsen die de encoder miste.

• Ensemble Bevindingen:

  • LLM's vertoonden een hoge overeenstemming (98,2%–98,5%) bij correcte classificaties, maar een lage foutoverlap met mDeBERTa (23,7%–24,7%).
  • Dit suggereert dat de architecturen falen op verschillende soorten beoordelingen, wat impliceert dat een ensemble-benadering (bijv. stacking of routing) een hogere nauwkeurigheid (98,0%) kan bereiken dan een enkel model.

Significantie en Claims
Het artikel claimt dat het uitsluitend vertrouwen op algemene nauwkeurigheid onvoldoende is voor de implementatie van meertalige sentimentsystemen. De bevindingen demonstreren dat:

1. Bias is Contextafhankelijk: Polariteitsbiases zijn niet inherent aan enkel de modelarchitectuur, maar ontstaan uit de interactie tussen architectuur en taalspecifieke communicatiestijlen (bijv. directheid in het Frans versus indirectheid in het Japans).
2. Architecturale Trade-offs: Encoder-modellen (mDeBERTa) kunnen moeite hebben met high-context, indirecte negatieve expressies, terwijl LLM's mogelijk overreageren op expliciete negatieve markers in contexten met gemengd sentiment.
3. Praktische Implicaties: Het wereldwijd inzetten van slechts één type model kan systematische fouten introduceren. Bijvoorbeeld, het gebruik van enkel LLM's voor Franse analyse zou het positieve sentiment met 5–8 procentpunten kunnen onderwaarderen, terwijl het gebruik van enkel mDeBERTa voor Japans een aanzienlijk deel van de klantklachten zou kunnen missen.
4. Aanbeveling: De auteurs pleiten voor het evalueren van sentimentsystemen op basis van een per-sentiment-klasse in plaats van geaggregeerde nauwkeurigheid, en suggereren dat ensemble-methoden die gebruikmaken van de complementaire foutpatronen van encoders en LLM's deze biases kunnen mitigeren.

Erkende Beperkingen
De auteurs merken op dat de studie beperkt is tot twee talen (Frans en Japans) en het domein van productbeoordelingen. Zij waarschuwen dat patronen kunnen verschillen in andere talen (met name andere high-context Aziatische talen) of domeinen (sociale media, nieuws). Daarnaast was de kwalitatieve foutanalyse verkennend van aard en ontbrak een formele beoordeling van de inter-rater betrouwbaarheid.