💬 NLP

Detection of Emotions in Hindi-English Code Mixed Text Data

Dit artikel introduceert een nieuwe geannoteerde corpus van Hindi-Engelse gecodeerde gemengde tekst en stelt een op medeklinkers beperkte normalisatiemethode voor om emotiedetectie te verbeteren, waarbij wordt aangetoond dat een subwoord LSTM-model de hoogste nauwkeurigheid (76,6%) behaalt van vijf vergeleken baselines voor het classificeren van woede, angst, geluk en verdriet.

Oorspronkelijke auteurs: Divyansh Singh

Gepubliceerd 2026-08-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Divyansh Singh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een enorme, bruisende wereldwijde marktplaats waar mensen uit verschillende landen hun gedachten, grappen en gevoelens de digitale lucht in roepen. In India vindt een groot deel van dit geklets plaats in een unieke, hybride taal genaamd "Hinglish". Het is als een linguïstische smoothie waarin Hindi en Engels worden gemengd in één enkele zin. Het probleem is dat iedereen dit op hun telefoon typt met het Latijnse alfabet (dezelfde letters die we voor het Engels gebruiken), waardoor er geen strikte regels zijn voor hoe de Hindi-woorden gespeld moeten worden. De ene persoon schrijft "love" als pyaar, een ander als pyar, en een derde als pyr. Voor een computer zien dit eruit als drie volkomen verschillende woorden, wat het softwarematig erg moeilijk maakt om te begrijpen wat mensen eigenlijk zeggen.

Hier komt de wetenschap van "Natural Language Processing" (NLP) om de hoek kijken. Denk aan NLP als het leren van computers om menselijke taal te lezen en te begrijpen. Hoewel computers er heel goed in zijn geworden om te bepalen of een zin over het algemeen "blij" of "verdrietig" is (sentimentanalyse), hebben ze moeite met het detecteren van specifieke, complexe emoties zoals woede, angst of enthousiasme, vooral wanneer de tekst rommelig en gemengd is. Het begrijpen van deze specifieke emoties is cruciaal omdat het computers helpt te weten of iemand gewoon een slechte dag heeft of dat iemand in echt gevaar verkeert, wat essentieel is voor zaken als online veiligheid en mentale gezondheidsmonitoring.

Maak kennis met een onderzoeker van het LNMIIT in Jaipur, India, die besloot dit rommelige, gemengde taalpuzzel aan te pakken. Ze wilden computers leren om vier specifieke emoties te herkennen—Woede, Angst, Verdriet en Blijdschap—in Hinglish-tekst. Om dit te doen, moesten ze eerst hun eigen "woordenboek" van gevoelens bouwen. Ze verzamelden 1.589 zinnen van Twitter en videoreacties, waar mensen vrijelijk met elkaar chatten. Twee moedertaalsprekers van het Hindi (die ook vloeiend Engels spreken) lazen elke zin en labelden de emotie. Ze waren het bijna perfect eens over de labels, waardoor een hoogwaardige trainingsset voor hun computermodellen werd gecreëerd.

De onderzoeker liep tegen een lastig obstakel aan: de spellingchaos. Omdat mensen Hindi-woorden op zoveel verschillende manieren spellen, raakte de computer in de war. Om dit op te lossen, bedacht de onderzoeker een slimme "normalisatie"-truc. Stel je voor dat je een stapel sokken hebt waarbij sommige gelabeld zijn als "Rood", andere als "Redd" en andere als "Rd". In plaats van te proberen te raden welke juist is, kijkt de computer naar het "skelet" van het woord (de medeklinkers) en hoe vaak het woord in vergelijkbare contexten voorkomt. Het groepeert vervolgens alle vreemde spellingen en vervangt ze door de meest voorkomende versie. Dit maakt de data schoon, zodat de computer niet wordt afgeleid door spelfouten.

Vervolgens testten ze vijf verschillende computer-"hersenen" (algoritmen) om te zien welke het beste de emotie kon raden. Ze vergeleken eenvoudige statistische methoden met complexere neurale netwerken. De grote verrassing? Het meest complexe model, dat naar de kleinste bouwstenen van woorden (sub-woorden) keek in plaats naar hele woorden, won de race. Het behaalde een nauwkeurigheid van 76,6%, wat een enorme sprong is ten opzichte van de 30,8% die je zou krijgen als je simpelweg de meest voorkomende emotie zou raden. Dit suggereert dat het opdelen van woorden in kleinere stukjes de computer veel beter helpt om met de rommelige spellingvariaties om te gaan.

De onderzoeker was echter voorzichtig om geen totale overwinning te verklaren. Ze ontdekten dat een eenvoudigere, oudere methode genaamd "Naïve Bayes" (die in feite telt hoe vaak bepaalde woorden voorkomen) bijna net zo goed presteerde als het fancy neurale netwerk. Dit suggereert dat in korte berichten op sociale media, emoties vaak worden gedragen door slechts één of twee kernwoorden, waardoor een eenvoudige woordteller verrassend goed werk kan leveren. Het artikel concludeert dat hoewel het sub-woord model de huidige kampioen is, de kleine omvang van hun dataset (1.589 zinnen) het moeilijk maakt om met zekerheid te zeggen of de ene methode werkelijk superieur is aan de andere. Ze suggereren dat de grootste hindernis niet het algoritme is, maar het gebrek aan data; met een veel grotere bibliotheek aan voorbeelden zouden deze computers waarschijnlijk nog scherper worden in het lezen van onze digitale harten.

Technische Samenvatting: Detectie van Emoties in Hindi-Engelse Code-gemengde Tekstdata

Probleemdefinitie
Dit artikel behandelt de uitdaging van emotiedetectie in Hindi-Engelse code-gemengde tekst (vaak "Hinglish" genoemd), een veelvoorkomende vorm van door gebruikers gegenereerde inhoud in India. In tegenstelling tot standaard sentimentanalyse, die zich richt op polariteit (positief/negatief), richt deze taak zich op fijnmazige classificatie van emoties over vier categorieën: Woede (Anger), Angst (Fear), Verdriet (Sadness) en Blijdschap (Happiness). De primaire moeilijkheid ligt in het gebrek aan gestandaardiseerde transliteratieconventies; Hindi-woorden geschreven in het Latijnse schrift verschijnen in talloze orthografische varianten (bijv. hain, hai, ha), waardoor tokens buiten de standaard Engelse lexica vallen en morfologische analysatoren getraind op het Devanagari-schrift ineffectief worden.

Methodologie
De auteur stelt een drieledige aanpak voor bestaande uit datasetconstructie, een normalisatieprocedure en een vergelijkende evaluatie van baseline-modellen.

Corpusconstructie: Een dataset van 1.589 code-gemengde zinnen is samengesteld uit Twitter- en video-platform commentsecties. De inclusie van video-comments introduceert een register met langere, minder hashtag-dominante uitingen vergeleken met eerdere Twitter-only corpora. De data werd geannoteerd door twee tweetalige sprekers, waarbij een hoge inter-annotator overeenstemming werd bereikt (Cohen's $\kappa = 0.94$ ). De distributie is matig ongebalanceerd, met "Happy" als de meerderheidsklasse (30,8%) en "Fear" als de minderheid (19,1%).
Normalisatieprocedure: Om de transliteratievariantie aan te pakken, introduceert de auteur een clusteringprocedure die distributionele gelijkenis combineert met een harde linguïstische beperking.
- Mechanisme: Skip-gram vectoren worden getraind op de ongelabelde data. Woorden worden geclusterd als ze aan twee voorwaarden voldoen: (1) ze delen een identieke geordende consonantsequentie (een harde beperking, aangezien variatie primair op basis van klinkers plaatsvindt), en (2) ze vertonen een hoge cosinus-gelijkenis in hun vectorruimte.
- Substitutie: Binnen elk cluster worden alle varianten vervangen door de meest frequente vorm. Dit vermindert de vocabulaire-schaarsheid terwijl de semantische identiteit van het woord behouden blijft.
Baseline Modellen: Vijf classificaties werden geëvalueerd onder een vijf-voudig kruisvalidatieprotocol (gestratificeerd per klasse):
- Naïve Bayes over karakter n-grammen ( $n=8$ ).
- Naïve Bayes over woord n-grammen (unigrammen en bigrammen).
- Woordniveau LSTM met gebruik van word2vec embeddings.
- Sub-woord LSTM (gebaseerd op Joshi et al. [9]), die karakter-embeddings convolveert om sub-woord representaties te creëren voordat ze in een LSTM worden gevoed.
- Support Vector Machine (SVM) over frequentie-gebaseerde woordvectoren.

Resultaten
De experimentele resultaten benadrukken de volgende prestatie-indicatoren:

Nauwkeurigheid (Accuracy): De Sub-woord LSTM behaalde de hoogste nauwkeurigheid van 76,6%, wat aanzienlijk beter is dan de meerderheidsklasse baseline (30,8%) en het op één na beste model (Word n-gram Naïve Bayes bij 75,1%).
Macro-F1 Score: De Sub-woord LSTM kwam gelijk te staan met de Word n-gram Naïve Bayes op 0,77. De auteur merkt op dat, gezien de datasetgrootte (1.589 instanties) en het vijf-voudige protocol, dit verschil statistisch ononderscheidbaar is.
Foutanalyse:
- De Sub-woord LSTM verbeterde de nauwkeurigheid ten opzichte van de woordniveau LSTM met 4,0 punten, waarbij sub-woord representatie als de bron van de winst werd geïsoleerd. Dit wordt toegeschreven aan het onvermogen van het woordniveau model om zeldzame transliteratievarianten aan te pakken die niet door de normalisatiestap zijn samengevoegd.
- De "Fear" klasse was de best geclassificeerde categorie voor de meeste modellen (F1 $\approx$ 0,82), waarschijnlijk door een kenmerkend, gesloten lexicon (bijv. bachao, darr).
- De Sub-woord LSTM presteerde iets lager op de "Fear" klasse vergeleken met andere modellen, wat suggereert dat modellen met een hoge capaciteit moeite kunnen hebben met kleine klassen waar het memoriseren van een specifieke lexicon effectiever is dan contextuele discriminatie.

Kernbijdragen en Betekenis
Het artikel levert drie specifieke bijdragen aan het veld van low-resource NLP voor code-gemengde talen:

Dataset: Het publiceert een geannoteerd corpus van 1.589 zinnen dat verder gaat dan het loutere Twitter-domein door ook video-platform comments te bevatten, wat een diverser linguïstisch register biedt.
Normalisatie: Het stelt een beperkte clusteringmethode voor voor transliteratievarianten die expliciet de consonantidentiteit benut, wat een preprocessing-alternatief biedt voor het uitsluitend vertrouwen op modelrobuustheid.
Gecontroleerde Vergelijking: Het biedt een rigoureuze vergelijking tussen woordniveau en sub-woord niveau representaties. De studie demonstreert dat, hoewel sub-woord representaties (Sub-woord LSTM) de hoogste nauwkeurigheid opleveren door orthografische variantie te mitigeren, eenvoudige bag-of-n-grams modellen nog steeds zeer competitief blijven voor deze taakgrootte.

Beperkingen en Omvang
De auteur neemt een bescheiden standpunt in met betrekking tot de reikwijdte van het artikel. Er wordt erkend dat de omvang van het corpus klein is vergeleken met bredere sentimentbronnen (bijv. SentiMix), wat de variantie in prestatie-indicatoren vergroot en de statistische resolutie van modelvergelijkingen beperkt. De studie sluit expliciet transformer-gebaseerde pre-trained encoders (bijv. BERT) uit, waarbij wordt opgemerkt dat hoewel deze waarschijnlijk de huidige leaderboards domineren, het huidige werk zich richt op het isoleren van de specifieke bijdrage van sub-woord modellering en normalisatie. Bovendien waarschuwt de auteur dat de kleine schaal van de dataset en de smalle platformdekking het ongeschikt maken voor inzet in beslissingsvormende omgevingen met grote gevolgen.

Meer zoals dit