Code-Mixed Corpora for Indian Social Media: Baselines and Insights for Hinglish Language Identification

Technische Samenvatting: Baselines en Inzichten voor Hinglish Taalidentificatie

Probleemstelling
De Indiase sociale media worden gedomineerd door "Hinglish", een gecodeerd gemengde mix van Hindi en Engels geschreven in het Romeinse schrift. Hoewel dit linguïstische fenomeen natuurlijk is voor menselijke communicatie, vormt het aanzienlijke uitdagingen voor Natural Language Processing (NLP) systemen. Standaard meertalige modellen, zoals mBERT en XLM-R, die doorgaans zijn getraind op monolinguale of parallelle data, worstelen met de specifieke kenmerken van Hinglish: frequente taalswitching, inconsistente romanisering (bijv. "acha" vs. "achha") en korte, ambigue tokens (bijv. "is", "me", "ki") die afhankelijk van de context bij beide talen kunnen behoren. Bestaande benchmarks vertrouwen vaak op synthetische data of richten zich op monolinguale scenario's, waardoor er een gat ontstaat in reproduceerbare, lichtgewicht baselines die zijn afgestemd op echte gecodeerde tekst.

Methodologie
Het onderzoek maakt gebruik van de COMI-LINGUA dataset, een bron die meer dan 125.000 door experts geannoteerde voorbeelden bevat met ongeveer 0,97 miljoen tokens voor training, 0,19 miljoen voor validatie en 0,19 miljoen voor testen. De studie stelt een lichtgewicht, reproduceerbare pipeline voor voor token-niveau Taalidentificatie (LID) die de afhankelijkheid van zware meertalige pre-trained modellen vermijdt.

De voorgestelde aanpak bestaat uit de volgende stappen:

1. Feature Engineering: In plaats van pre-trained embeddings te gebruiken, maakt de methode gebruik van karakter-niveau n-grammen (groottes 2 tot 5). Dit legt onderscheidende subwoordpatronen vast, zoals Engelse suffixen ("-ing", "-ed") en Hindi Romanized uitgangen ("-aa", "-wala"), terwijl de impact van spellingvariaties wordt beperkt.
2. Vectorisatie: Deze karakter n-grammen worden omgezet in ijle (sparse) vectoren met behulp van TF-IDF weging om de invloed van veelvoorkomende karakters te verminderen en de robuustheid tegen gefragmenteerde woorden te vergroten.
3. Classificatie: Een Logistische Regressie classifier (gebruikmakend van de Saga solver met L2-regularisatie) wordt getraind op deze hoogdimensionale ijle vectoren. Het model is ontworig voor computationele efficiëntie en interpreteerbaarheid, en is in staat om te draaien op standaard CPU-omgevingen zonder gespecialiseerde hardware.
4. Evaluatie: Prestaties worden gemeten aan de hand van Accuracy en Macro-F1 scores. Een verwarringsmatrix wordt gebruikt om een granulair foutenonderzoek uit te voeren.

Belangrijkste Resultaten
De lichtgewicht baseline vertoont een hoge effectiviteit op de COMI-LINGUA dataset:

• Validatieset: Behaalde 96,06% accuratesse en een Macro-F1 van 0,9523.
• Testset: Behaalde 95,92% accuratesse en een Macro-F1 van 0,9509.

De auteur merkt op dat deze prestatie ongeveer 7% beter is dan eerder gepubliceerde meertalige benchmarks op dezelfde taak. De resultaten suggereren dat goed ontworpen karakter-niveau features voldoende zijn om de ruis en variatie inherent aan sociale mediatekst te verwerken, waarbij ze ongeveer 7% beter presteren dan meertalige baselines op de COMI-LINGUA dataset.

Foutenanalyse
Een gedetailleerde analyse van foutief geclassificeerde tokens onthult drie primaire bronnen van fouten:

1. Ambiguïteit van Korte Tokens: Veelvoorkomende woorden zoals "is", "me" en "ki" zijn moeilijk te classificeren zonder zin-niveau context, omdat ze in zowel Hindi als Engels voorkomen.
2. Romaniseringsvarianten: Inconsistente spellingen van hetzelfde Hindi woord (bijv. "acha", "achaa", "achha") fragmenteren de feature space, wat de voorspellingsconsistentie vermindert.
3. Leenwoordverwarring: Engelse leenwoorden ingebed in Hindi zinnen (bijv. "party", "school") worden soms foutief geclassificeerd, vooral wanneer de omliggende context overwegend Hindi is.

Significantie en Bijdragen
Het artikel claimt drie primaire bijdragen aan het veld van de Indiase NLP:

1. Een Reproduceerbare Baseline: Het vestigt een eenvoudige, efficiënte pipeline met behulp van karakter n-grammen en Logistische Regressie die een prestatie nabij het state-of-the-art niveau (~96% accuratesse) bereikt op Hinglish LID, waarmee het complexe meertalige systemen met een aanzienlijke marge overtreft.
2. Fout-gedreven Inzichten: Het biedt een systematische analyse van de specifieke obstakels die de Hinglish LID in de weg staan, waarbij verder wordt gekeken dan algemene prestatiemetrieken om de linguïstische nuances (ambiguïteit, orthografie, leenwoorden) te identificeren die tot fouten leiden.
3. Een Roadmap voor Toekomstig Werk: De studie pleit voor een verschuiving naar inclusieve, domeinspecifieke modellering. Het suggereert dat toekomstig onderzoek zich moet richten op sequentie-bewuste modellen, meertalige extensies en fairness-georiënteerde methodologieën om de complexe realiteit van India's linguïstische diversiteit beter te reflecteren.

De auteur concludeert dat hoewel het voorgestelde model een sterk startpunt is, het aanpakken van de geïdentificeerde beperkingen een beweging vereist van token-onafhankelijkheid naar context-bewuste en sociolinguïstisch bewuste benaderingen. Dit werk dient als een gids voor de ontwikkeling van inclusieve taaltechnologieën die de complexe realiteit van India's digitale communicatielandschap accuraat weerspiegelen.