Hybrid TF--IDF Logistic Regression and MLP Neural Baseline for Indonesian Three-Class Sentiment Analysis on Social Media Text

Technische Samenvatting: Hybride TF–IDF Logistische Regressie en MLP Neuronale Baseline voor Indonesische Drie-Klas Sentimentanalyse

Probleemstelling
Deze studie adresseert de uitdaging van sentimentanalyse voor Indonesische sociale media-tekst, een domein gekenmerkt door ruis, code-mixing, afkortingen en semantisch dubbelzinnige door gebruikers gegenereerde content. Hoewel recente literatuur vaak prioriteit geeft aan grote transformer-modellen, betoogt dit artikel dat voor kleine, onevenwichtige en low-resource datasets de directe behoefte ligt bij een reproduceerbare, interpreteerbare en inzetbare pijplijn in plaats van verhoogde architecturale complexiteit. De specifieke taak omvat het mappen van een dataset van 191 fijnmazige emotielabels naar drie operationele klassen: positief, negatief en neutraal. De belangrijkste geïdentificeerde moeilijkheden zijn ernstige klasonevenwichtigheid (gecentreerd rond positieve instanties), semantische dubbelzinnigheid veroorzaakt door labelcompressie (bijvoorbeeld het mappen van "verrassing" of "bittersoet" naar een enkele klas), en de beperkingen van kleine steekproefgroottes voor deep learning.

Methodologie
De auteurs stellen een productie-gerichte aanpak voor die een klassiek machine learning-baseline vergelijkt met een lichtgewicht neuronale baseline, waarbij beide een identieke hybride feature-ruimte gebruiken.

• Data Preprocessing: De ruwe dataset (732 rijen) werd schoongemaakt om duplicaten en lege teksten te verwijderen, resulterend in 707 steekproeven. Preprocessing omvatte het omzetten naar kleine letters, het verwijderen van URL's en vermeldingen, het normaliseren van leetspeak en het uitbreiden van Indonesisch straattaal (bijvoorbeeld gak naar tidak). Cruciaal werden de 191 oorspronkelijke emotielabels opnieuw gemap naar de drie doelenklassen, een proces dat semantische ruis introduceert.
• Feature Engineering: Het systeem maakt gebruik van een hybride representatie die combineert:
  1. Tekstfeatures: TF–IDF-vectoren met gebruik van unigrammen en bigrammen (maximaal 3.000 features, sublineaire termfrequentie-schaalering).
  2. Numerieke Metadata: Drie gestandaardiseerde features afgeleid van de tekst en engagement-data: woordtelling, totale engagement (likes + retweets) en hashtag-telling.
• Modellen:
  • Productiemodel: Een multinomiale Logistische Regressie-classificator getraind met class_weight=balanced om onevenwichtigheid te mitigeren, gebruikmakend van een 80/20 stratified split.
  • Neuronale Baseline: Een Multilayer Perceptron (MLP) met twee verborgen lagen (256, 64 neuronen), ReLU-activatie en Adam-optimisatie. Het werd getraind op exact dezelfde hybride feature-vector om het effect van de classificator-architectuur te isoleren in plaats van de feature-representatie.
  • Vergelijkende Baselines: De studie behield ook resultaten voor Lineaire SVM en Random Forest voor benchmarking.

Belangrijkste Bijdragen
Het artikel levert drie specifieke bijdragen:

1. Reproduceerbare Workflow: Het formaliseert een end-to-end pijplijn voor Indonesische drie-klas sentimentanalyse, die schoonmaken, label-remapping, hybride feature-constructie en inzetbereide inferentie omvat.
2. Gereguleerde Vergelijking: Het evalueert een klassiek lineair model en een ondiep neuronaal netwerk onder dezelfde input-representatie, waardoor een gereguleerde vergelijking van classificator-families in een low-resource setting wordt geboden.
3. Methodologisch Inzicht: Het benadrukt de implicaties van labelcompressie en data-onevenwichtigheid, en toont aan dat zorgvuldige preprocessing en interpreteerbare feature engineering concurrerend kunnen blijven met neuronale benaderingen voor kleine datasets.

Resultaten
Experimenten werden uitgevoerd op een vastgehouden testset (142 steekproeven) met gebruik van nauwkeurigheid, gewogen F1 en macro F1 als metrieken.

• Logistische Regressie (Productie): Bereikte 0,8028 nauwkeurigheid, 0,8003 gewogen F1 en 0,7276 macro F1. Het presteerde het beste op de meerderheidsklas "positief", maar had moeite met de minderheidsklas "neutraal" vanwege semantische dubbelzinnigheid en een laag aantal steekproeven.
• MLP Baseline: Bereikte een hogere nauwkeurigheid (0,8451) en gewogen F1 (0,8304), maar presteerde niet significant beter dan Logistische Regressie in macro F1 (0,7263). Dit suggereert dat hoewel het neuronale model de prestaties op meerderheidsklassen verbeterde, het de dubbelzinnigheid van de minderheidsklassen niet oploste.
• Lineaire SVM: Registreerde de hoogste prestatie onder alle behouden modellen (0,8521 nauwkeurigheid, 0,7553 macro F1), hoewel het niet werd geselecteerd als het primaire productiemodel.
• Random Forest: Presteerde aanzienlijk slechter, vooral in macro F1 (0,4821), wat wijst op een bias naar de meerderheidsklas.

Betekenis en Claims
Het artikel claimt bescheiden dat voor compacte Indonesische sentimentdatasets een zorgvuldig ontworpen klassieke pijplijn een zeer effectieve en voorkeurskeuze blijft voor productiemilieus. De studie betoogt dat Logistische Regressie een pragmatische afweging biedt: het is makkelijker te serialiseren, interpreteren en hertrainen dan neuronale modellen, terwijl het stabiele probabilistische outputs levert.

De auteurs concluderen dat hoewel neuronale baselines (en Lineaire SVM) potentie bieden voor hogere nauwkeurigheid, de winst vaak wordt gedreven door prestaties op meerderheidsklassen in plaats van het oplossen van de kernuitdaging van minderheidsklas-dubbelzinnigheid. Daarom wordt de neuronale baseline het beste behandeld als een vergelijkend experiment in plaats van het standaard inzetbare model. De studie benadrukt dat in low-resource settings de kwaliteit van preprocessing, label-remapping en klasbalancering vaak kritischer is dan de keuze voor een complexe modelarchitectuur. Voor toekomstig werk wordt voorgesteld cross-validatie, kwalitatieve foutanalyse en het testen van sterkere contextmodellen zoals IndoBERT op te nemen, maar het huidige werk vestigt een robuuste, interpreteerbare baseline.