From TF-IDF to Transformers: A Comparative and Ensemble Approach to Sentiment Classification

Technische Samenvatting: Van TF-IDF tot Transformers: Een Comparatieve en Ensemble-aanpak voor Sentimentclassificatie

Probleemstelling
Sentimentanalyse, of meningsontginning, heeft tot doel subjectieve meningen uit tekstdata, zoals filmrecensies, te extraheren om deze te classificeren als positief of negatief. Hoewel machine learning (ML)-modellen effectief zijn, worstelen ze vaak met het nauwkeurig interpreteren van context, metaforen, sarcasme en complexe ontkenningen, omdat ze sterk afhankelijk zijn van statistische woordrepresentaties in plaats van diep semantisch begrip. Dit artikel adresseert de uitdaging van het classificeren van IMDb-filmrecensies door traditionele statistische methoden, diep-leren-architecturen en moderne transformer-gebaseerde modellen te vergelijken om de meest efficiënte aanpak voor robuuste sentimentclassificatie te bepalen.

Methodologie
De studie maakt gebruik van het IMDb-dataset, bestaande uit 50.000 gebalanceerde filmrecensies (25.000 positief en 25.000 negatief). De methodologie volgt een gestructureerde pijplijn:

1. Preprocessing: Ruwe tekst ondergaat normalisatie, tokenisatie en stemming/lemmatisatie. Het dataset wordt opgesplitst in trainings- en testsets.
2. Feature Engineering:
   • Traditionele Modellen: Tekst wordt omgezet naar numerieke features met behulp van TF-IDF-vectorisatie, beperkt tot de 10.000 meest informatieve woorden met een n-gram-bereik van 1–3. Dit voorkomt datalekken door de vectorizer uitsluitend op het trainingscorpus te laten passen.
   • Transformer-modellen: Deze maken gebruik van subwoord-tokenisatie en contextuele embeddings direct uit voorgeöorde modellen, wat dynamische semantische representaties biedt in vergelijking met statische TF-IDF-features.
3. Modeltraining: Zeven verschillende classificeerders werden geëvalueerd:
   • Traditioneel ML: Logistische regressie, Multinomiaal Naïve Bayes, Lineaire SVM en LightGBM.
   • Diep Leren: Bidirectionele LSTM (64 eenheden, Adam-optimizer).
   • Transformers: DistilBERT en RoBERTa, fijngefineerd met het Hugging Face-framework met specifieke hyperparameters (bijvoorbeeld een sequentielengte van 128, gewichtsverval van 0,01).
4. Ensemble-aanpak: Een soft voting ensemble werd geconstrueerd om de voorspelde kansen van alle zeven modellen te combineren. Elk model kreeg een gelijke gewicht toebedeeld ($w_i = 1/N$), en de uiteindelijke voorspelling werd bepaald door de klasse met de hoogste gemiddelde kansscore.
5. Verklaring: SHapley Additive exPlanations (SHAP) werden ingezet om modeltransparantie te bieden. Voor SVM kwamen SHAP-waarden overeen met het product van TF-IDF-gewichten en coëfficiënten. Voor transformers werden op perturbatie gebaseerde technieken gebruikt om token-niveau attributies te berekenen.

Belangrijkste Bijdragen en Resultaten
Het artikel presenteert een comparatieve analyse van modelprestaties gebaseerd op nauwkeurigheid, F1-score en ROC-AUC:

• Prestatiehiërarchie: Transformer-gebaseerde modellen presteerden beter dan alle andere benaderingen. RoBERTa behaalde de hoogste prestatie met 93,02% nauwkeurigheid en een F1-score van 0,9302. DistilBERT volgde op korte afstand (92,59% nauwkeurigheid). Traditionele modellen zoals SVM (89,61%) en Logistische Regressie (88,91%) dienden als sterke, interpreteerbare baselines, maar bleven achter bij contextuele modellen.
• Effectiviteit van Ensemble: Het soft voting ensemble, dat voorspellingen van alle modellen aggregeerde, toonde aan dat het combineren van diverse architecturen de classificatieprecisie verbetert. Het ensemble verminderde variantie en behandelde ambiguïteiten (zoals sarcasme en complexe ontkenningen) beter dan individuele modellen, wat resulteerde in een 1–3% verbetering over alle metrieken in vergelijking met het beste enkele model (RoBERTa).
• Foutanalyse: De studie identificeerde specifieke faalmodi, waaronder complexe ontkenningen (bijvoorbeeld "niet zonder zijn voordeel") en sarcasme, wat leidde tot hogere foutpercentages (tot 18,9% voor sarcasme). De ensemble-aanpak verminderde opmerkelijk de misclassificatiepercentages voor sarcastische recensies met ongeveer 23%.
• Ablatie-insights: De studie kwantificeerde de impact van specifieke componenten, waarbij bleek dat ontkenningverwerking de F1-scores met 3,2–4,1% verbeterde voor traditionele modellen, en dynamische masking tijdens RoBERTa-fijnfining een extra nauwkeurigheidswinst van 2,1% opleverde.

Betekenis en Claims
Het artikel concludeert dat hoewel transformer-gebaseerde modellen (specifiek RoBERTa en DistilBERT) superieur zijn voor het vastleggen van contextuele afhankelijkheden en subtiele semantische nuances in complexe sentimentanalyse-taken, traditionele methoden waardevol blijven. SVM met TF-IDF-features wordt benadrukt als een computerefficiënte en interpreteerbare baseline, en DistilBERT wordt gepresenteerd als een haalbaar alternatief wanneer rekenkracht beperkt is.

De primaire betekenis van dit werk ligt in het aantonen dat modelensembles effectief de complementaire sterktes van diverse architecturen (lexicaal, sequentieel en contextueel) benutten om individuele modelbias te mitigeren en de algehele robuustheid te verbeteren. De auteurs stellen dat hoewel transformers het best geschikt zijn voor complexe taken, een hybride aanpak die traditionele efficiëntie combineert met de kracht van diep leren, een uitgebreide oplossing biedt voor sentimentclassificatie.