A Comparative Analysis of Machine Learning and Deep Learning Models for Tweet Sentiment Classification: A Case Study on the Sentiment140 Dataset

Technische Samenvatting: Een Comparatieve Analyse van Machine Learning- en Deep Learning-modellen voor Tweet-sentimentclassificatie

Probleemstelling
De exponentiële groei van sociale media, met name Twitter (X), heeft enorme hoeveelheden ongestructureerde, informele tekst gegenereerd die gekenmerkt wordt door straattaal, afkortingen en impliciete sarcasme. Hoewel geautomatiseerde sentimentanalyse essentieel is voor het real-time monitoren van de publieke opinie, bestaat er een aanhoudend debat over de doeltreffendheid van complexe Deep Learning (DL)-modellen versus traditionele Machine Learning (ML)-benaderingen wanneer deze worden toegepast op beperkte of middelgrote datasets. Deep learning-modellen vereisen vaak enorme datavolumes om miljoenen parameters te optimaliseren zonder overfitting, terwijl traditionele modellen vertrouwen op robuuste kenmerkextractie. Deze studie adresseert de vraag of een geavanceerde Bidirectionele Long Short-Term Memory (BiLSTM)-architectuur een klassiek Logistische Regressiemodel kan overtreffen wanneer getraind op een beperkt subset van informele tweet-data.

Methodologie
Het onderzoek gebruikte een subset van 10.000 tweets uit de publieke Sentiment140-dataset, oorspronkelijk bevattende 1,6 miljoen tweets die via distant supervision waren geannoteerd. De dataset was strikt binair (Klasse 0: Negatief, Klasse 1: Positief).

De studie implementeerde een volledige Natural Language Processing (NLP)-pipeline die twee verschillende architecturen vergeleek:

1. Data Preprocessing: Een rigoureuze pipeline werd toegepast op alle tekst, inclusief case folding, data cleaning (verwijdering van URL's, vermeldingen, hashtags en niet-ASCII-tekens), tokenisatie, en padding/truncatie tot een maximale sequentielengte van 50 tokens. Een vocabulaire van 4.425 unieke tokens werd vastgesteld.
2. Basislijnmodel (Machine Learning): Een Logistische Regressie-classificator werd getraind met behulp van TF-IDF (Term Frequency-Inverse Document Frequency)-vectorisatie. De TF-IDF-gewichten werden berekend om woorden te benadrukken die zeldzaam zijn op globaal niveau maar frequent in specifieke documenten, waardoor hoog-dimensionele, spaarzame vectoren ontstaan die geschikt zijn voor lineaire classificatie.
3. Deep Learning-model: Een Bidirectionele LSTM (BiLSTM)-architectuur werd geconstrueerd met PyTorch. Belangrijke configuraties waren:
   • Embedding-dimensie: 128
   • Verborgen dimensie: 128
   • Aantal lagen: 2 (Bidirectioneel)
   • Dropout-kans: 0,3
   • Optimizer: Adam met Binary Cross-Entropy-verlies
   • Trainingsduur: 6 epochs met een batchgrootte van 64.
4. Evaluatie: Modellen werden beoordeeld aan de hand van Accuracy, Precision, Recall en F1-score. Leercurves werden geanalyseerd om generalisatievermogen en overfitting te diagnosticeren.
5. Implementatie: Beide modellen werden geïntegreerd in een interactieve webapplicatie met Streamlit en gehost op Hugging Face Spaces om productieklaarheid te demonstreren.

Belangrijkste Resultaten
De experimentele resultaten gaven aan dat de traditionele Machine Learning-benadering op deze specifieke dataset de Deep Learning-benadering overtrof:

• Logistische Regressie (TF-IDF): Bereikte een accuracy van 73,5%. Het model vertoonde stabiele generalisatie, waarbij de kloof tussen trainings- en validatie-accuracy kleiner werd naarmate de trainingssteekproefgrootte toenam.
• BiLSTM: Bereikte een accuracy van 69,17%. Het model vertoonde duidelijke tekenen van overfitting. Hoewel de trainingsaccuracy steil opliep tot bijna 95% tegen de laatste epoch, stagneerde de validatie-accuracy rond de 70% na de tweede epoch.

Analyse van Leercurves
De studie benadrukte een kritieke divergentie in leerdynamiek:

• Het Logistische Regressiemodel toonde gezonde convergentie, waarbij het vergroten van het datavolume de validatieprestaties verbeterde, wat suggereert dat het succesvol lineaire beslissingsgrenzen leerde in de spaarzame semantische ruimte.
• Het BiLSTM-model faalde daarentegen om te generaliseren door schaarste aan data. De enorme parameterruimte (meer dan 1,2 miljoen trainbare parameters) in verhouding tot de dataset van 10.000 samples veroorzaakte dat het netwerk ruis en eigenaardigheden memoriseerde in plaats van gegeneraliseerde taalkundige regels te extraheren.

Betekenis en Beweringen
Het artikel beweert dat voor middelgrote, zeer informele tekstdata, klassieke machine learning met robuuste kenmerkextractie (TF-IDF) superieure resultaten kan opleveren ten opzichte van complexe deep learning-architecturen. De bevindingen daagt de aanname uit dat complexere algoritmes universeel betere prestaties garanderen, vooral wanneer data beperkt is.

De studie concludeert dat het theoretische voordeel van de BiLSTM in het vastleggen van sequentiële context overschaduwd werd door de "memorisatieval" veroorzaakt door de beperkte datavolume. Het onderzoek slaagt erin de kloof tussen theoretische datawetenschap en praktische engineering te overbruggen door beide modellen te implementeren in functionele, toegankelijke webinterfaces, waarmee hun operationele levensvatbaarheid wordt bewezen ondanks de prestatieverschillen.

Toekomstige Richtingen
De auteurs suggereren nederig dat het schalen van de trainingsdata naar de volledige 1,6 miljoen samples van de Sentiment140-dataset waarschijnlijk zou toelaten dat de BiLSTM de lineaire basislijn overtreft. Daarnaast stellen zij voor dat het integreren van vooringeschoolde contextuele embeddings (bijvoorbeeld Word2Vec, GloVe) of de overgang naar Transformer-gebaseerde architecturen (bijvoorbeeld BERT) het semantisch begrip van sarcastische of impliciete tweets in toekomstige iteraties zou kunnen verbeteren.