A Comparative Analysis of Machine Learning and Deep Learning Models for Tweet Sentiment Classification: A Case Study on the Sentiment140 Dataset

Riepilogo Tecnico: Un'Analisi Comparativa di Modelli di Machine Learning e Deep Learning per la Classificazione del Sentimento nei Tweet

Enunciato del Problema
La crescita esponenziale dei social media, in particolare Twitter (X), ha generato enormi quantità di testo non strutturato e informale caratterizzato da gergo, abbreviazioni e sarcasmo implicito. Sebbene l'analisi automatica del sentimento sia essenziale per il monitoraggio in tempo reale dell'opinione pubblica, è in corso un dibattito sull'efficacia dei complessi modelli di Deep Learning (DL) rispetto agli approcci tradizionali di Machine Learning (ML) quando applicati a dataset vincolati o di scala media. I modelli di deep learning richiedono spesso volumi di dati massicci per ottimizzare milioni di parametri senza overfitting, mentre i modelli tradizionali si affidano a un'estrazione robusta delle caratteristiche. Questo studio affronta la questione se una sofisticata architettura Bidirectional Long Short-Term Memory (BiLSTM) possa superare un classico modello di Regressione Logistica quando addestrato su un sottoinsieme limitato di dati di tweet informali.

Metodologia
La ricerca ha utilizzato un sottoinsieme di 10.000 tweet del pubblico dataset Sentiment140, originariamente contenente 1,6 milioni di tweet annotati tramite supervisione remota. Il dataset era strettamente binario (Classe 0: Negativo, Classe 1: Positivo).

Lo studio ha implementato una pipeline completa di Elaborazione del Linguaggio Naturale (NLP) confrontando due architetture distinte:

1. Preprocessing dei Dati: È stata applicata una pipeline rigorosa a tutto il testo, inclusa la normalizzazione del caso (case folding), la pulizia dei dati (rimozione di URL, menzioni, hashtag e caratteri non ASCII), la tokenizzazione e l'aggiunta di padding/troncamento a una lunghezza massima di sequenza di 50 token. È stato stabilito un vocabolario di 4.425 token unici.
2. Modello di Basella (Machine Learning): Un classificatore di Regressione Logistica è stato addestrato utilizzando la vettorizzazione TF-IDF (Term Frequency-Inverse Document Frequency). I pesi TF-IDF sono stati calcolati per enfatizzare le parole rare a livello globale ma frequenti in documenti specifici, creando vettori sparsi ad alta dimensionalità adatti alla classificazione lineare.
3. Modello di Deep Learning: È stata costruita un'architettura Bidirectional LSTM (BiLSTM) utilizzando PyTorch. Le configurazioni chiave includevano:
   • Dimensione dell'embedding: 128
   • Dimensione nascosta: 128
   • Numero di livelli: 2 (Bidirezionale)
   • Probabilità di Dropout: 0,3
   • Ottimizzatore: Adam con perdita di Cross-Entropia Binaria
   • Durata dell'addestramento: 6 epoche con una dimensione del batch di 64.
4. Valutazione: I modelli sono stati valutati utilizzando Accuratezza, Precisione, Recall e F1-Score. Le curve di apprendimento sono state analizzate per diagnosticare le capacità di generalizzazione e l'overfitting.
5. Deploy: Entrambi i modelli sono stati integrati in un'applicazione web interattiva utilizzando Streamlit e ospitati su Hugging Face Spaces per dimostrare la prontezza alla produzione.

Risultati Chiave
I risultati sperimentali hanno indicato che l'approccio tradizionale di Machine Learning ha superato l'approccio di Deep Learning su questo specifico dataset:

• Regressione Logistica (TF-IDF): Ha raggiunto un'accuratezza del 73,5%. Il modello ha dimostrato una generalizzazione stabile, con il divario tra l'accuratezza di addestramento e quella di validazione che si è ristretto all'aumentare della dimensione del campione di addestramento.
• BiLSTM: Ha raggiunto un'accuratezza del 69,17%. Il modello ha mostrato chiari segni di overfitting. Sebbene l'accuratezza di addestramento fosse aumentata ripidamente fino a quasi il 95% nell'ultima epoca, l'accuratezza di validazione si è stabilizzata intorno al 70% dopo la seconda epoca.

Analisi della Curva di Apprendimento
Lo studio ha evidenziato una divergenza critica nelle dinamiche di apprendimento:

• Il modello di Regressione Logistica ha mostrato una convergenza sana, dove l'aumento del volume di dati ha migliorato le prestazioni di validazione, suggerendo che ha appreso con successo i confini decisionali lineari nello spazio semantico sparso.
• Il modello BiLSTM, al contrario, non è riuscito a generalizzare a causa della scarsità di dati. Lo spazio parametrico massiccio (oltre 1,2 milioni di parametri addestrabili) rispetto al dataset di 10.000 campioni ha causato alla rete di memorizzare il rumore e le idiosincrasie piuttosto che estrarre regole linguistiche generalizzate.

Significato e Affermazioni
Il documento afferma che per dati testuali di scala media e altamente informali, il machine learning classico con estrazione robusta delle caratteristiche (TF-IDF) può produrre risultati superiori rispetto a complesse architetture di deep learning. I risultati mettono in discussione l'assunto che algoritmi più complessi garantiscano universalmente prestazioni migliori, in particolare quando i dati sono limitati.

Lo studio conclude che il vantaggio teorico del BiLSTM nel catturare il contesto sequenziale è stato offuscato dalla "trappola della memorizzazione" causata dal volume vincolato del dataset. La ricerca colma con successo il divario tra la scienza dei dati teorica e l'ingegneria pratica deployando entrambi i modelli in interfacce web funzionali e accessibili, dimostrandone la fattibilità operativa nonostante la disparità di prestazioni.

Direzioni Future
Gli autori suggeriscono modestamente che scalare i dati di addestramento fino ai 1,6 milioni di campioni completi del dataset Sentiment140 permetterebbe probabilmente al BiLSTM di superare la baseline lineare. Inoltre, propongono che l'integrazione di embedding contestuali pre-addestrati (ad es. Word2Vec, GloVe) o la transizione verso architetture basate su Transformer (ad es. BERT) potrebbero migliorare la comprensione semantica di tweet sarcastici o impliciti nelle iterazioni future.