From TF-IDF to Transformers: A Comparative and Ensemble Approach to Sentiment Classification

Sintesi Tecnica: Da TF-IDF a Transformers: Un Approccio Comparativo e di Ensemble per la Classificazione del Sentimento

Enunciato del Problema
L'analisi del sentimento, o estrazione di opinioni, mira a estrarre opinioni soggettive da dati testuali, come recensioni di film, per classificarle come positive o negative. Sebbene i modelli di apprendimento automatico (ML) siano efficaci, spesso faticano a interpretare accuratamente il contesto, le metafore, l'ironia e le negazioni complesse perché si basano pesantemente su rappresentazioni statistiche delle parole piuttosto che su una comprensione semantica profonda. Questo lavoro affronta la sfida di classificare le recensioni di film IMDb confrontando metodi statistici tradizionali, architetture di deep learning e modelli basati su transformer moderni per determinare l'approccio più efficiente per una classificazione del sentimento resiliente.

Metodologia
Lo studio utilizza il dataset IMDb, composto da 50.000 recensioni di film bilanciate (25.000 positive e 25.000 negative). La metodologia segue una pipeline strutturata:

1. Preprocessing: Il testo grezzo subisce normalizzazione, tokenizzazione e stemming/lemmatizzazione. Il dataset viene suddiviso in set di addestramento e di test.
2. Ingegneria delle Caratteristiche:
   • Modelli Tradizionali: Il testo viene convertito in caratteristiche numeriche utilizzando la vettorizzazione TF-IDF, limitata alle 10.000 parole più informative con un intervallo di n-grammi da 1 a 3. Questo previene la fuoriuscita di dati (data leakage) adattando il vettorizzatore esclusivamente al corpus di addestramento.
   • Modelli Transformer: Questi utilizzano la tokenizzazione a sottoparole e gli embedding contestuali direttamente da modelli pre-addestrati, offrendo rappresentazioni semantiche dinamiche rispetto alle caratteristiche TF-IDF statiche.
3. Addestramento del Modello: Sono stati valutati sette classificatori distinti:
   • ML Tradizionale: Regressione Logistica, Naïve Bayes Multinomiale, SVM Lineare e LightGBM.
   • Deep Learning: LSTM Bidirezionale (64 unità, ottimizzatore Adam).
   • Transformer: DistilBERT e RoBERTa, fine-tunati utilizzando il framework Hugging Face con iperparametri specifici (ad esempio, lunghezza della sequenza di 128, decadimento dei pesi di 0,01).
4. Approccio di Ensemble: È stato costruito un ensemble di votazione soft per combinare le probabilità predittive di tutti e sette i modelli. A ogni modello è stato assegnato un peso uguale ($w_i = 1/N$) e la previsione finale è stata determinata dalla classe con il punteggio di probabilità media più alto.
5. Spiegabilità: Sono state impiegate le Spiegazioni Additive SHapley (SHAP) per fornire trasparenza al modello. Per la SVM, i valori SHAP corrispondevano al prodotto dei pesi TF-IDF e dei coefficienti. Per i transformer, sono state utilizzate tecniche basate sulla perturbazione per calcolare le attribuzioni a livello di token.

Contributi e Risultati Chiave
Il lavoro presenta un'analisi comparativa delle prestazioni dei modelli basata su accuratezza, punteggio F1 e ROC-AUC:

• Gerarchia delle Prestazioni: I modelli basati su transformer hanno superato tutti gli altri approcci. RoBERTa ha raggiunto le prestazioni più elevate con un'accuratezza del 93,02% e un punteggio F1 di 0,9302. DistilBERT ha seguito a breve distanza (92,59% di accuratezza). Modelli tradizionali come SVM (89,61%) e Regressione Logistica (88,91%) hanno funzionato come basi solide e interpretabili, ma sono rimasti indietro rispetto ai modelli contestuali.
• Efficacia dell'Ensemble: L'ensemble di votazione soft, che ha aggregato le previsioni da tutti i modelli, ha dimostrato che combinare architetture diverse migliora la precisione della classificazione. L'ensemble ha ridotto la varianza e gestito casi ambigui (come ironia e negazioni complesse) meglio dei singoli modelli, ottenendo un miglioramento dell'1–3% su tutte le metriche rispetto al singolo modello migliore (RoBERTa).
• Analisi degli Errori: Lo studio ha identificato specifici modi di fallimento, incluse negazioni complesse (ad esempio, "non senza il suo vantaggio") e ironia, che hanno portato a tassi di errore più elevati (fino al 18,9% per l'ironia). L'approccio di ensemble ha notevolmente ridotto i tassi di classificazione errata per le recensioni sarcastiche di circa il 23%.
• Insight da Ablazione: Lo studio ha quantificato l'impatto di componenti specifici, rilevando che la gestione delle negazioni ha migliorato i punteggi F1 del 3,2–4,1% per i modelli tradizionali, e che il mascheramento dinamico durante il fine-tuning di RoBERTa ha contribuito a un ulteriore guadagno di accuratezza del 2,1%.

Significato e Affermazioni
Il lavoro conclude che, sebbene i modelli basati su transformer (in particolare RoBERTa e DistilBERT) siano superiori nel catturare le dipendenze contestuali e le sfumature semantiche sottili in compiti complessi di analisi del sentimento, i metodi tradizionali rimangono preziosi. La SVM con caratteristiche TF-IDF è evidenziata come una base efficiente dal punto di vista computazionale e interpretabile, mentre DistilBERT è presentato come un'alternativa praticabile quando le risorse computazionali sono limitate.

Il significato primario di questo lavoro risiede nel dimostrare che l'ensemble di modelli sfrutta efficacemente i punti di forza complementari di architetture diverse (lessicali, sequenziali e contestuali) per mitigare i bias dei singoli modelli e migliorare la robustezza complessiva. Gli autori affermano che, sebbene i transformer siano più adatti per compiti complessi, un approccio ibrido che combina l'efficienza tradizionale con la potenza del deep learning offre una soluzione completa per la classificazione del sentimento.