A Comparative Analysis of Classical Machine Learning and Deep Learning Approaches for Sentiment Classification on IMDb Movie Reviews

Riepilogo Tecnico: Un'Analisi Comparativa degli Approcci di Apprendimento Automatico Classico e di Deep Learning per la Classificazione del Sentiment sulle Recensioni Cinematografiche IMDb

Enunciato del Problema
L'analisi del sentiment è un compito critico nell'Elaborazione del Linguaggio Naturale (NLP) volto a determinare la polarità dei dati testuali, come le recensioni cinematografiche. Sebbene gli approcci di deep learning (DL) abbiano acquisito rilevanza per la loro capacità di apprendere automaticamente rappresentazioni delle caratteristiche e catturare dipendenze sequenziali, spesso richiedono risorse computazionali significative e tempi di addestramento prolungati. Al contrario, i metodi di apprendimento automatico (ML) classico sono noti per la loro efficienza ma dipendono fortemente dall'ingegneria manuale delle caratteristiche. Questo studio affronta la necessità di comprendere i compromessi tra questi due paradigmi in termini di prestazioni, efficienza e praticità quando applicati al dataset delle recensioni cinematografiche IMDb.

Metodologia
La ricerca impiega un framework comparativo che valuta pipeline di ML classico e DL su un sottoinsieme bilanciato del dataset IMDb (50.000 campioni, suddivisi equamente tra sentimenti positivi e negativi).

• Preprocessing dei Dati:
  • Pipeline ML: Ha utilizzato una pipeline basata su EDA (Analisi Esplorativa dei Dati) che coinvolge normalizzazione del testo ed estrazione di caratteristiche TF-IDF (Frequenza del Termine–Frequenza Inversa del Documento).
  • Pipeline DL: Ha implementato pulizia del testo (minuscole, rimozione di URL/HTML, filtraggio dei caratteri non alfabetici), campionamento stratificato di 10.000 istanze, codifica delle etichette e padding delle sequenze.
• Approccio di Apprendimento Automatico:
  • Implementato utilizzando PyCaret AutoML con vettorizzazione TF-IDF.
  • I modelli valutati includevano Regressione Logistica, Naïve Bayes e Macchina a Vettori di Supporto (SVM).
• Approccio di Deep Learning:
  • Implementato utilizzando PyTorch su un sottoinsieme di 10.000 campioni.
  • Valutate due architetture:
    1. LSTM Bidirezionale (BiLSTM): Per catturare dipendenze sequenziali in entrambe le direzioni, avanti e indietro.
    2. BiLSTM con Meccanismo di Attenzione: Per migliorare la rappresentazione contestuale concentrandosi sulle parole significative all'interno della sequenza.
  • Gli iperparametri includevano una dimensione del vocabolario di 5.000, una dimensione di embedding di 64, 1 strato nascosto, un tasso di dropout di 0,3 e un addestramento per 3 epoche con arresto anticipato.

Contributi Chiave
Il documento delinea quattro contributi principali:

1. Pipeline di Preprocessing Duali: Flussi di lavoro distinti per ML (EDA basato su Jupyter Notebook e TF-IDF) e DL (pulizia basata su script Python e campionamento stratificato).
2. Deploy del Modello ML: Un modello di apprendimento automatico costruito con PyCaret e serializzato come sentiment_model.pkl per un'inferenza efficiente.
3. Framework DL: Un'implementazione comparativa delle architetture BiLSTM e BiLSTM con Meccanismo di Attenzione.
4. Deploy Interattivo: Entrambi i modelli sono resi accessibili tramite uno Space interattivo di Hugging Face.

Risultati
I risultati sperimentali indicano una divergenza nelle prestazioni basata sulla dimensione del dataset e sulla complessità del modello:

• Prestazioni del ML Classico: Il modello SVM ha raggiunto la massima accuratezza di 0,8530, seguito da vicino dalla Regressione Logistica (0,8518). Naïve Bayes ha ottenuto prestazioni significativamente inferiori (0,6106).
• Prestazioni del Deep Learning: Il BiLSTM standard ha raggiunto un'accuratezza di 0,626. Il meccanismo BiLSTM con Attenzione ha migliorato le prestazioni fino a 0,706, dimostrando una migliore comprensione contestuale rispetto al BiLSTM standard.
• Confronto: Contrariamente ad alcune letteratura che suggerisce la superiorità del DL, i modelli di ML classico hanno superato i modelli DL in questo specifico setup sperimentale.

Significato e Affermazioni
Lo studio conclude che, sebbene i modelli di deep learning possiedano la capacità teorica di catturare complesse dipendenze sequenziali, gli approcci di apprendimento automatico classico rimangono basi solide per la classificazione del sentiment, in particolare quando combinati con un'ingegneria efficace delle caratteristiche come TF-IDF.

Gli autori affermano che la superiore prestazione dei modelli ML in questo studio è probabilmente dovuta a:

1. Vincoli sui Dati: I modelli DL sono stati addestrati su un sottoinsieme ridotto (10.000 campioni) rispetto all'intero dataset utilizzato per il ML, il quale potrebbe essere stato insufficiente per apprendere rappresentazioni complesse.
2. Limitazioni nell'Addestramento: I modelli DL sono stati addestrati per un numero limitato di epoche (3), prevenendo potenzialmente la convergenza verso prestazioni ottimali.
3. Efficienza: I modelli ML offrono prestazioni solide con costi computazionali inferiori e tempi di addestramento più rapidi.

Il documento sottolinea che la selezione del modello dovrebbe essere dettata dai vincoli specifici dell'applicazione, inclusa la dimensione del dataset, le risorse computazionali disponibili e la necessità di interpretabilità. Suggerisce che per scenari con risorse limitate o dataset più piccoli, modelli di ML classico ben ottimizzati possano essere più pratici rispetto alle alternative di deep learning.