Benchmarking PyCaret AutoML Against BiLSTM for Fine-Grained Emotion Classification: A Comparative Study on 20-Class Emotion Detection

1. Enunciato del Problema

Il documento affronta la sfida della classificazione fine-granulare delle emozioni nell'Elaborazione del Linguaggio Naturale (NLP). A differenza dell'analisi del sentiment binaria (positivo/negativo), questo compito richiede di distinguere tra 20 stati emotivi distinti e sfumati (ad esempio, felicità, ansia, nostalgia, senso di colpa). Il problema centrale indagato è l'efficacia comparativa degli approcci di Machine Learning (ML) tradizionali, che si basano su feature ingegnerizzate manualmente, rispetto agli approcci di Deep Learning (DL), che apprendono rappresentazioni direttamente dal testo grezzo, specificamente per un problema multi-classe su larga scala (20 classi) con un dataset di circa 80.000 campioni.

2. Metodologia

Lo studio impiega un framework sistematico di benchmarking che confronta tre classificatori ML e tre architetture DL in condizioni sperimentali identiche.

• Dataset: Il 20-Emotion Text Classification Dataset, contenente 79.595 frasi in inglese etichettate con una delle 20 categorie emotive.

• Preprocessing:

  • Pulizia del testo (minuscole, rimozione della punteggiatura).
  • Pipeline ML: Rimozione delle stopword e tokenizzazione. Le feature sono estratte utilizzando TF-IDF (Term Frequency-Inverse Document Frequency) con una dimensione del vocabolario di 50.000.
  • Pipeline DL: Tokenizzazione con un vocabolario di 30.000 e una dimensione di embedding di 128.
  • Divisione dei Dati: 80% Addestramento, 10% Validazione, 10% Test (stratificata).

• Modelli Valutati:

  • Machine Learning (ML):
    1. Regressione Logistica (LR): Classificatore lineare con regolarizzazione L2.
    2. Multinomial Naive Bayes (MNB): Classificatore probabilistico con smoothing di Laplace.
    3. Macchina a Vettori di Supporto (LinearSVC): SVM lineare ottimizzata con perdita hinge al quadrato.
    • Nota: Questi sono stati valutati utilizzando un approccio AutoML (riferito come PyCaret nel titolo, sebbene il testo dettagli implementazioni specifiche di scikit-learn).
  • Deep Learning (DL): Implementato in PyTorch su GPU (NVIDIA Tesla T4).
    1. BiLSTM: Memoria a breve e lungo termine bidirezionale con due livelli impilati (dimensione nascosta 256).
    2. GRU: Unità Ricorrente a Cancello con due livelli bidirezionali impilati (dimensione nascosta 256).
    3. Transformer: Un modello encoder-only leggero (4 teste di attenzione, 2 livelli, dimensione feed-forward 512).
  • Iperparametri: Tutti i modelli DL hanno utilizzato l'ottimizzatore Adam (lr=0.001), dropout (0.3), dimensione del batch 64 e sono stati addestrati per 10 epoche.

3. Contributi Chiave

1. Benchmark Sistematico: Un confronto diretto tra paradigmi ML e DL su un compito specifico di rilevamento delle emozioni a 20 classi, un gap notato nella letteratura esistente.
2. Valutazione Completa: Analisi di sei modelli distinti (3 ML, 3 DL) focalizzata su accuratezza, punteggi F1 e efficienza computazionale (tempo di addestramento).
3. Analisi dei Trade-off: Esame dettagliato dell'equilibrio tra prestazioni del modello, requisiti di infrastruttura di addestramento (CPU vs GPU) e complessità computazionale.
4. Deployment: I modelli ML e DL con le migliori prestazioni sono stati distribuiti come applicazioni web interattive su Hugging Face Spaces.

4. Risultati

Gli esperimenti hanno prodotto le seguenti metriche di prestazione sul set di test:

• Migliore Prestazione: Il modello BiLSTM ha raggiunto le prestazioni complessive più elevate con un'accuratezza del 89% e un punteggio F1 ponderato di 0,89.
• Prestazioni ML: Il modello SVM è stato il contendente ML più forte, raggiungendo un'accuratezza dell'88,11%, notevolmente vicina al miglior modello DL.
• Varianti DL: Il GRU ha performato in modo comparabile al BiLSTM ma con meno parametri. Il Transformer leggero ha performato peggio rispetto ai modelli ricorrenti, probabilmente a causa delle dimensioni del dataset insufficienti per sfruttare appieno i meccanismi di self-attention senza pre-addestramento.

5. Significato e Conclusione

• Vantaggio Contestuale: Lo studio conferma che i modelli di deep learning basati su sequenze (in particolare BiLSTM) catturano meglio gli indizi emotivi contestuali e le dipendenze dell'ordine delle parole rispetto alle feature TF-IDF basate su bag-of-words, risultando in un guadagno di prestazioni marginale ma coerente (~0,9% rispetto all'SVM).
• Competitività del ML Classico: Nonostante l'ascesa del DL, i modelli ML tradizionali (in particolare SVM) rimangono altamente competitivi. Offrono un'alternativa computazionalmente efficiente che non richiede accelerazione GPU e si addestra quasi istantaneamente, rendendoli ideali per ambienti con risorse limitate.
• Implicazioni Pratiche: Per il rilevamento fine-granulare delle emozioni, il BiLSTM offre il miglior equilibrio tra accuratezza e stabilità. Tuttavia, se le risorse computazionali sono limitate, l'SVM fornisce un'alternativa robusta e leggera con una perdita di prestazioni trascurabile.
• Direzioni Future: Gli autori suggeriscono che i modelli Transformer potrebbero superare i modelli ricorrenti se addestrati su dataset più grandi o con rappresentazioni pre-addestrate (ad esempio, BERT, RoBERTa), e raccomandano di esplorare l'aumento dei dati per le classi emotive sottorappresentate.