Sentiment and Emotion Classification of Indonesian E-Commerce Reviews via Multi-Task BiLSTM and AutoML Benchmarking

1. Enunciato del Problema

Il paper affronta la sfida di analizzare le recensioni di e-commerce indonesiane, caratterizzate da un linguaggio altamente informale. A differenza del testo standardizzato, queste recensioni contengono:

• Complessità Linguistica: Un mix di vocabolario standard, gergo, prestiti regionali, abbreviazioni numeriche (es. "50k") ed emoji.
• Specificità di Dominio: Uso frequente di abbreviazioni (es. "ongkir" per le spese di spedizione, "ori" per originale) e variazioni ortografiche.
• Limitazioni degli Strumenti Esistenti: Gli strumenti tradizionali di analisi del sentiment basati su lessico falliscono in questo contesto perché non riescono a risolvere il gergo o a gestire il rumore intrinseco nei contenuti generati dagli utenti.
• Scarsità di Dati: Manca un insieme di dati su larga scala, doppiamente etichettato, per il testo indonesiano che copra sia il sentiment (Positivo/Negativo) che emozioni specifiche (Felice, Triste, Paura, Amore, Rabbia).

2. Metodologia

Gli autori propongono una pipeline di classificazione a due binari applicata al dataset PRDECT-ID (5.400 recensioni in 29 categorie di prodotti).

A. Preprocessing dei Dati

È stato sviluppato un modulo di preprocessing rigoroso (src/preprocessing.py), caratterizzato da 14 passaggi di pulizia sequenziali. I componenti chiave includono:

• Un dizionario di gergo personalizzato da 140 voci assemblato da corpora di marketplace per normalizzare i termini informali.
• Gestione della negazione, degli intensificatori, del vocabolario specifico delle transazioni e delle emoji.
• Tokenizzazione e normalizzazione per preparare il testo sia per i modelli ML che per quelli DL.

B. Binario 1: Machine Learning Tradizionale (AutoML)

• Estrazione delle Caratteristiche: Vettorizzazione TF-IDF.
• Modellazione: Utilizzo di PyCaret AutoML per scansionare classificatori standard (Regressione Logistica, Random Forest, LightGBM, SVM, ecc.).
• Output: I modelli migliori per sentiment ed emozioni vengono serializzati per il deployment.

C. Binario 2: Deep Learning (Apprendimento Multi-Task)

Gli autori hanno implementato un framework di Apprendimento Multi-Task (MTL) utilizzando PyTorch, progettato per prevedere simultaneamente sentiment ed emozioni.

• Architettura: Un encoder condiviso con due testine di output specifiche per il compito.
• Configurazioni Valutate:
  1. Baseline BiLSTM: 1 strato, 128 unità nascoste (~1,4M parametri).
  2. BiLSTM Migliorato: 2 strati, 256 unità nascoste, include BatchNorm1d (~3,1M parametri).
  3. BiLSTM Grande: 2 strati, 256 unità di embedding/nascoste, strato denso aggiuntivo (~5,3M parametri).
  4. TextCNN: Convoluzioni 1D parallele con dimensioni del kernel {2, 3, 4} e global max-pooling (~1,7M parametri).
• Strategia di Addestramento:
  • Perdita: Cross-entropy ponderata per le classi per gestire lo squilibrio delle etichette (specialmente tra "Felice" e "Rabbia").
  • Ottimizzazione: Ottimizzatore Adam con pianificazione ReduceLROnPlateau e Arresto Anticipato.
  • Divisione dei Dati: 80% addestramento, 10% validazione, 10% test (stratificato per emozione).

3. Contributi Chiave

1. Modulo di Preprocessing: Una pipeline di pulizia robusta con un dizionario di gergo specializzato da 140 voci, adattato per l'e-commerce indonesiano.
2. Benchmark AutoML: Una valutazione completa dei modelli ML classici utilizzando TF-IDF e PyCaret, fornendo baseline serializzate.
3. Framework di Deep Learning Multi-Task: Implementazione di quattro architetture neurali distinte (3 varianti BiLSTM e 1 TextCNN) che condividono un singolo encoder per la previsione congiunta di sentiment/emozioni.
4. Registro Build-Factory: Una struttura di codice modulare (src/model.py) che permette un facile passaggio tra le configurazioni dei modelli tramite un'unica chiave stringa.
5. Deployment Pubblico: Due applicazioni interattive Gradio distribuite su Hugging Face Spaces per le demo sia ML che DL, con il codice sorgente disponibile su GitHub.

4. Risultati

Classificazione del Sentiment (Binaria: Positivo/Negativo)

• Vincitore: TF-IDF + Miglior AutoML (nello specifico un modello classico dalla scansione PyCaret).
• Prestazioni: Ha raggiunto 0,9574 in Accuratezza, Precisione, Recall e F1-score.
• Prestazioni Deep Learning: La Baseline BiLSTM è stata il modello DL più forte ma ha mostrato un ritardo significativo (F1 ~0,86).
• Insight: Per il sentiment binario in questo dominio, le caratteristiche basate sulla frequenza (TF-IDF) combinate con classificatori classici superano i modelli sequenziali profondi, probabilmente a causa di forti indizi di polarità lessicale.

Classificazione delle Emozioni (5 Classi: Felice, Triste, Paura, Amore, Rabbia)

• Vincitore: TextCNN.
• Prestazioni: Ha raggiunto 0,5399 di Accuratezza e 0,5077 Macro-F1.
• Deep Learning vs Classico: I modelli di deep learning hanno superato significativamente la baseline TF-IDF/AutoML (che ha ottenuto ~0,24 Macro-F1).
• Insight: La classificazione delle emozioni è più difficile del sentiment. Il successo di TextCNN suggerisce che le caratteristiche locali n-gram catturate dai filtri convoluzionali sono più efficaci delle dipendenze sequenziali per distinguere le sfumature emotive sottili nelle brevi recensioni indonesiane.
• Analisi degli Errori: La confusione è massima tra classi semanticamente adiacenti (es. Paura vs Triste, Amore vs Felice).

5. Significato e Conclusione

• Utilità Pratica: Lo studio dimostra che, sebbene il deep learning sia essenziale per la rilevazione complessa delle emozioni, il ML classico rimane altamente competitivo per l'analisi del sentiment binario in testi indonesiani rumorosi e informali.
• Rigor Metodologico: Il paper fornisce un benchmark riproducibile per l'NLP indonesiano, evidenziando la necessità di un preprocessing specifico per il dominio (normalizzazione del gergo) prima dell'addestramento del modello.
• Disponibilità delle Risorse: Rilasciando codice, modelli e demo Hugging Face, gli autori abbassano la barriera per la ricerca futura nell'analisi dell'e-commerce indonesiano.
• Direzione Futura: I risultati suggeriscono che per i compiti di emozioni, gli approcci convoluzionali potrebbero essere più efficienti delle architetture ricorrenti pesanti, e che approcci ibridi o modelli basati su transformer (non testati qui) potrebbero essere il prossimo passo per un ulteriore miglioramento.