Benchmarking Logistic Regression, SVM, and LightGBM Against BiLSTM with Attention for Sentiment Analysis on Indonesian Product Reviews

1. Enunciato del Problema

La rapida espansione dell'e-commerce in Indonesia ha generato enormi quantità di dati testuali non strutturati sotto forma di recensioni di prodotti. L'analisi manuale di queste recensioni è inefficiente e soggetta a bias. Sebbene l'analisi del sentiment automatizzata tramite l'elaborazione del linguaggio naturale (NLP) sia una soluzione standard, rimane una sfida significativa: le recensioni di prodotti indonesiane sono caratterizzate da linguaggio colloquiale, slang (bahasa gaul), abbreviazioni e strutture frasali irregolari.

La domanda di ricerca principale affronta un'assunzione comune nell'NLP: che le architetture di Deep Learning (DL) superino intrinsecamente i metodi tradizionali di Machine Learning (ML) sui dati testuali. Questo studio mira a verificare empiricamente se modelli sequenziali complessi (come BiLSTM) siano necessari per l'analisi del sentiment in indonesiano o se approcci ML tradizionali ottimizzati possano ottenere risultati comparabili o superiori con maggiore efficienza.

2. Metodologia

Dataset

• Fonte: Recensioni di prodotti indonesiane pubblicamente disponibili su Hugging Face Datasets.
• Dimensione: 19.728 campioni, perfettamente bilanciati tra le classi Positive e Negative.
• Divisione: 80% Addestramento (15.782 campioni) e 20% Test tenuto da parte (3.946 campioni).

Pipeline di Preprocessing

È stato applicato un rigoroso passaggio di preprocessing per gestire le sfumature linguistiche dell'indonesiano:

1. Case Folding: Conversione in minuscolo.
2. Pulizia: Rimozione di URL, tag HTML, menzioni, hashtag, punteggiatura e numeri.
3. Normalizzazione dello Slang: Mappatura delle parole informali nelle forme standard dell'indonesiano utilizzando un dizionario curato (es. bgt $\to$ banget).
4. Tokenizzazione e Filtraggio: Divisione per spazi bianchi e rimozione dei token più corti di 2 caratteri.

Approcci Confrontati

A. Pipeline di Machine Learning (ML) (PyCaret AutoML)

• Estrazione delle Caratteristiche: Vettorizzazione TF-IDF con $N=5000$ caratteristiche, utilizzando unigrammi e bigrammi ($ngram\_range=(1,2)$).
• Algoritmi Valutati:
  1. Regressione Logistica (LR): Stima lineare.
  2. Macchina a Vettori di Supporto (SVM): Kernel lineare.
  3. LightGBM: Alberi decisionali di gradient boosting.
• Validazione: Validazione incrociata stratificata a 10 fold.

B. Pipeline di Deep Learning (DL) (PyTorch)

• Architettura: Memoria a lungo termine bidirezionale (BiLSTM) con un meccanismo di Attenzione.
• Componenti:
  • Layer di Embedding (Dimensione vocabolario: 13.600; Dim: 64).
  • Due layer BiLSTM (Dimensione nascosta: 128 ciascuno).
  • Layer di Attenzione (Somma pesata con Softmax degli stati nascosti).
  • Testa del Classificatore (Lineare $\to$ ReLU $\to$ Dropout $\to$ Output).
• Addestramento: Addestrato da zero (nessun embedding pre-addestrato) utilizzando PyTorch. Gli iperparametri sono stati ottimizzati tramite Optuna (miglior tentativo: LR=0.0038, Batch=128).
• Validazione: Valutato sul set di test tenuto da parte.

3. Contributi Chiave

1. Confronto Empirico Rigoroso: Fornisce un benchmark diretto tra algoritmi ML guidati da AutoML e un'architettura DL personalizzata su un dataset indonesiano specifico e impegnativo.
2. Sfida al Dominio del DL: Dimostra che, per compiti di classificazione binaria bilanciata ad alta dimensionalità, i modelli lineari classici (in particolare la Regressione Logistica) possono superare marginalmente i complessi modelli sequenziali DL.
3. Riproducibilità: Lo studio offre una pipeline sperimentale completamente riproducibile, incluso il codice distribuito su Hugging Face Spaces, facilitando ulteriori ricerche nell'NLP indonesiano.

4. Risultati

Prestazioni del Machine Learning (CV a 10 Fold)

• Regressione Logistica: Ha raggiunto le prestazioni più elevate con 97,26% di Accuratezza e 97,26% di F1-Score.
• SVM (Lineare): Seconda classificata con 97,17% di Accuratezza.
• LightGBM: 96,43% di Accuratezza.
• Osservazione: Tutti i modelli ML hanno mostrato punteggi AUC > 0,993, indicando un potere discriminatorio quasi perfetto.

Prestazioni del Deep Learning (Test Tenuto da Parte)

• BiLSTM + Attenzione: Ha raggiunto 97,24% di Accuratezza e 97,24% di F1-Score sul set di test.
• Matrice di Confusione: Predizioni altamente simmetriche (1.919 Vero Positivi vs 1.918 Vero Negativi), indicando che il meccanismo di Attenzione ha prevenuto con successo il bias di classe.

Confronto Diretto

Approccio	Miglior Modello	Accuratezza	F1-Score
Machine Learning	Regressione Logistica	97,26%	97,26%
Deep Learning	BiLSTM + Attenzione	97,24%	97,24%

5. Significato e Discussione

• Separabilità Lineare: I risultati suggeriscono che lo spazio delle caratteristiche TF-IDF (5.000 dimensioni) rende i dati del sentiment indonesiano linearmente separabili. In tali scenari, la complessità aggiuntiva delle reti neurali ricorrenti e dei meccanismi di attenzione produce rendimenti decrescenti.
• Efficienza Computazionale: L'approccio ML offre un vantaggio significativo in termini di velocità e utilizzo delle risorse. Ad esempio, l'addestramento SVM ha richiesto solo ~6,5 secondi per fold, mentre il modello DL ha richiesto accelerazione GPU e più epoche per convergere.
• Implicazioni Pratiche: Per i sistemi di produzione che richiedono bassa latenza e alta interpretabilità, la pipeline di Regressione Logistica basata su PyCaret è raccomandata rispetto ai complessi modelli DL per questo compito specifico.
• Direzioni Future: Gli autori suggeriscono di estendere questo lavoro all'analisi del sentiment multiclasse (incluso "Neutrale") e di testare modelli Transformer pre-addestrati (es. IndoBERT), che potrebbero performare meglio su compiti linguistici più complessi o dataset sbilanciati.

Conclusione:
Il paper conclude che, sebbene il Deep Learning rimanga potente, non è universalmente superiore. Per l'analisi del sentiment binaria bilanciata e ad alto volume delle recensioni di prodotti indonesiane, una pipeline ML tradizionale ben ingegnerizzata che utilizza AutoML non è solo competitiva, ma leggermente superiore in termini di accuratezza e significativamente più efficiente.