Benchmarking Logistic Regression, SVM, Naive Bayes, and IndoBERT Fine-Tuning for Sentiment Analysis on Indonesian Product Reviews

Riepilogo Tecnico: Benchmark di Regressione Logistica, SVM, Naive Bayes e IndoBERT per l'Analisi del Sentiment in Indoneo

Enunciato del Problema
La rapida espansione dell'e-commerce in Indonesia ha generato un volume massiccio di recensioni di prodotti non strutturate e generate dagli utenti. Analizzare il sentiment di queste recensioni è fondamentale per valutare la soddisfazione del cliente e identificare problemi sui prodotti su larga scala. Tuttavia, il testo indonesiano presenta sfide uniche, tra cui ortografia informale, slang, punteggiatura incoerente ed espressioni contestuali. Inoltre, i dati reali dei marketplace presentano uno squilibrio di classe severo, dove le recensioni positive superano di gran lunga i feedback neutri e negativi. Questo squilibrio complica l'addestramento dei modelli, portando spesso a metriche di accuratezza elevate che mascherano una scarsa performance sulle classi minoritarie. Il problema centrale affrontato è determinare se gli approcci tradizionali di Machine Learning (ML), che sono computazionalmente efficienti, possano superare o eguagliare i moderni modelli di Deep Learning basati su Transformer (in particolare IndoBERT) in questo contesto rumoroso, sbilanciato e specifico di dominio.

Metodologia
Lo studio implementa un framework di benchmark comparativo utilizzando il dataset Tokopedia Product Reviews 2025, che contiene decine di migliaia di recensioni brevi e rumorose etichettate in tre classi: positif (positivo), netral (neutro) e negatif (negativo).

1. Pipeline di Preprocessing: È stata sviluppata una pipeline robusta per pulire il vernacolo dell'e-commerce indonesiano. I passaggi includevano la conversione del testo in minuscolo, la rimozione di URL e caratteri non alfanumerici (inclusi gli emoji), la normalizzazione degli spazi bianchi e la mappatura di etichette eterogenee su classi standardizzate.
2. Modelli di Base (ML Tradizionale): Sono stati implementati tre algoritmi utilizzando l'estrazione di caratteristiche TF-IDF con unigrammi e bigrammi ($ngram\_range=(1,2)$). Il vocabolario è stato limitato a 50.000 caratteristiche. I modelli includevano:
   • Regressione Logistica
   • Macchina a Vettori di Supporto Lineare (Linear SVC)
   • Naive Bayes Multinomiale
   • Gestione dello Squilibrio: I modelli lineari discriminativi hanno utilizzato class_weight="balanced" per penalizzare gli errori sulle classi minoritarie.
3. Modello di Deep Learning (IndoBERT): Lo studio ha effettuato il fine-tuning del modello indobenchmark/indobert-base-p1.
   • Architettura: Un encoder Transformer seguito da un testina di classificazione di sequenza, che elabora input fino a 256 token.
   • Gestione dello Squilibrio: È stata progettata una funzione di perdita personalizzata weighted cross-entropy, dove i pesi di classe ($W_c$) sono inversamente proporzionali alla frequenza di classe ($W_c = \frac{N}{C \times n_c}$).
   • Addestramento: Il modello è stato addestrato per 3 epoche con una dimensione del batch di 16, un tasso di apprendimento di $2 \times 10^{-5}$ e un rapporto di warmup di 0,1.
4. Discrepanza Sperimentale: Una nota metodologica critica riguarda la differenza nei regimi di dati. I modelli di base sono stati addestrati sull'intero dataset (65.335 record), mentre il modello IndoBERT è stato vincolato a un sottoinsieme stratificato (~1.800 record di addestramento) a causa di limitazioni computazionali.

Contributi Chiave
Il documento dettaglia cinque contributi specifici:

1. Una pipeline di preprocessing adattata tramite espressioni regolari per il testo rumoroso dell'e-commerce indonesiano.
2. Un benchmark completo delle basi TF-IDF (Regressione Logistica, LinearSVC, Naive Bayes).
3. Un'implementazione dettagliata del fine-tuning di IndoBERT con una perdita ponderata calcolata dinamicamente per affrontare lo squilibrio di classe.
4. Un'analisi quantitativa approfondita che confronta le prestazioni aggregate con le metriche sensibili alle classi.
5. Una strategia di deployment riproducibile utilizzando Gradio su Hugging Face Spaces.

Risultati
La valutazione ha utilizzato Accuratezza, Macro F1-score e Weighted F1-score. Contrariamente all'aspettativa che i modelli di Deep Learning superassero i metodi tradizionali, i risultati hanno mostrato che Linear SVC ha superato significativamente il modello IndoBERT fine-tuned in questo specifico setup sperimentale.

• Linear SVC: Ha raggiunto un'Accuratezza del 97,60% e un Macro F1-score di 0,5510.
• IndoBERT: Ha raggiunto un'Accuratezza dell'88,70% e un Macro F1-score di 0,5088.
• Altre Basi: La Regressione Logistica (94,36% Acc, 0,5164 Macro F1) e Naive Bayes (97,50% Acc, 0,3290 Macro F1) hanno anch'esse ottenuto prestazioni solide, sebbene Naive Bayes abbia faticato significativamente nel riconoscimento delle classi minoritarie.

L'analisi ha rivelato che, sebbene i modelli di base abbiano raggiunto un'alta accuratezza complessiva, hanno comunque faticato con le classi netral e negatif, confondendole spesso con la classe dominante positif. Tuttavia, il divario di prestazioni tra le basi e IndoBERT è stato attribuito principalmente al regime di campionamento dei dati: le basi hanno utilizzato l'intero corpus, mentre il Transformer è stato limitato a un piccolo sottoinsieme, impedendogli di sfruttare appieno le sue capacità di modellazione contestuale.

Significato e Affermazioni
Il documento afferma che per l'analisi del sentiment in indonesiano sulle recensioni di e-commerce, gli approcci tradizionali di Machine Learning (in particolare TF-IDF con Linear SVC) rimangono altamente efficaci e robusti, spesso superando i Transformer all'avanguardia quando i vincoli computazionali limitano i dati di addestramento per questi ultimi.

Gli autori sottolineano che il "vantaggio Transformer" non è automatico; dipende fortemente dal volume dei dati, dall'equilibrio delle classi e da setup di valutazione equi. Lo studio conclude che, sebbene IndoBERT offra una modellazione contestuale teorica superiore, le sue prestazioni empiriche in questo studio sono state limitate dal sottoinsieme di addestramento ristretto. Di conseguenza, per applicazioni che danno priorità alla velocità e a prestazioni di base robuste, TF-IDF con Linear SVC è presentato come una soluzione altamente fattibile. Il documento sostiene che la ricerca futura garantisca confronti equi addestrando tutti i modelli su divisioni di dati identici su larga scala e impiegando strategie avanzate consapevoli dello squilibrio per migliorare il riconoscimento delle classi minoritarie.