Hybrid TF--IDF Logistic Regression and MLP Neural Baseline for Indonesian Three-Class Sentiment Analysis on Social Media Text

Riepilogo Tecnico: Regressione Logistica Ibrida TF–IDF e Baseline MLP per l'Analisi del Sentiment a Tre Classi in Indonesiano

Enunciato del Problema
Questo studio affronta la sfida dell'analisi del sentiment per testi dei social media in indonesiano, un dominio caratterizzato da contenuti generati dagli utenti rumorosi, misti a codici, abbreviati e semanticamente ambigui. Sebbene la letteratura recente privilegi spesso grandi modelli transformer, questo articolo sostiene che, per dataset piccoli, sbilanciati e a risorse limitate, la necessità immediata è una pipeline riproducibile, interpretabile e pronta per il deployment, piuttosto che una maggiore complessità architetturale. Il compito specifico consiste nel mappare un dataset di 191 etichette emotive granulari in tre classi operative: positivo, negativo e neutro. Le principali difficoltà identificate sono lo sbilanciamento severo delle classi (dominato da istanze positive), l'ambiguità semantica introdotta dalla compressione delle etichette (ad esempio, mappare "sorpresa" o "amaro-dolce" in una singola classe) e i limiti delle piccole dimensioni campionarie per l'apprendimento profondo.

Metodologia
Gli autori propongono un approccio orientato alla produzione che confronta una baseline di machine learning classico con una baseline neurale leggera, entrambe che utilizzano uno spazio di caratteristiche ibrido identico.

• Preprocessing dei Dati: Il dataset grezzo (732 righe) è stato pulito per rimuovere duplicati e testi vuoti, risultando in 707 campioni. Il preprocessing ha incluso la conversione in minuscolo, la rimozione di URL e menzioni, la normalizzazione del leetspeak e l'espansione dello slang indonesiano (ad esempio, gak in tidak). Crucialmente, le 191 etichette emotive originali sono state rimappate nelle tre classi target, un processo che ha introdotto rumore semantico.
• Ingegneria delle Caratteristiche: Il sistema impiega una rappresentazione ibrida che combina:
  1. Caratteristiche Testuali: Vettori TF–IDF che utilizzano unigrammi e bigrammi (massimo 3.000 caratteristiche, scalatura della frequenza dei termini sublineare).
  2. Metadati Numerici: Tre caratteristiche standardizzate derivate dal testo e dai dati di engagement: conteggio delle parole, engagement totale (like + ritwitt) e conteggio degli hashtag.
• Modelli:
  • Modello di Produzione: Un classificatore di Regressione Logistica multinomiale addestrato con class_weight=balanced per mitigare lo sbilanciamento, utilizzando una suddivisione stratificata 80/20.
  • Baseline Neurale: Un Perceptron Multistrato (MLP) con due strati nascosti (256, 64 neuroni), attivazione ReLU e ottimizzazione Adam. È stato addestrato sullo stesso vettore di caratteristiche ibrido esatto per isolare l'effetto dell'architettura del classificatore piuttosto che della rappresentazione delle caratteristiche.
  • Baseline Comparative: Lo studio ha inoltre preservato i risultati per SVM Lineare e Random Forest per il benchmarking.

Contributi Chiave
Il paper apporta tre contributi specifici:

1. Workflow Riproducibile: Formalizza una pipeline end-to-end per l'analisi del sentiment a tre classi in indonesiano, coprendo la pulizia, la rimappatura delle etichette, la costruzione di caratteristiche ibride e l'inferenza pronta per il deployment.
2. Confronto Controllato: Valuta un modello lineare classico e una rete neurale superficiale sotto la stessa rappresentazione di input, fornendo un confronto controllato tra famiglie di classificatori in un contesto a risorse limitate.
3. Insight Metodologico: Evidenzia le implicazioni della compressione delle etichette e dello sbilanciamento dei dati, dimostrando che un preprocessing accurato e un'ingegneria delle caratteristiche interpretabile possono rimanere competitivi rispetto agli approcci neurali per dataset piccoli.

Risultati
Gli esperimenti sono stati condotti su un set di test tenuto da parte (142 campioni) utilizzando accuratezza, F1 pesato e F1 macro come metriche.

• Regressione Logistica (Produzione): Ha raggiunto un'accuratezza di 0,8028, un F1 pesato di 0,8003 e un F1 macro di 0,7276. Ha ottenuto i risultati migliori sulla classe maggioritaria "positiva" ma ha faticato con la classe minoritaria "neutra" a causa dell'ambiguità semantica e del basso numero di campioni.
• Baseline MLP: Ha ottenuto un'accuratezza più elevata (0,8451) e un F1 pesato (0,8304), ma non ha superato significativamente la Regressione Logistica nel F1 macro (0,7263). Ciò suggerisce che, sebbene il modello neurale abbia migliorato le prestazioni sulle classi maggioritarie, non ha risolto l'ambiguità delle classi minoritarie.
• SVM Lineare: Ha registrato la performance più alta tra tutti i modelli preservati (accuratezza 0,8521, F1 macro 0,7553), sebbene non sia stato selezionato come modello di produzione principale.
• Random Forest: Ha ottenuto risultati sostanzialmente peggiori, in particolare nel F1 macro (0,4821), indicando un pregiudizio verso la classe maggioritaria.

Significato e Affermazioni
Il paper afferma con modestia che, per dataset compatti di sentiment in indonesiano, una pipeline classica accuratamente ingegnerizzata rimane una scelta altamente efficace e preferibile per ambienti di produzione. Lo studio sostiene che la Regressione Logistica offre un compromesso pragmatico: è più facile da serializzare, interpretare e riaddestrare rispetto ai modelli neurali, fornendo al contempo output probabilistici stabili.

Gli autori concludono che, sebbene le baseline neurali (e l'SVM Lineare) offrano potenzialità per una maggiore accuratezza, i guadagni sono spesso guidati dalle prestazioni sulla classe maggioritaria piuttosto che dalla risoluzione della sfida centrale dell'ambiguità delle classi minoritarie. Pertanto, la baseline neurale è meglio trattata come un esperimento comparativo piuttosto che come il modello di deployment predefinito. Lo studio sottolinea che, in contesti a risorse limitate, la qualità del preprocessing, della rimappatura delle etichette e del bilanciamento delle classi è spesso più critica della scelta di un'architettura di modello complessa. Si suggerisce che il lavoro futuro includa la validazione incrociata, l'analisi qualitativa degli errori e il test di modelli contestuali più potenti come IndoBERT, ma il lavoro corrente stabilisce una baseline robusta e interpretabile.