Benchmarking PyCaret AutoML Against IndoBERT Fine-Tuning for Sentiment Analysis on Indonesian IKN Twitter Data

1. Enunciato del Problema

Il trasferimento della capitale dell'Indonesia a Ibu Kota Nusantara (IKN) ha generato un significativo discorso pubblico sui social media, in particolare su Twitter/X. Comprendere il sentimento pubblico verso questa politica è cruciale per i decisori politici e i ricercatori. Tuttavia, l'analisi di questi dati presenta sfide specifiche:

• Complessità Linguistica: I dati consistono in testi informali in lingua indonesiana contenenti gergo, abbreviazioni e strutture frasali variabili.
• Vincoli di Risorse: Gli approcci tradizionali di Machine Learning (ML) spesso faticano con le sfumature contestuali nelle lingue a risorse limitate rispetto ai modelli di Deep Learning (DL).
• Divario Metodologico: C'è la necessità di confrontare empiricamente l'efficienza e l'efficacia dei framework di ML automatizzato (AutoML) rispetto ai modelli basati su Transformer all'avanguardia specificamente per il sentiment analysis sui social media indonesiani.

2. Dataset

• Fonte: Commenti su Twitter/X in lingua indonesiana relativi all'IKN.
• Dimensione: 1.472 campioni etichettati manualmente.
• Classi: Classificazione binaria (Positivo: 692 campioni, 47%; Negativo: 780 campioni, 53%).
• Caratteristiche: Il testo è breve (lunghezza media ~50 caratteri) e informale.
• Preprocessing: Ha incluso la conversione in minuscolo, la rimozione dei valori mancanti (NaN) e il calcolo delle caratteristiche di lunghezza del testo. I dati sono stati suddivisi in set di Addestramento (70%), Validazione (15%) e Test (15%) utilizzando il campionamento stratificato.

3. Metodologia

Lo studio ha adottato un approccio a doppio flusso per il benchmarking delle prestazioni:

A. Flusso di Machine Learning (AutoML)

• Framework: PyCaret (v3.x), una libreria AutoML open-source.
• Estrazione delle Caratteristiche: Vettorizzazione TF-IDF automatica dalla colonna del testo.
• Algoritmi Valutati:
  1. Regressione Logistica (LR)
  2. Naive Bayes (NB)
  3. Macchina a Vettori di Supporto (SVM) con kernel lineare.
• Processo:
  • Validazione incrociata stratificata a 10 fold per la valutazione iniziale.
  • Ottimizzazione degli iperparametri utilizzando Optuna (10 candidati) sul modello con le prestazioni migliori.
  • Finalizzazione del modello.
• Hardware: CPU Intel Core i5 (Python 3.9).

B. Flusso di Deep Learning (Fine-Tuning di IndoBERT)

• Modello: indobenchmark/indobert-base-p1 (111M di parametri, 12 livelli Transformer).
• Framework: PyTorch con Hugging Face Transformers.
• Architettura: Testa di classificazione BERT standard aggiunta al token [CLS].
• Iperparametri:
  • Lunghezza Massima: 128 token.
  • Dimensione del Batch: 16.
  • Epoche: 5.
  • Ottimizzatore: AdamW (LR: $2 \times 10^{-5}$, decadimento del peso: 0,01).
  • Programmatore di apprendimento: Riscaldamento lineare (10%) seguito da decadimento lineare.
  • Limitazione del Gradiente: Norma massima 1,0.
• Hardware: Stessa CPU Intel Core i5 (nessuna accelerazione GPU utilizzata).

4. Contributi Chiave

1. Creazione del Dataset: Un dataset curato e etichettato manualmente di 1.472 tweet indonesiani riguardanti il sentiment sull'IKN.
2. Benchmarking AutoML: Una valutazione completa di tre algoritmi ML classici (LR, NB, SVM) utilizzando il flusso automatizzato di PyCaret.
3. Implementazione Transformer: Un'implementazione completa del fine-tuning di IndoBERT per l'analisi del sentiment binario su questo specifico dominio.
4. Analisi Comparativa: Un confronto diretto delle prestazioni che risponde alla domanda se il DL basato su Transformer superi il ML classico per testi indonesiani informali, evidenziando i compromessi tra accuratezza e costo computazionale.
5. Riproducibilità: Lo studio ha utilizzato la codifica assistita da AI (Claude) per generare notebook riproducibili per i flussi EDA, PyCaret e PyTorch.

5. Risultati

Prestazioni di Machine Learning (PyCaret)

• Miglior Modello: Regressione Logistica.
• Metriche (CV a 10 Fold):
  • Accuratezza: 77,57%
  • Punteggio F1: 77,17%
  • AUC: 0,8563
• Altri Modelli: Naive Bayes ha raggiunto un'accuratezza di ~70,6%. La SVM Lineare iniziale ha performato male (52,72%) a causa dell'alta variazione lessicale nei testi informali, sebbene l'ottimizzazione l'abbia migliorata a ~71,2%.

Prestazioni di Deep Learning (IndoBERT)

• Miglior Modello: IndoBERT (Fine-tuned).
• Metriche (Set di Test):
  • Accuratezza: 89,59%
  • Punteggio F1 (Macro): 89,37%
  • Precisione/Recall: Alto recall per le classi Negativa (96%) e Positiva (83%).
• Osservazioni: Il modello ha mostrato segni di overfitting dopo la prima epoca (la perdita di validazione è aumentata mentre la perdita di addestramento è diminuita), un problema comune quando si effettuano fine-tuning su modelli grandi con dataset di dimensioni medie senza GPU.

Benchmark Comparativo

• Divario di Prestazioni: IndoBERT ha superato il miglior modello ML (Regressione Logistica) di 12,02 punti percentuali in accuratezza.
• Compromesso di Efficienza: Sebbene IndoBERT offrisse un'accuratezza superiore, richiedeva risorse computazionali e tempi di addestramento significativamente maggiori rispetto ai modelli ML leggeri.

6. Significato e Conclusione

• Superiorità del Contesto: Lo studio conferma che i modelli basati su Transformer (IndoBERT) sono significativamente superiori al ML classico per l'analisi del sentiment in indonesiano. Ciò è attribuito alla capacità di IndoBERT di catturare il contesto bidirezionale, gestire gergo/abbreviazioni tramite pre-addestramento e gestire meglio le parole Fuori Vocabolario (OOV) rispetto agli approcci bag-of-words TF-IDF.
• Implicazioni Pratiche:
  • Scenari ad Alto Rischio: Per applicazioni che richiedono la massima accuratezza (es. monitoraggio delle politiche), IndoBERT è la scelta consigliata nonostante i costi di risorse più elevati.
  • Scenari con Risorse Limitate: La Regressione Logistica tramite PyCaret rimane un'alternativa valida e pragmatica per il prototipaggio rapido o ambienti con potenza computazionale limitata, offrendo un'accuratezza rispettabile di ~77%.
• Direzioni Future: Gli autori suggeriscono di esplorare l'aumento dei dati per mitigare l'overfitting nei modelli DL e confrontare IndoBERT con architetture più leggere come DistilBERT o LSTM per trovare un equilibrio tra prestazioni ed efficienza.

Verdetto Finale: Per l'analisi del sentiment su testi indonesiani informali, il Deep Learning (IndoBERT) è il chiaro vincitore in termini di accuratezza, ma l'AutoML (PyCaret/Regressione Logistica) offre una solida e efficiente linea di base per scenari in cui le risorse computazionali sono limitate.