Classification of Public Opinion on the Free Nutritional Meal Program on YouTube Media Using the LSTM Method

1. Enunciato del Problema

Lo studio affronta la sfida di analizzare in modo efficiente la percezione pubblica riguardante il Programma di Pasti Nutritivi Gratuiti (MBG), un'iniziativa governativa in Indonesia volta a migliorare la nutrizione infantile. Sebbene piattaforme di social media come YouTube generino enormi quantità di dati testuali in tempo reale che riflettono l'opinione pubblica, l'analisi manuale di questi commenti è non fattibile a causa del volume e della natura non strutturata.

• Problema Centrale: È necessario un approccio automatizzato e guidato dai dati per classificare i sentimenti (Positivo, Negativo, Neutro) al fine di valutare l'accettazione delle politiche.
• Sfida Specifica: Il dataset presenta uno squilibrio di classe severo, con sentimenti negativi che dominano i dati (87,7%), il che tipicamente distorce i modelli di machine learning e ostacola il rilevamento delle classi minoritarie (sentimenti positivi).

2. Metodologia

La ricerca impiega un approccio quantitativo utilizzando l'Elaborazione del Linguaggio Naturale (NLP) e il Deep Learning. Il flusso di lavoro consiste nelle seguenti fasi:

A. Raccolta Dati

• Fonte: Commenti estratti da due canali YouTube che discutono del programma MBG.
• Volume: È stato raccolto un totale di 7.733 commenti.
• Distribuzione: 5.629 commenti negativi (87,7%) e 790 commenti positivi (12,3%). Nota: Lo studio si concentra sulla classificazione binaria (Positivo vs Negativo).

B. Pipeline di Preprocessing

Il testo grezzo ha subito un rigoroso processo di pulizia per prepararlo alla modellazione:

1. Case Folding: Conversione in minuscolo.
2. Pulizia: Rimozione di URL, menzioni, hashtag, numeri e caratteri speciali.
3. Normalizzazione: Standardizzazione dello slang e delle parole non standard in lingua indonesiana.
4. Tokenizzazione: Divisione del testo in singole parole.
5. Rimozione delle Stopword: Eliminazione di parole non significative utilizzando la libreria NLTK.
6. Stemming: Riduzione delle parole alle loro forme radicali utilizzando la libreria Sastrawi (specifico per l'indonesiano).

C. Rappresentazione delle Caratteristiche

• Tokenizzazione e Padding: Il testo è stato convertito in indici interi. Le sequenze sono state riempite (padded) per garantire una lunghezza uniforme per l'elaborazione in batch.
• Embedding: Le parole sono state mappate in vettori a 128 dimensioni.

D. Architettura del Modello

Lo studio ha utilizzato reti Long Short-Term Memory (LSTM), scelte per la loro capacità di catturare dipendenze a lungo termine e contesto sequenziale nel testo, superando le tradizionali RNN.

• Architettura:
  • Livello di Embedding: 128 dimensioni.
  • Livello LSTM: Dimensione nascosta di 128 con un tasso di dropout di 0,3.
  • Livello Dropout: Tasso di 0,5 per prevenire l'overfitting.
  • Livello Fully Connected (FC): 2 neuroni di output.
  • Livello di Output: Attivazione Softmax per la classificazione binaria.
• Iperparametri:
  • Ottimizzatore: Adam (Learning Rate: 0,0005).
  • Funzione di Perdita: CrossEntropyLoss.
  • Addestramento: 20 Epoche, Dimensione del Batch 16.
  • Parametri Totali: ~2,23 milioni.
• Confronto con Baseline: Il modello LSTM è stato confrontato con algoritmi tradizionali di machine learning: SVM, Regressione Logistica e Naive Bayes.

E. Metriche di Valutazione

Le prestazioni sono state valutate utilizzando una matrice di confusione e le seguenti metriche:

• Accuratezza: Correttezza complessiva.
• Precisione, Recall e F1-Score: Analizzati specificamente per affrontare il problema dello squilibrio di classe.

3. Risultati Chiave

Il modello LSTM ha dimostrato prestazioni complessive solide ma ha rivelato disparità significative tra le classi a causa dello squilibrio dei dati.

• Accuratezza Complessiva: 89% sul set di test (963 campioni).
• Prestazioni della Classe Negativa (Classe di Maggioranza):
  • F1-Score: 0,94
  • Precisione: 0,94
  • Recall: 0,93
  • Interpretazione: Il modello è altamente efficace nell'identificare i sentimenti negativi.
• Prestazioni della Classe Positiva (Classe di Minoranza):
  • F1-Score: 0,55
  • Precisione: 0,54
  • Recall: 0,57
  • Interpretazione: Il modello fatica a rilevare i sentimenti positivi, classificandoli spesso erroneamente come negativi (Falsi Negativi).
• Dinamiche di Addestramento: Il modello ha raggiunto un'accuarezza di addestramento del 98,26% e un'accuarezza di validazione dell'88,99%, con una perdita che è diminuita costantemente da 0,68 a 0,1225 nel corso di 20 epoche.

4. Contributi Chiave

1. Quadro di Valutazione delle Politiche: Fornisce un quadro scalabile e automatizzato per il governo indonesiano per valutare la ricezione pubblica del programma MBG utilizzando dati dai social media.
2. Efficacia dell'LSTM sul Testo Indonesiano: Convalida che le architetture LSTM sono altamente efficaci per l'analisi dei sentimenti nella lingua indonesiana, in particolare per catturare il contesto nei commenti informali dei social media.
3. Evidenza Empirica dell'Impatto dello Squilibrio: Lo studio quantifica esplicitamente come lo squilibrio di classe severo (87,7% negativo) degradi le prestazioni dei modelli di deep learning sulle classi minoritarie, offrendo un caso di studio cautelativo per futuri progetti di analisi dei sentimenti.
4. Analisi Comparativa: Conferma che il deep learning (LSTM) supera i metodi tradizionali (SVM, Naive Bayes) nella gestione della natura sequenziale del testo dei social media, nonostante lo squilibrio dei dati.

5. Significato e Direzioni Future

• Significato: La ricerca evidenzia che, sebbene il deep learning sia potente, non è una "bacchetta magica" per dataset sbilanciati. L'alta accuratezza (89%) maschera l'incapacità del modello di ascoltare la "voce positiva" del pubblico, che è fondamentale per una valutazione equilibrata delle politiche.
• Limitazioni: La limitazione principale è lo squilibrio dei dati, che porta a un pregiudizio verso la classe negativa.
• Raccomandazioni Future:
  • Bilanciamento dei Dati: Applicare tecniche come SMOTE (Synthetic Minority Over-sampling Technique) o pesatura delle classi durante l'addestramento.
  • Raccolta Dati: Cercare attivamente più dati di sentimento positivo per bilanciare il dataset.
  • Aggiornamento dell'Architettura: Esplorare architetture avanzate come Bi-LSTM (LSTM Bidirezionale) o modelli ibridi CNN-LSTM per migliorare ulteriormente l'estrazione delle caratteristiche e il rilevamento delle classi minoritarie.

In conclusione, il documento dimostra con successo l'utilità dell'LSTM per l'analisi dei sentimenti in indonesiano, ma sottolinea la necessità critica di affrontare lo squilibrio dei dati per garantire un monitoraggio equo e completo dell'opinione pubblica.