Sentiment Analysis of AI Adoption in Indonesian Higher Education Using Machine Learning and Transformer-Based Models

1. Enunciato del Problema

La rapida adozione dell'Intelligenza Artificiale (IA) nell'istruzione superiore indonesiana ha generato un complesso mix di opinioni studentesche, che spaziano dal sostegno all'efficienza dell'apprendimento alle preoccupazioni riguardanti l'integrità accademica, la dipendenza eccessiva e l'erosione delle capacità di pensiero critico.

• Il Divario: Sebbene l'analisi del sentimento sia uno strumento standard per valutare l'opinione pubblica, mancano studi comparativi che valutino l'efficacia del machine learning (ML) classico rispetto al deep learning basato su Transformer specificamente per il testo in lingua indonesiana nel contesto dell'adozione dell'IA nell'istruzione.
• L'Obiettivo: Analizzare sistematicamente le opinioni degli studenti indonesiani sull'IA e determinare quale approccio di modellazione (ML basato su TF-IDF vs DL basato su Transformer) offre prestazioni superiori per la classificazione binaria del sentimento (Positivo vs Negativo) in questo specifico dominio.

2. Metodologia

A. Costruzione del Dataset

• Fonte: Lo studio ha utilizzato un dataset ibrido che combina 1.154 opinioni grezze degli studenti sull'IA nell'istruzione superiore con 1.141 campioni da un dizionario lessicale positivo/negativo.
• Dimensione Totale: 2.295 campioni etichettati.
• Distribuzione delle Classi: Il dataset è quasi bilanciato:
  • Negativo: 1.158 campioni (50,46%)
  • Positivo: 1.137 campioni (49,54%)
• Preprocessing: La pulizia del testo ha incluso la conversione in minuscolo, la rimozione di URL, menzioni, hashtag e punteggiatura, la normalizzazione delle parole non standard e la gestione dei caratteri ripetuti.

B. Flusso di Lavoro Sperimentale

I dati sono stati suddivisi in un rapporto 80:10:10 per gli insiemi di Addestramento, Validazione e Test. Sono state implementate due pipeline distinte:

1. Pipeline di Machine Learning (Baseline)

• Estrazione delle Caratteristiche: Il testo è stato convertito in vettori TF-IDF utilizzando unigrammi e bigrammi.
• Modelli Valutati:
  • LightGBM: Un ensemble di boosting (configurato con n_estimators=100, max_depth=10).
  • Random Forest: Un ensemble parallelo (configurato con n_estimators=100, max_depth=20).
  • Support Vector Machine (SVM): Un classificatore basato su kernel che utilizza un kernel RBF (C=1.0).
• Selezione: I modelli sono stati selezionati in base all'accuratezza di validazione, scegliendo l'SVM come miglior rappresentante ML per il confronto finale.

2. Pipeline di Deep Learning (Transformer)

• Modello: DistilBERT (distilbert-base-uncased), una versione leggera e distillata di BERT progettata per mantenere le prestazioni riducendo i costi computazionali.
• Architettura: Encoder a sei livelli con meccanismi di auto-attenzione.
• Configurazione:
  • Lunghezza massima della sequenza: 128 token.
  • Dimensione del batch: 64.
  • Ottimizzatore: AdamW con un tasso di apprendimento di $1 \times 10^{-6}$.
  • Regularizzazione: Dropout (0,5), Weight Decay (0,001).
  • Addestramento: 100 epoche con Early Stopping (patience=5) basato sul punteggio F1 di validazione.

C. Metriche di Valutazione

Le prestazioni sono state valutate utilizzando Accuratezza, Precisione, Recall e F1-score.

3. Risultati Chiave

A. Prestazioni del Machine Learning

• LightGBM: Ha performato male (Accuratezza di Test: 49,67%, F1: 48,46%), indicando difficoltà con le caratteristiche TF-IDF sparse e ad alta dimensionalità in questo contesto.
• Random Forest: Ha mostrato un miglioramento moderato (Accuratezza di Test: 58,61%, F1: 56,48%) ma è rimasto inferiore all'SVM.
• SVM: È emerso come il miglior modello ML classico.
  • Accuratezza di Validazione: 87,25%
  • Accuratezza di Test: 82,14%
  • F1-Score di Test: 82,14%
  • Osservazione: L'SVM ha dimostrato robustezza nella gestione di dati testuali ad alta dimensionalità, classificando correttamente 377 su 459 campioni di test.

B. Prestazioni del Transformer (DistilBERT)

• Accuratezza di Test: 84,78%
• F1-Score di Test: 84,75% (Ponderato)
• Scomposizione per Classe:
  • F1 Classe Negativa: 0,8548
  • F1 Classe Positiva: 0,8402
• Osservazione: DistilBERT ha mostrato un leggero bias verso una recall più alta sui campioni negativi, ma ha mantenuto una precisione equilibrata tra le classi. La perdita di addestramento (0,28) e la perdita di validazione (0,36) indicavano una buona generalizzazione senza overfitting severo.

C. Analisi Comparativa

• Divario di Prestazioni: DistilBERT ha superato il miglior modello ML (SVM) del 2,64% in accuratezza e del 2,61% in F1-score.
• Compromesso sull'Efficienza:
  • SVM: Tempo di addestramento estremamente rapido (0,210s).
  • DistilBERT: Tempo di addestramento significativamente più lungo (22,8 minuti) a causa dell'elaborazione intensiva per GPU.
• Conclusione sui Modelli: Sebbene i Transformer catturino un contesto semantico più ricco portando a una maggiore accuratezza, l'SVM rimane un'alternativa altamente competitiva e a basso costo per la classificazione efficiente del sentimento.

4. Contributi Chiave

1. Analisi Specifica al Contesto: Fornisce prove empiriche su come gli studenti universitari indonesiani percepiscono l'adozione dell'IA, colmando un vuoto nella letteratura locale di NLP.
2. Confronto Metodologico: Offre un benchmark rigoroso che confronta gli approcci tradizionali TF-IDF/SVM con i moderni modelli basati su Transformer (DistilBERT) per il testo educativo indonesiano.
3. Creazione del Dataset: Ha curato e processato un dataset bilanciato di 2.295 campioni indonesiani focalizzati specificamente sull'IA nell'istruzione superiore.
4. Implementazione Pratica: Il modello migliore (DistilBERT) è stato implementato come applicazione web interattiva utilizzando Gradio e Hugging Face Spaces, consentendo previsioni del sentimento in tempo reale con punteggi di confidenza.

5. Significato e Lavori Futuri

• Significato: Lo studio convalida che, sebbene i modelli di deep learning (Transformer) offrano una superiorità di accuratezza grazie alla comprensione del contesto, i modelli classici come l'SVM rimangono vitali per ambienti con risorse limitate. Questo aiuta le istituzioni educative a scegliere strumenti appropriati per la formulazione di politiche basate sul feedback degli studenti.
• Prospettive Future:
  • Espansione della dimensione del dataset.
  • Introduzione di una classe neutrale per una classificazione a tre vie.
  • Utilizzo di modelli pre-addestrati specifici per l'indonesiano (es. IndoBERT) invece di distilbert-base-uncased centrato sull'inglese.
  • Esecuzione di un'analisi del sentimento basata su aspetti per identificare preoccupazioni specifiche (es. integrità vs. efficienza dell'apprendimento) piuttosto che la sola polarità generale.