A Comparative Study of PyCaret AutoML and CNN-BiLSTM for Binary Hate Speech Detection in Indonesian Twitter

Riepilogo Tecnico: Uno Studio Comparativo tra PyCaret AutoML e CNN-BiLSTM per il Rilevamento Binario di Discorsi d'Odio su Twitter Indonesiano

Enunciato del Problema
Il documento affronta la sfida del rilevamento automatico dei discorsi d'odio su Twitter indonesiano. Il compito è caratterizzato da testi brevi, rumorosi e informali, in cui l'intento dannoso deriva spesso dal contesto, dalla negazione o dalla cornice pragmatica piuttosto che dalle sole offese esplicite. Gli autori mirano a determinare se un approccio di deep learning sensibile alle sequenze (CNN-BiLSTM) offra un vantaggio significativo rispetto a un ramo potenziato di machine learning convenzionale, quando entrambi vengono valutati in condizioni identiche di pre-elaborazione e benchmark. Lo studio utilizza l'etichetta di discorso d'odio (HS) dal corpus di Ibrohim e Budi [1], riformulando il dataset multietichetta in un problema di classificazione binaria controllato (Discorso d'Odio vs. Non-Discorso d'Odio).

Metodologia
Lo studio impiega un disegno di benchmark controllato in cui sia il ramo convenzionale che quello neurale condividono una pipeline di pre-elaborazione identica per garantire che le differenze di prestazione riflettano la capacità di modellazione piuttosto che incoerenze nella preparazione dei dati.

1. Dati e Pre-elaborazione:

   • Dataset: Un sottoinsieme di 13.130 tweet dal corpus di Ibrohim e Budi, con una distribuzione delle classi di circa il 58% di non-discorsi d'odio e il 42% di discorsi d'odio.
   • Pre-elaborazione: Include la trasformazione in minuscolo, la rimozione di URL/nomi utente, la normalizzazione dei simboli, la normalizzazione dello slang utilizzando mappature fornite dal corpus e la rimozione delle parole vuote (stopword).
   • Ingegneria delle Caratteristiche: Una caratteristica condivisa "conteggio delle parole offensive" è derivata dal lessico offensivo del corpus.

2. Ramo Convenzionale (PyCaret AutoML):

   • Rappresentazione: I tweet sono vettorizzati utilizzando TF-IDF (unigrammi e bigrammi, vocabolario massimo 5.000) concatenati con il conteggio delle parole offensive.
   • Flusso di Lavoro: PyCaret AutoML è utilizzato non come un singolo classificatore, ma come un livello di benchmarking per standardizzare il confronto tra più stimatori.
   • Modelli: Il flusso di lavoro valuta e classifica SVM lineare, Naive Bayes e Random Forest. Random Forest emerge come il candidato convenzionale più forte.

3. Ramo Neurale (CNN-BiLSTM):

   • Architettura: Un'architettura compatta progettata per testi brevi.
     • Embedding: Embedding di parole addestrabili a 100 dimensioni.
     • Livello CNN: Estrae modelli di frasi locali (dimensione del kernel 3) per catturare frammenti offensivi e intensificatori.
     • Livello BiLSTM: Codifica il contesto bidirezionale per interpretare gli indizi locali all'interno del testo circostante.
     • Output: Attivazione sigmoide per la probabilità binaria.
   • Addestramento: Ottimizzato con perdita di entropia incrociata binaria, utilizzando un tasso di apprendimento di $10^{-3}$, dimensione del batch di 64 e dropout di 0,2.

Contributi Chiave
Il documento apporta quattro contributi specifici:

1. Riformulazione del Benchmark: Converte il corpus multietichetta rilasciato in un benchmark binario controllato per i discorsi d'odio.
2. Baseline Convenzionale Operazionalizzata: Invece di una singola baseline debole, utilizza PyCaret AutoML per stabilire un benchmark convenzionale forte e sistematico.
3. Valutazione Neurale Compatta: Valuta un'architettura CNN-BiLSTM adattata specificamente per il testo contestuale indonesiano breve.
4. Interpretazione Completa: Analizza i risultati attraverso statistiche del corpus, curve di apprendimento e matrici di confusione per distinguere tra qualità della rappresentazione e stabilità dell'addestramento.

Risultati
Lo studio confronta i modelli su una divisione di test trattenuta del 20% (2.626 tweet).

• Metriche di Prestazione:

  • CNN-BiLSTM: Ha raggiunto un'Accuratezza dell'83,8%, una Precisione del 79,8%, un Richiamo del 82,7% e un F1-score dell'81,2%.
  • PyCaret-Random Forest (Convenzionale più forte): Ha raggiunto un'Accuratezza del 77,2%, una Precisione del 75,8%, un Richiamo del 78,3% e un F1-score del 77,0%.
  • PyCaret-SVM: 72,3% di Accuratezza (più debole).
  • PyCaret-Naive Bayes: 75,8% di Accuratezza.

• Guadagno Comparativo: Il ramo neurale ha migliorato l'accuratezza di 6,6 punti percentuali e l'F1-score di 4,2 punti percentuali rispetto al modello convenzionale più forte.

• Analisi degli Errori:

  • La CNN-BiLSTM ha mostrato segni di overfitting (la perdita di validazione è aumentata dopo le prime epoche), suggerendo che i guadagni potrebbero essere ulteriormente ottimizzati tramite early stopping e regolarizzazione.
  • La matrice di confusione ha indicato che il modello è piuttosto aggressivo ma equilibrato, con errori concentrati su casi borderline che coinvolgono ostilità implicita o riferimenti a gruppi piuttosto che token tossici espliciti.
  • Un compito ausiliario sul "linguaggio offensivo" (più ampio del discorso d'odio) ha mostrato curve di apprendimento più stabili, confermando che il rilevamento rigoroso dell'HS è un confine più difficile e dipendente dal contesto.

Significato e Affermazioni
Il documento conclude con una distinzione sfumata tra l'utilità dei due approcci:

1. PyCaret AutoML come Framework: Lo studio convalida PyCaret come un framework efficace per stabilire benchmark convenzionali forti e riproducibili. Dimostra che anche con una solida baseline lessicale (TF-IDF + conteggi offensivi) e ottimizzazione AutoML, il ramo convenzionale non può catturare appieno le sfumature dei discorsi d'odio indonesiani.
2. CNN-BiLSTM come Modello Finale Superiore: I risultati confermano che per questo specifico benchmark, l'architettura CNN-BiLSTM offre un vantaggio significativo. Gli autori attribuiscono ciò alla capacità del modello di catturare sia i modelli lessicali locali (tramite CNN) che le interazioni contestuali a breve raggio (tramite BiLSTM), che sono critiche per i tweet indonesiani dove l'intento dipende spesso dalla cornice.
3. Implicazioni Pratiche: Il documento ipotizza che PyCaret sia preferibile per lo screening rapido, la sperimentazione a basso costo e la creazione di baseline riproducibili. Al contrario, CNN-BiLSTM è la scelta raccomandata quando l'obiettivo primario è massimizzare l'equilibrio predittivo sul confine del discorso d'odio e quando il costo computazionale del deep learning è accettabile.

Gli autori dichiarano esplicitamente che questi risultati sono specifici alla configurazione del benchmark (un dataset, una pipeline di pre-elaborazione, una divisione) e non rivendicano una superiorità universale per tutte le forme di odio online. Suggeriscono che lavori futuri potrebbero esplorare spazi di ricerca AutoML più ricchi, regolarizzazione più forte e modelli basati su transformer come IndoBERT.