Detecting LGBTQ+ Instances of Cyberbullying

Sintesi Tecnica: Rilevamento di episodi di cyberbullismo contro la comunità LGBTQ+

Definizione del Problema
Il cyberbullismo rappresenta una minaccia significativa per la salute mentale degli adolescenti a livello globale, con evidenze che collegano l'esposizione all'aggressione tra pari a un aumento della suicidalità. Sebbene il rilevamento del cyberbullismo generico sia un campo consolidato, esiste una lacuna critica nello sviluppo di modelli specificamente sensibili alla comunità LGBTQ+. La ricerca indica che gli individui LGBTQ+ affrontano tassi di molestie online sproporzionatamente più elevati rispetto ai loro coetanei eterosessuali e cisgender. Inoltre, i modelli di rilevamento esistenti "one-size-fits-all" spesso non riescono a cogliere la natura unica, sottile e dipendente dal contesto delle molestie dirette verso le minoranze sessuali e di genere. Questo studio affronta la necessità di modelli di machine learning capaci di distinguere accuratamente gli episodi di cyberbullismo che prendono di mira specificamente individui LGBTQ+ in ambienti di social media in tempo reale.

Metodologia
Lo studio implementa e valuta tre modelli linguistici transformer pre-addestrati — RoBERTa, BERT e GPT-2 — per classificare i commenti di Instagram come contenenti o meno cyberbullismo legato alla comunità LGBTQ+.

• Dataset: La ricerca utilizza un dataset di 1.083 commenti di Instagram, di cui 217 sono stati specificamente annotati come mirati alla comunità LGBTQ+. I dati sono stati etichettati da un team eterogeneo con competenze in psicologia e informatica, catturando le sfumature nel tipo di contenuto, nello scopo e nella direzionalità.
• Architettura del Modello:
  • RoBERTa e BERT: Adattati con teste di classificazione di sequenza e addestrati utilizzando la perdita di cross-entropy binaria e l'ottimizzatore AdamW.
  • GPT-2: Modificato utilizzando GPT2ForSequenceClassification per aggiungere uno strato lineare sopra l'output aggregato (pooled output), abilitando compiti di classificazione di sequenza nonostante il suo design originale per la generazione di testo.
  • Iperparametri: I modelli sono stati addestrati per 3 epoche con una dimensione del batch di 16 e un tasso di apprendimento (learning rate) di $5 \times 10^{-5}$.
• Gestione dello Sbilanciamento delle Classi: Per affrontare lo sbilanciamento tra la classe minoritaria (bullismo LGBTQ+) e la classe maggioritaria (bullismo non LGBTQ+), gli autori hanno sperimentato tre configurazioni: il dataset originale, l'oversampling tramite SMOTE (Synthetic Minority Over-sampling Technique) e l'oversampling tramite ADASYN (Adaptive Synthetic Sampling).
• Valutazione: Le prestazioni sono state valutate tramite cross-validazione a 5 fold, misurando Accuratezza, Precisione, Recall, punteggio F1 e Area Sotto la Curva della Caratteristica di Ricezione Operativa (AUROC).

Risultati Chiave
I risultati sperimentali indicano che RoBERTa ha superato costantemente BERT e GPT-2 nella maggior parte delle configurazioni.

• Migliori Prestazioni: RoBERTa ha ottenuto l'accuratezza più elevata (0,9456) e il punteggio F1 più alto (0,733) sul dataset originale senza oversampling. Il punteggio AUROC più alto (0,8926) è stato raggiunto da RoBERTa utilizzando l'oversampling ADASYN.
• Disparità Specifiche per Classe: Un'analisi per classe rivela un significativo divario di prestazioni. Mentre i modelli hanno dimostrato alta precisione e recall nell'identificare il bullismo Non-LGBTQ+ (Veri Negativi), hanno incontrato grandi difficoltà con il bullismo LGBTQ+ (Veri Positivi).
  • Per RoBERTa (Originale), la recall per la classe LGBTQ+ era solo di 0,6372, rispetto allo 0,986 per la classe Non-LGBTQ+.
  • Questa tendenza è persistita in tutte le tecniche di oversampling, indicando che i modelli classificano frequentemente i commenti di bullismo LGBTQ+ come Non-LGBTQ+ (Falsi Negativi).
• Impatto dell'Oversampling: Sebbene SMOTE e ADASYN abbiano generalmente aumentato il numero di Veri Positivi rispetto al dataset originale, non hanno risolto completamente il problema della bassa recall per la classe minoritaria.

Limitazioni e Sfide
Gli autori identificano sfide specifiche nelle prestazioni dei modelli:

1. Contesto e Sfumatura: I modelli faticano con il linguaggio implicito, il sarcasmo e le espressioni codificate comuni nell'aggressione contro la comunità LGBTQ+. Ad esempio, il modello non è riuscito a identificare l'insulto omofobo "dyke" in un esempio di falso negativo, probabilmente a causa di una quantità insufficiente di dati di addestramento per insulti specifici.
2. Falsi Negativi: L'alto tasso di Falsi Negativi suggerisce che gli attuali modelli sono influenzati da un bias che tende a classificare i commenti ambigui come non-bullismo, rischiando di mancare molestie gravi.
3. Vincoli del Dataset: Lo studio è limitato dalle dimensioni e dalla diversità del dataset e dal suo esclusivo focus sui dati di Instagram.

Significatività e Direzioni Future
L'articolo sostiene che, sebbene i modelli transformer allo stato dell'arte mostrino potenziale nel distinguere tra bullismo generale e specifico contro la comunità LGBTQ+, non sono ancora abbastanza robusti da gestire la natura complessa e sottile di tali molestie senza presentare significativi falsi negativi. Lo studio sottolinea la necessità di strumenti di sicurezza online su misura piuttosto che di sistemi di rilevamento generici.

Gli autori suggeriscono che il lavoro futuro dovrebbe concentrarsi su:

• L'integrazione di dati multi-modali (immagini, video, metriche di rete sociale) per arricchire il contesto.
• Lo sviluppo di dataset che riflettano una gamma più ampia di scenari di bullismo.
• La creazione di modelli che tengano conto della sequenza e della tempistica delle interazioni.
• L'esplorazione di metodologie di addestramento orientate all'equità (fairness-aware) per potenziare le capacità di rilevamento per la comunità LGBTQ+.

In conclusione, lo studio dimosta che, sebbene RoBERTa sia il modello più efficace tra quelli testati, la tecnologia attuale richiede un ulteriore perfezionamento per rilevare accuratamente il cyberbullismo sfumato e spesso implicito affrontato dagli individui LGBTQ+.