Detecting LGBTQ+ Instances of Cyberbullying

Technische Samenvatting: Detectie van LGBTQ+-gerelateerde gevallen van cyberpesten

Probleemdefinitie
Cyberpesten vormt een aanzienlijke bedreiging voor de wereldwijde mentale gezondheid van adolescenten, waarbij bewijs de link legt tussen blootstelling aan agressie van leeftijdsgenoten en een verhoogde suïcidaliteit. Hoewel algemene detectie van cyberpesten een gevestigd vakgebied is, is er een kritiek gat in het ontwikkelen van modellen die specifiek gevoelig zijn voor de LGBTQ+-gemeenschap. Onderzoek wijst uit dat LGBTQ+-individuen onevenredig hogere percentages online intimidatie ervaren in vergelijking met hun heteroseksuele en cisgender leeftijdsgenoten. Bovendien schieten bestaande "one-size-fits-all" detectiemodellen vaak tekort in het vatten van de unieke, subtiele en contextafhankelijke aard van intimidatie gericht op seksuele en gender minderheden. Deze studie adresseert de behoefte aan machine learning-modellen die in staat zijn om specifiek gericht op LGBTQ+-individuen gerichte cyberpestincidenten nauwkeurig te onderscheiden in real-time sociale media-omgevingen.

Methodologie
De studie implementeert en evalueert drie vooraf getrainde transformer taalmodellen — RoBERTa, BERT en GPT-2 — om Instagram-reacties te classificeren als zij ofwel LGBTQ+-gerelateerd cyberpesten bevatten, of niet.

• Dataset: Het onderzoek maakt gebruik van een dataset van 1.083 Instagram-reacties, waarvan er 217 specifiek zijn geannoteerd als gericht tegen de LGBTQ+-gemeenschap. De data werd gelabeld door een divers team met expertise in psychologie en informatica, waarbij nuances in type inhoud, doel en directionaliteit werden vastgelegd.
• Modelarchitectuur:
  • RoBERTa en BERT: Aangepast met sequence classification heads en getraind met behulp van binary cross-entropy loss en de AdamW optimizer.
  • GPT-2: Gemodificeerd met behulp van GPT2ForSequenceClassification om een lineaire laag toe te voegen bovenop de gepoolde output, wat sequence classificatie taken mogelijk maakt ondanks het oorspronkelijke ontwerp voor tekstgeneratie.
  • Hyperparameters: De modellen werden getraind gedurende 3 epochs met een batchgrootte van 16 en een leersnelheid van $5 \times 10^{-5}$.
• Omgaan met klassenimbalans: Om de onbalans tussen de minderheidsklasse (LGBTQ+ pesten) en de meerderheidsklasse (Niet-LGBTQ+ pesten) aan te pakken, experimenteerden de auteurs met drie configuraties: de originele dataset, oversampling met behulp van SMOTE (Synthetic Minority Over-sampling Technique), en oversampling met behulp van ADASYN (Adaptive Synthetic Sampling).
• Evaluatie: Prestaties werden beoordeeld met behulp van 5-voudige kruisvalidatie, waarbij nauwkeurigheid (Accuracy), precisie (Precision), recall, F1-score en de Area Under the Receiver Operating Characteristic curve (AUROC) werden gemeten.

Belangrijkste Resultaten
De experimentele resultaten geven aan dat RoBERTa consequent beter presteerde dan BERT en GPT-2 in de meeste configuraties.

• Beste Prestaties: RoBERTa behaalde de hoogste nauwkeurigheid (0.9456) en F1-score (0.733) op de originele dataset zonder oversampling. De hoogste AUROC-score (0.8926) werd behaald door RoBERTa met ADASYN oversampling.
• Klassespecifieke Dispariteiten: Een per-klasse analyse onthult een significante prestatiekloof. Terwijl de modellen een hoge precisie en recall vertoonden bij het identificeren van Niet-LGBTQ+ pesten (True Negatives), hadden ze aanzienlijk meer moeite met LGBTQ+ pesten (True Positives).
  • Voor RoBERTa (Origineel) was de recall voor de LGBTQ+-klasse slechts 0.6372, vergeleken met 0.986 voor de Niet-LGBTQ+-klasse.
  • Deze trend hield stand bij alle oversamplingtechnieken, wat aangeeft dat de modellen LGBTQ+-pestreacties frequenter foutief classificeren als Niet-LGBTQ+ (False Negatives).
• Impact van Oversampling: Hoewel SMOTE en ADASYN over het algemeen het aantal True Positives verhoogden in vergelijking met de originele dataset, losten zij het probleem van de lage recall voor de minderheidsklasse niet volledig op.

Beperkingen en Uitdagingen
De auteurs identificeren specifieke uitdagingen in de prestaties van de modellen:

1. Context en Nuance: De modellen hebben moeite met impliciete taal, sarcasme en gecodeerde uitdrukkingen die gebruikelijk zijn bij LGBTQ+-intimidatie. Bijvoorbeeld, het model slaagde er niet in om de homofobe term "dyke" te identificeren in een voorbeeld van een false negative, waarschijnlijk door een onvoldoende trainingsdataset voor specifieke scheldwoorden.
2. False Negatives: De hoge mate van False Negatives suggereert dat huidige modellen bevooroordeeld zijn naar het classificeren van ambigue reacties als niet-pestend, waardoor ernstige intimidatie mogelijk wordt gemist.
3. Datasetbeperkingen: De studie wordt beperkt door de omvang en diversiteit van de dataset en de exclusieve focus op Instagram-data.

Significantie en Toekomstige Richtingen
Het artikel stelt dat hoewel state-of-the-art transformer-modellen veelbelovend zijn in het onderscheiden tussen algemeen en LGBTQ+-specifiek pesten, ze nog niet robuust genoeg zijn om de complexe, subtiele aard van dergelijke intimidatie te hanteren zonder significante false negatives. De studie onderstreept de noodzaak van op maat gemaakte online veiligheidstools in plaats van generieke detectiesystemen.

De auteurs suggereren dat toekomstig werk zich moet richten op:

• Het integreren van multi-modale data (afbeeldingen, video's, sociale netwerkmetrieken) om context te verrijken.
• Het ontwikkelen van datasets die een breder scala aan pestscenario's reflecteren.
• Het creëren van modellen die rekening houden met de sequentie en timing van interacties.
• Het verkennen van fairness-aware trainingsmethodologieën om de detectiecapaciteiten voor de LGBTQ+-gemeenschap te verbeteren.

Concluderend toont de studie aan dat hoewel RoBERTa het meest effectieve model is van de geteste modellen, de huidige technologie verdere verfijning vereist om de genuanceerde en vaak impliciete cyberpesten waar LGBTQ+-individuen mee te maken krijgen, accuraat te detecteren.