Detecting LGBTQ+ Instances of Cyberbullying

Resumen Técnico: Detección de Casos de Ciberacoso contra la Comunidad LGBTQ+

Definición del Problema
El ciberacoso representa una amenaza significativa para la salud mental de los adolescentes a nivel mundial, con evidencia que vincula la exposición a la agresión de pares con un aumento en la suicidalidad. Si bien la detección de ciberacoso general es un campo establecido, existe una brecha crítica en el desarrollo de modelos que sean específicamente sensibles a la comunidad LGBTQ+. Las investigaciones indican que las personas LGBTQ+ enfrentan tasas desproporcionadamente más altas de acoso en línea en comparación con sus pares heterosexuales y cisgénero. Además, los modelos de detección existentes de tipo "talla única" a menudo no logran capturar la naturaleza única, sutil y dependiente del contexto del acoso dirigido a las minorías sexuales y de género. Este estudio aborda la necesidad de modelos de aprendizaje automático capaces de discernir con precisión incidentes de ciberacoso dirigidos específicamente a personas LGBTQ+ en entornos de redes sociales en tiempo real.

Metodología
El estudio implementa y evalúa tres modelos de lenguaje transformadores preentrenados —RoBERTa, BERT y GPT-2— para clasificar los comentarios de Instagram como si contienen ciberacoso relacionado con la comunidad LGBTQ+ o no.

• Dataset: La investigación utiliza un conjunto de datos de 1,083 comentarios de Instagram, de los cuales 217 están específicamente anotados como dirigidos a la comunidad LGBTQ+. Los datos fueron etiquetados por un equipo diverso con experiencia en psicología e informática, capturando matices en el tipo de contenido, el propósito y la direccionalidad.
• Arquitectura del Modelo:
  • RoBERTa y BERT: Adaptados con cabezales de clasificación de secuencias y entrenados utilizando la pérdida de entropía cruzada binaria y el optimizador AdamW.
  • GPT-2: Modificado utilizando GPT2ForSequenceClassification para añadir una capa lineal sobre la salida agrupada (pooled output), permitiendo tareas de clasificación de secuencias a pesar de su diseño original para la generación de texto.
  • Hiperparámetros: Los modelos fueron entrenados durante 3 épocas con un tamaño de lote (batch size) de 16 y una tasa de aprendizaje de $5 \times 10^{-5}$.
• Manejo del Desequilibrio de Clases: Para abordar el desequilibrio entre la clase minoritaria (acoso LGBTQ+) y la clase mayoritaria (acoso no LGBTQ+), los autores experimentaron con tres configuraciones: el conjunto de datos original, sobremuestreo mediante SMOTE (Técnica de Sobremuestreo Sintético de la Minoría) y sobremuestreo mediante ADASYN (Muestreo Sintético Adaptativo).
• Evaluación: El rendimiento se evaluó mediante validación cruzada de 5 pliegues (5-fold cross-validation), midiendo la Exactitud (Accuracy), Precisión, Exhaustividad (Recall), puntuación F1 y el Área Bajo la Curva de Característica Operativa del Receptor (AUROC).

Resultos Clave
Los resultados experimentales indican que RoBERTa superó consistentemente a BERT y GPT-2 en la mayoría de las configuraciones.

• Mejor Rendimiento: RoBERTa logró la mayor exactitud (0.9456) y puntuación F1 (0.733) en el conjunto de datos original sin sobremuestreo. La puntuación AUROC más alta (0.8926) fue alcanzada por RoBERTa utilizando el sobremuestreo ADASYN.
• Disparidades Específicas de Clase: Un análisis por clase revela una brecha de rendimiento significativa. Mientras que los modelos demostraron alta precisión y exhaustividad para identificar el acoso no LGBTQ+ (Verdaderos Negativos), tuvieron dificultades significativas con el acoso LGBTQ+ (Verdaderos Positivos).
  • Para RoBERTa (Original), la exhaustividad para la clase LGBTQ+ fue de solo 0.6372, en comparación con 0.986 para la clase no LGBTQ+.
  • Esta tendencia persistió en todas las técnicas de sobremuestreo, lo que indica que los modelos frecuentemente clasifican erróneamente los comentarios de acoso LGBTQ+ como no LGBTQ+ (Falsos Negativos).
• Impacto del Sobremuestreo: Aunque SMOTE y ADASYN generalmente aumentaron el número de Verdaderos Positivos en comparación con el conjunto de datos original, no resolvieron completamente el problema de la baja exhaustividad para la clase minoritaria.

Limitaciones y Desafíos
Los autores identifican desafíos específicos en el rendimiento de los modelos:

1. Contexto y Matiz: Los modelos tienen dificultades con el lenguaje implícito, el sarcasmo y las expresiones codificadas comunes en el acoso contra la comunidad LGBTQ+. Por ejemplo, el modelo no logró identificar el insulto homofóbico "dyke" en un ejemplo de falso negativo, probablemente debido a la insuficiencia de datos de entrenamiento para insultos específicos.
2. Falsos Negativos: La alta tasa de Falsos Negativos sugiere que los modelos actuales están sesgados hacia la clasificación de comentarios ambiguos como no acoso, lo que podría omitir casos de acoso severo.
3. Restricciones del Dataset: El estudio está limitado por el tamaño y la diversidad del conjunto de datos y su enfoque exclusivo en los datos de Instagram.

Significancia y Direcciones Futuras
El artículo sostiene que, si bien los modelos transformadores de vanguardia muestran potencial para distinguir entre el acoso general y el específico contra la comunidad LGBTQ+, aún no son lo suficientemente robustos para manejar la naturaleza compleja y sutil de dicho acoso sin presentar falsos negativos significativos. El estudio subraya la necesidad de herramientas de seguridad en línea personalizadas en lugar de sistemas de detección genéricos.

Los autores sugieren que el trabajo futuro debería centrarse en:

• Integrar datos multimodales (imágenes, videos, métricas de redes sociales) para enriquecer el contexto.
• Desarrollar conjuntos de datos que reflejen una gama más amplia de escenarios de acoso.
• Crear modelos que tengan en cuenta la secuencia y el tiempo de las interacciones.
• Explorar metodologías de entrenamiento conscientes de la equidad (fairness-aware) para mejorar las capacidades de detección para la comunidad LGBTQ+.

En conclusión, el estudio demuestra que, aunque RoBERTa es el modelo más efectivo entre los probados, la tecnología actual requiere mayor refinamiento para detectar con precisión el ciberacoso, a menudo implícito y matizado, que enfrenta la comunidad LGBTQ+.