Challenger at MultiPRIDE: Is It Hate Speech or Reclaimed?

Resumen Técnico: Distinción entre el Discurso de Odio y el Lenguaje Reclamado en MultiPRIDE

Planteamiento del Problema
El artículo aborda un desafío crítico en la detección automatizada del discurso de odio: diferenciar entre el discurso de odio genuino y el "lenguaje reclamado". Mientras que el discurso de odio se dirige a individuos basándose en su identidad (religión, raza, orientación sexual, etc.), los miembros de grupos marginados (como la comunidad LGBTQ+) suelen reapropiarse de términos tradicionalmente ofensivos para fomentar la solidaridad intragrupal mediante la "reclamación semántica" o la "impolidez simulada". Los sistemas automatizados frecuentemente clasifican erróneamente estas expresiones reclamadas como de odio, lo que genera falsos positivos que restringen la libre expresión. Esta tarea se complica por la naturaleza dependiente del contexto del lenguaje, donde el significado depende en gran medida de la identidad del hablante y el contexto de uso, y se ve agravada además por el desequilibrio extremo de clases en los conjuntos de datos disponibles.

Metodología
Los autores proponen un flujo de trabajo agnóstico al lenguaje diseñado para operar de manera eficiente bajo recursos computacionales limitados manteniendo la interpretabilidad. El enfoque consta de cuatro etapas primarias:

1. Preprocesamiento y Aumento de Datos:

   • Limpieza: El texto bruto se limpia mediante expresiones regulares para eliminar URLs, menciones de usuarios y caracteres no ASCII (incluyendo emojis). Crucialmente, se elimina el símbolo # de los hashtags para conservar su contenido textual semántico.
   • Aumento: Para abordar el severo desequilibrio de clases, los autores emplean una estrategia de retrotraducción (back-translation). Las muestras de la clase minoritaria se traducen a lenguas pivote (francés, alemán, ruso, persa) a través de la API de Google Translate y se traducen de vuelta al idioma original. Esto genera muestras positivas sintéticas para enriquecer la distribución de entrenamiento.

2. Extracción de Características y Limpieza de Etiquetas:

   • Embeddings: Las muestras de texto se convierten en vectores semánticos densos de 1024 dimensiones utilizando el modelo de Sentence Transformer de última generación intfloat/e5-large-v2.
   • Filtrado de Ruido: Los autores utilizan el marco Cleanlab (específicamente Confident Learning) para identificar y eliminar el ruido de las etiquetas. Se ajusta un clasificador de Regresión Logística a los embeddings para detectar instancias con una alta probabilidad de errores de etiqueta. Estas instancias ruidosas se filtran antes de la fase final de entrenamiento para asegurar una señal de entrenamiento más limpia.

3. Arquitectura del Modelo:

   • El clasificador central es un Perceptrón Multicapa (MLP) ligero construido sobre TensorFlow/Keras.
   • Estructura: El MLP acepta los embeddings de las oraciones y los pasa a través de dos capas ocultas densas (de 16 y 8 unidades, respectivamente) utilizando la activación ReLU. La capa de salida utiliza una función de activación Sigmoide para la puntuación de probabilidad binaria.
   • Entrenamiento: El modelo se entrena utilizando el optimizador Adam y la pérdida de Entropía Cruzada Binaria (Binary Crossentropy). Para mitigar el desequilibrio de clases, se calculan pesos de clase para penalizar más severamente las clasificaciones erróneas de la clase minoritaria.

4. Validación y Ajuste de Umbral:

   • Los datos se dividen mediante muestreo estratificado (80/20) para preservar las proporciones de las etiquetas.
   • En lugar de un límite de decisión fijo de 0.5, el sistema emplea un método de optimización de umbral ajustado. Este busca en un rango de límites de decisión (0.1 a 0.9) para seleccionar el umbral que maximice la puntuación F1 en el conjunto de validación.

Contribuciones Clave
El artículo describe las siguientes contribuciones específicas a la tarea compartida de MultiPRIDE:

• Limpieza sistemática de texto que preserva la semántica de los hashtags mientras elimina el ruido.
• Implementación de muestreo estratificado para garantizar una evaluación fiable en datos altamente desequilibrados.
• Aplicación de aumento por retrotraducción para equilibrar la distribución de entrenamiento.
• Extracción de características semánticas profundas utilizando el modelo intfloat/e5-large-v2.
• Mejora de la calidad de la señal de entrenamiento mediante Cleanlab para el filtrado de ruido de etiquetas.
• Diseño de una Red Neuronal ligera y optimizada para la tarea que equilibra el rendimiento con la eficiencia computacional.

Resultados
El sistema fue evaluado en el conjunto de datos MultiPRIDE, que incluye tweets en inglés, italiano y español. Las métricas de evaluación incluyeron Precisión, Recall y puntuación F1, con un enfoque en las métricas de promedio macro (macro-averaged).

• Italiano: Logró el rendimiento más sólido con una puntuación Macro-avg F1 de 0.8815 (F1 Clase 0: 0.9570; F1 Clase 1: 0.8060).
• Español: Logró una puntuación Macro-avg F1 de 0.6773 (F1 Clase 0: 0.8361; F1 Clase 1: 0.5185).
• Inglés: Mostró el rendimiento más bajo con una puntuación Macro-avg F1 de 0.6203 (F1 Clase 0: 0.9318; F1 Clase 1: 0.3089).

Los autores señalan que el menor rendimiento en la clase minoritaria (Lenguaje reclamado) en todos los idiomas, particularmente en inglés, es consistente con los desafíos del desequilibrio extremo de clases en el conjunto de datos, más que con la inestabilidad del modelo.

Significancia y Afirmaciones
El artículo afirma que su metodología demuestra que los algoritmos ligeros pueden aprender eficazmente las relaciones de clase incluso con conjuntos de entrenamiento pequeños y recursos computacionales limitados. Los autores posicionan su enfoque como una "alternativa mínima" que ofrece un equilibrio entre efectividad y eficiencia.

La significancia del trabajo radica en su capacidad para operar en un entorno multilingüe sin depender de modelos computacionales pesados, lo que lo hace accesible para escenarios con recursos limitados. Los autores concluyen modestamente que, si bien su sistema funciona bien, la variación en el rendimiento entre idiomas (específicamente los resultados más bajos para el inglés) resalta la dificultad de la tarea. Sugieren que se podrían lograr mejoras futuras utilizando modelos de embeddings más grandes, un preprocesamiento más avanzado y enfoques de aprendizaje complejos, pero enfatizan que su enfoque actual proporciona un punto de partida robusto para distinguir el discurso de odio del lenguaje reclamado.