Decoding Islamophobic Discourse: Using LLMs to Identify Tropes and Semi-Coded Hate Speech

Resumen Técnico: Descifrando el Discurso Islamófobo Mediante Modelos de Lenguaje Grande (LLM)

Enunciado del Problema
El artículo aborda la creciente prevalencia de discursos de odio islamófobo en plataformas de redes sociales extremistas (por ejemplo, 4Chan, Gab, Telegram). Un desafío principal identificado es el desplazamiento desde el discurso de odio abierto hacia terminología "semi-codificada" y fuera del vocabulario (OOV, por sus siglas en inglés). Estos términos (por ejemplo, muzrat, pislam, mudslime, mohammedan) son manipulados lingüísticamente para parecer léxicamente neutros o ambiguos fuera de contextos específicos, evadiendo así la detección tanto por moderadores humanos como por sistemas automatizados tradicionales. Los autores argumentan que, aunque estos términos pueden parecer inofensivos de forma aislada, portan connotaciones despectivas específicas dentro de las comunidades extremistas. Además, el artículo postula que las estrategias actuales de moderación luchan por distinguir entre un uso benigno y el discurso de odio cuando el contexto es sutil, y que los niveles de toxicidad del discurso islamófobo pueden diferir significativamente de otras formas de discurso de odio, como el antisemitismo.

Metodología
El estudio emplea un enfoque de métodos mixtos que combina la recolección de datos a gran escala, la anotación manual y la evaluación mediante Modelos de Lenguaje Grande (LLM).

1. Recolección de Datos: Los autores utilizaron el software Pyrra para extraer publicaciones de diversas plataformas de redes sociales alternativas entre 2024 y 2025, resultando en un conjunto de datos de aproximadamente 63.628 instancias. Los datos se filtraron utilizando términos semilla que incluyen insultos OOV conocidos (muzrat, pislam, etc.).
2. Anotación y Topos: Un subconjunto de los datos fue etiquetado manualmente por investigadores de pregrado y expertos en terminología islámica. El proceso de etiquetado categorizó el contenido en cinco topos islamófobos específicos:
   • Oposición a las mujeres
   • Ataques al Profeta Mahoma
   • Odio al Islam (como sistema de creencias)
   • Retórica anti-inmigrante
   • Sesgo racial
3. Prueba de Hipótesis:
   • H1 (Comprensión de los LLM de Términos OOV): Los autores utilizaron GPT-4 para clasificar publicaciones que contenían términos semi-codificados, asignando una puntuación de negatividad (0–1) para determinar si el modelo podía identificar el discurso de odio sin palabras clave tóxicas explícitas.
   • H2 (Comparación de Toxicidad): Utilizando la API de Perspectiva de Google, el estudio comparó las puntuaciones de toxicidad de publicaciones islamófobas contra un conjunto de datos de referencia de publicaciones antisemitas (350 muestras cada una).
   • H3 (Clasificación de Topos): Los autores evaluaron la capacidad de GPT-4 para clasificar los topos específicos presentes en el discurso, comparando las predicciones del modelo contra la verdad fundamental etiquetada por humanos utilizando precisión, recuperación y puntuaciones F.

Resultados Clave

• Comprensión de los LLM de Términos OOV: GPT-4 demostró una fuerte capacidad para identificar la intención odiosa detrás de los términos semi-codificados. La puntuación media de toxicidad asignada por GPT-4 a los insultos islamófobos fue de 0.8767, significativamente más alta que una línea base neutral de 0.5 (t = 10.78, p < 0.05). Sin embargo, la precisión del modelo dependía en gran medida del contexto; por ejemplo, el término mohammedan fue a veces calificado como neutral cuando carecía de otras señales agresivas, y el nombre Abdul fue ocasionalmente mal identificado como una referencia benigna en lugar de un insulto.
• Niveles de Toxicidad: El estudio encontró que el discurso islamófobo exhibe una toxicidad significativamente mayor que el discurso antisemita. La puntuación media de toxicidad para las muestras islamófobas fue de 0.67, en comparación con 0.40 para las muestras antisemitas (t = 17.01, p ≈ 0). Los topos más tóxicos fueron identificados como aquellos dirigidos a inmigrantes musulmanes y al Profeta Mahoma.
• Limitaciones en la Clasificación de Topos: Aunque GPT-4 funcionó bien en la identificación de topos relacionados con el Profeta Mahoma (puntuación F: 0.88) y el odio contra la religión del Islam (puntuación F: 0.76), tuvo dificultades con los topos que involucran Sesgo Racial, Inmigración y Oposición a las mujeres. La matriz de confusión reveló que el modelo a menudo fallaba en distinguir entre estas categorías, probablemente debido a la dependencia de asociaciones específicas de palabras clave (por ejemplo, "pedófilo" para el topo del Profeta) en lugar de una comprensión profunda de las narrativas ideológicas subyacentes.

Significado y Afirmaciones
El artículo afirma ser uno de los primeros estudios a gran escala que se centra específicamente en términos semánticamente codificados y OOV en el contexto de la islamofobia. Sus contribuciones principales son:

1. Demostración de la Capacidad de los LLM: Mostrar que los LLM de última generación (específicamente GPT-4) poseen la comprensión contextual necesaria para reconocer insultos semi-codificados que los filtros tradicionales basados en palabras clave podrían pasar por alto.
2. Disparidad de Toxicidad: Destacar que el contenido islamófobo en plataformas extremistas es estadísticamente más tóxico y violento que el contenido antisemita, lo que sugiere la necesidad de estrategias de moderación diferenciadas.
3. Identificación de Brechas: Los autores concluyen modestamente que, aunque los LLM pueden identificar los términos, aún exhiben limitaciones para distinguir los topos ideológicos específicos que impulsan el discurso, particularmente cuando el odio es sutil o se basa en estereotipos culturales complejos.

Los autores sugieren que las plataformas de redes sociales deberían integrar estos términos OOV y semi-codificados específicos en sus estrategias de moderación. También señalan que el trabajo futuro debería implicar el entrenamiento de modelos especializados para detectar estas terminologías y expandir el análisis a otros insultos codificados (por ejemplo, pajeet, chink) para fomentar entornos en línea más seguros.