Causality Guided Representation Learning for Cross-Style Hate Speech Detection

Resumen Técnico: Aprendizaje de Representaciones Guiado por Causalidad para la Detección de Discurso de Odio entre Estilos (CADET)

Definición del Problema
La proliferación del discurso de odio en línea presenta un desafío significativo para la moderación de contenido, particularmente en la detección del discurso de odio implícito. Mientras que el discurso de odio explícito se caracteriza por insultos manifiestos y ataques directos, el odio implícito depende de la ironía, el sarcasmo, los estereotipos y el lenguaje codificado, lo que dificulta su detección por parte de modelos entrenados en claves lingüísticas superficiales. Los sistemas de detección actuales sufren de una pobre generalización a través de diversas variaciones estilísticas y plataformas. Los modelos suelen depender de correlaciones espurias entre características estilísticas específicas (por ejemplo, insultos específicos o sintaxis propia de una plataforma) y las etiquetas de odio, fallando cuando se enfrentan a expresiones implícitas o cuando se despliegan en plataformas con diferentes contextos demográficos y de moderación. El problema central es distinguir la verdadera intención de odio (el factor causal) de la manifestación estilística (el factor de confusión) que varía entre dominios.

Metodología: El Marco de Trabajo CADET
Los autores proponen CADET (Aprendizaje de Representaciones Guiado por Causalidad para la Detección de Discurso de Odio entre Estilos), un marco fundamentado en una hipótesis de grafo causal de la generación de discurso de odio.

1. Hipótesis Causal: La generación de discurso de odio se modela como un proceso que involucra:

   • Entorno Contextual ($U$): Un confundidor no observado (por ejemplo, políticas de la plataforma, demografía) que influye en la motivación del creador, la selección del objetivo y las elecciones estilísticas.
   • Factores Latentes:
     • Motivación del Creador ($M$): La intención de causar daño.
     • Objetivo ($T$): El grupo o individuo atacado.
     • Estilo ($S$): La expresión lingüística (explícita vs. implícita).
   • Motivación Real ($M^*$): Una variable latente invariante al dominio que representa la verdadera intención de odio, independiente del entorno contextual $U$.
   • Etiqueta ($Y$): Determinada por la motivación real $M^*$ y el contexto $U$.

2. Componentes de la Arquitectura:

   • Desentrelazamiento Alineado Causalmente: El modelo utiliza un codificador preentrenado (RoBERTa) para mapear el texto en un espacio latente. Luego, desentrelaza esta representación en cuatro factores latentes: variables continuas para la motivación ($z_m$) y el confundidor ($z_u$), y variables discretas para el objetivo ($z_t$) y el estilo ($z_s$) mediante Gumbel-Softmax.
   • Mitigación de Confundidores: Para evitar que los factores latentes codifiquen correlaciones espurias con el contexto, el marco emplea:
     • Reconstrucción de Confundidores Adversariales: Se utiliza una capa de inversión de gradiente (GRL) donde los discriminadores intentan recuperar el confundidor $U$ a partir de los factores latentes fusionados. El codificador se entrena para minimizar esta recuperación, eliminando efectivamente $U$ de los factores causales.
     • Restricciones de Ortogonalidad: Las proyecciones aseguran que los factores latentes ($M, T, S, U$) sean mutuamente ortogonales, imponiendo independencia estadística.
     • Reconstrucción de Entrada: Un decodificador reconstruye el texto original a partir de los factores latentes fusionados para asegurar que el desentrelazamiento preserve el significado semántico.
   • Razonamiento Contrafáctico Latente: Para imponer la invarianza de estilo, el modelo interviene en la variable latente de estilo ($S$) dentro del espacio latente. Una "red de inversión de estilo" invierte el estilo (por ejemplo, de explícito a implícito) manteniendo fijos la motivación y el objetivo. El modelo se entrena para asegurar que la predicción de odio permanezca consistente independientemente de la intervención de estilo (Pérdida de Consistencia Contrafáctica).

3. Objetivo de Entrenamiento: El modelo se optimiza mediante una función de pérdida multiobjetivo que combina la pérdida de la tarea (clasificación de odio), clasificación de objetivo/estilo, ortogonalidad, deconfusión adversarial, reconstrucción y pérdidas de consistencia contrafáctica. Se emplea un currículo de entrenamiento por etapas para estabilizar la optimización de estos objetivos competitivos.

Contribuciones Clave

• Grafo Causal Principiado: El artículo introduce un modelo causal formal que separa explícitamente el proceso generativo del discurso de odio en factores latentes interpretables (motivación, objetivo, estilo, contexto), unificando la detección de odio explícito e implícito.
• Marco CADET: La implementación de un marco de aprendizaje de representaciones que operacionaliza este grafo, utilizando razonamiento contrafáctico y deconfusión adversarial para aislar la intención de odio de los artefactos estilísticos.
• Validación Empírica: Experimentos extensos en cuatro conjuntos de datos del mundo real (IsHate, IHC, AbuseEval, DynaHate) demuestran un rendimiento superior en tareas de generalización entre estilos en comparación con las líneas base del estado del arte, incluyendo modelos tradicionales de PLN, detectores especializados de discurso de odio y modelos de lenguaje de gran tamaño (LLM).

Resultados

• Generalización entre Estilos: CADET logra un macro-F1 promedio de 0.81 en tareas de transferencia de explícito a implícito, lo que representa una mejora relativa del 13% sobre la línea base más fuerte. En la transferencia de implícito a explícito, mantiene un F1 promedio sólido de 0.885.
• Robustez: A diferencia de los modelos convencionales que exhiben alta recuperación pero baja precisión en entornos implícitos (o viceversa), CADET mantiene un rendimiento equilibrado. Supera significativamente a las líneas base causales (PEACE, HateWATCH) y a los detectores basados en LLM (ShieldGemma, Llama Prompt Guard), que muestran un rendimiento errático o fallos en escenarios de transferencia de estilo.
• Estudios de Ablación: Eliminar la pérdida contrafáctica ($L_{cf}$) resulta en la caída de rendimiento más significativa (disminución de 24 puntos en F1), confirmando el papel crítico de la intervención de estilo en el aprendizaje de representaciones invariantes.
• Visualización: Las visualizaciones t-SNE confirman que el espacio latente de la motivación ($z_m$) separa claramente las publicaciones odiosas de las no odiosas, mientras que los espacios de objetivo, estilo y confundidor no lo hacen, validando el desentrelazamiento exitoso de los factores causales.

Significancia
El artículo afirma que CADET ofrece una solución fundamentada al desafío de la detección de discurso de odio invariante al estilo. Al desplazar el enfoque de los patrones lingüísticos superficiales hacia la intención causal subyacente, el marco aborda la fragilidad de los modelos actuales ante el odio implícito y los cambios de dominio. El trabajo destaca el potencial del desentrelazamiento causal y el razonamiento contrafáctico para crear sistemas de moderación de contenido más robustos, interpretables y generalizables, proporcionando un camino hacia entornos en línea más seguros que puedan adaptarse a las formas evolutivas de discurso de odio.