Aligning Implied Statements for Implicit Hate Speech Generalizability with Context-Bounded Semi-hard Negative Mining

Resumen Técnico: Alineación de Enunciados Implícitos para la Generalización del Discurso de Odio Implícito mediante Minería de Negativos Semi-Duros con Límite de Contexto

Planteamiento del Problema
Clasificar el discurso de odio implícito sigue siendo un desafío significativo porque la intención de odio a menudo se enmascara mediante la insinuación, el sarcasmo, los eufemismos y las preguntas retóricas en lugar de insultos explícitos. En consecuencia, las características textuales superficiales suelen ser insuficientes para la detección. Un desafío secundario es el solapamiento semántico: las publicaciones que se dirigen al mismo grupo demográfico a menudo comparten contenido temático a pesar de tener etiquetas diferentes (odio frente a no odio), lo que desdibuja los límites de decisión.

Los enfoques previos de aprendizaje contrastivo supervisado (SCL), como IMPCON y SHAREDCON, intentan abordar esto atrayendo las publicaciones hacia sus enunciados implícitos anotados por humanos o hacia clústeres semánticos compartidos. Sin embargo, el SCL estándar trata a la mayoría de los otros ejemplos del lote (batch) como negativos. En los conjuntos de datos de odio implícito, muchos vecinos cercanos difieren solo ligeramente en su intención; repeler estos "falsos negativos" puede distorsionar los vecindarios locales, conducir al sobreajuste en atajos específicos del conjunto de datos y dificultar la generalización entre dominios.

Metodología
Los autores proponen IMPSH (Odio Implícito con minería semi-dura), un marco basado en triplete diseñado para mejorar la generalización centrándose el aprendizaje en "confusiones cercanas" en lugar de repeler todos los no-positivos. El método optimiza conjuntamente una pérdida de entropía cruzada estándar ($L_{CE}$) y una pérdida de triplete ($L_{triplet}$).

1. Construcción de Pares Positivos:

   • IMPSH: Para las publicaciones de odio, el par positivo se forma por la publicación y su enunciado implícito anotado por humanos. Para las publicaciones de no odio, utiliza aumentación de datos (sustitución de sinónimos) para crear un par positivo.
   • AUGSH: Una variante de ablación que utiliza positivos basados en aumentación para todas las instancias (tanto de odio como de no odio) para aislar la contribución de la supervisión del enunciado implícito.

2. Minería de Negativos Semi-Duros con Límite de Contexto:
   En lugar de tratar todos los ejemplos de etiqueta opuesta en un lote como negativos, el marco selecciona un negativo semi-duro. Este negativo debe:

   • Pertenecer a la etiqueta opuesta.
   • Estar más alejado del ancla que el par positivo ($d_{pos} < d_{neg}$).
   • Caer aún dentro de una banda de margen específica ($d_{neg} < d_{pos} + \alpha$).

   Esto asegura que el modelo se centre las actualizaciones en casos realistas y confundibles (casos de error cercano) sin repeler excesivamente contenidos ampliamente similares que podrían compartir temas pero diferir en intención.

3. Objetivo de Entrenamiento:
   La pérdida final es $L = L_{CE} + \lambda L_{triplet}$, donde la pérdida de triplete utiliza la selección basada en márgenes descrita anteriormente.

Contribuciones Clave

• Marco de Triplete con Minería Semi-Dura: Los autores introducen un marco que evita la estrategia de "repeler a todos" del SCL estándar, utilizando en su lugar la minería de negativos semi-duros con límite de contexto para separar instancias semánticamente cercanas con etiquetas opuestas.
• Variantes IMPSH y AUGSH: La propuesta incluye dos objetivos específicos: IMPSH (aprovechando los enunciados implícitos cuando están disponibles) y AUGSH (dependiendo únicamente de la aumentación). Este diseño permite un análisis de la señal específica añadida por las anotaciones de implicación.
• Evaluación Exhaustiva: Los métodos se evalúan en tres conjuntos de datos (IHC, SBIC, DYNAHATE) utilizando arquitecturas BERT y HATEBERT, con un análisis que cubre el rendimiento intra-dominio, la transferencia entre conjuntos de datos y la geometría de la representación (alineación y uniformidad).

Resultos
El artículo reporta resultados en diversas configuraciones de entrenamiento y prueba (por ejemplo, entrenar en IHC, probar en SBIC o DYNAHATE):

• Transferencia entre Conjuntos de Datos: IMPSH demuestra un fuerte rendimiento en escenarios de transferencia. Cuando se entrena en IHC con HATEBERT, IMPSH logra los mejores resultados en ambos objetivos de transferencia (SBIC y DYNAHATE). Al entrenar en SBIC, IMPSH iguala o supera a bases sólidas (como SHAREDCON e IMPCON) en varios escenarios de transferencia, particularmente para DYNAHATE.
• Rendimiento Intra-dominio: Los resultados son más mixtos para la evaluación intra-dominio. En algunos entornos (por ejemplo, IHC con BERT), IMPSH no supera a la base más fuerte (SHAREDCON). Los autores señalan una tensión donde los objetivos que mejor separan el conjunto de datos de origen pueden diferir de aquellos que mejor preservan el significado bajo cambios de conjunto de datos.
• Análisis de Representación:
  • Alineación: IMPSH logra la mejor alineación (pares positivos más compactos) en cuatro de seis configuraciones de entrenamiento-prueba, lo que indica una agrupación efectiva de pares semánticamente relacionados.
  • Uniformidad: IMPSH mantiene una dispersión global competitiva, logrando la mejor uniformidad en tres de seis entornos, incluyendo ambas transferencias a DYNAHATE.
  • Visualización: Las proyecciones t-SNE muestran que, mientras que las bases como IMPCON fragmentan los límites de clase en clústeres centrados en el objetivo, IMPSH mantiene una separación global más clara entre las clases de "Odio" y "No Odio" a través de los dominios.
• Estudios de Caso: El análisis de vecinos más cercanos revela que IMPSH agrupa con éxito temas de odio coherentes (por ejemplo, contextos misóginos o de odio hacia la comunidad LGBTQ+), pero aún puede fallar debido al sesgo de tópico (donde el tema compartido prevalece sobre la postura) o vínculos léxicos superficiales.

Significancia y Reivindicaciones
El artículo afirma que IMPSH proporciona un mapeo más estable, de tipo biyectivo, desde las publicaciones hacia sus insinuaciones subyacentes en comparación con el aprendizaje de representaciones basado en el agrupamiento tradicional. Al separar explícitamente instancias semánticamente cercanas con etiquetas opuestas mediante la minería con límite de contexto, el método mitiga la volatilidad inherente al agrupamiento no supervisado y reduce la dependencia de atajos específicos del conjunto de datos.

Los autores posicionan a IMPSH no como un reemplazo dominante para todo el trabajo previo, sino como un objetivo complementario que ofrece una separación superior en escenarios de datos cruzados. Reconocen limitaciones, incluyendo la sensibilidad a los hiperparámetros de margen, la dependencia de las anotaciones de enunciados implícitos y las ganancias modestas sobre bases fuertes en ciertos entornos intra-dominio. El trabajo enfatiza que, si bien el método mejora la generalización, no elimina las dificultades fundamentales de la detección de odio implícito, tales como el ruido de anotación y la complejidad de las claves pragmáticas.