AIWizards at MULTIPRIDE: A Hierarchical Approach to Slur Reclamation Detection

1. Planteamiento del Problema

La detección automática de discurso de odio enfrenta un desafío fundamental: la reclamación de insultos (slur reclamation). Términos léxicos históricamente ofensivos pueden utilizarse de manera neutral, positiva o afirmativa dentro de comunidades específicas (como la comunidad LGBTQ+), dependiendo del contexto social y la identidad del autor.

• Limitación actual: Los modelos de clasificación basados únicamente en texto a menudo fallan porque no pueden inferir la intención del hablante sin contexto extralingüístico.
• Contexto de la tarea: El artículo aborda la Subtarea B de la tarea compartida MultiPRIDE en EVALITA 2026. A diferencia de la Subtarea A (solo texto), esta subtarea proporciona biografías de usuarios junto con los tweets, permitiendo a los modelos incorporar información sobre la identidad del autor para determinar si un insulto es ofensivo o una afirmación de identidad.
• Desafío de datos: El conjunto de datos presenta un desequilibrio de clases significativo (más del 80% de las instancias son de uso no reclamatorio/ofensivo) en ambos idiomas (italiano y español).

2. Metodología Propuesta

Los autores proponen un enfoque jerárquico de dos niveles basado en la hipótesis de que existe una fuerte asociación entre la identidad del usuario (específicamente la afiliación a la comunidad LGBTQ+) y el uso reclamatorio de insultos. La arquitectura se divide en las siguientes etapas:

A. Etiquetado Débil (Proxy Labeling)

Dado que no se dispone de etiquetas de identidad verificadas para los usuarios, los autores utilizan un Modelo de Lenguaje Grande (LLM) (DeepSeek-V3.2) para generar etiquetas proxy débiles.

• Proceso: Se concatenan el tweet y la biografía del usuario y se pasan al LLM mediante prompting para predecir si el texto sugiere una afiliación o solidaridad con el grupo LGBTQ+.
• Propósito: Estas etiquetas no pretenden validar la identidad real del usuario, sino servir como señal de supervisión débil para entrenar un codificador de usuario que capture señales sociolingüísticas contextuales.

B. Arquitectura de Codificadores Dúo (Dual-Encoder)

El sistema utiliza dos codificadores BERT-like en paralelo que procesan la misma entrada (tweet + biografía) pero optimizados para objetivos diferentes:

1. Codificador de Texto: Se entrena directamente para la tarea principal de detección de reclamación de insultos.
2. Codificador de Usuario: Se entrena utilizando las etiquetas proxy generadas por el LLM. Su objetivo es aprender representaciones latentes que capturen señales de identidad y contexto sociolingüístico.

C. Fusión de Representaciones

Las salidas finales de ambos codificadores se combinan mediante un mecanismo de puerta (gating mechanism) aprendido:

• Se calcula un vector de puerta $g$ que pondera dinámicamente la contribución de la representación del texto ($h_{text}$) y la del usuario ($h_{user}$) para cada instancia.
• La representación fusionada se calcula como: $h_{fused} = g \odot h_{text} + (1 - g) \odot h_{user}$.
• Esto permite al modelo equilibrar la evidencia léxica local con el contexto del autor.

D. Estrategia de Entrenamiento

Se emplea una estrategia de Linear Probing–Fine-Tuning (LPFT):

1. Entrenamiento inicial de los codificadores por separado.
2. Entrenamiento de las capas de fusión y clasificación con los codificadores congelados.
3. Ajuste fino conjunto (joint fine-tuning) de toda la arquitectura con una tasa de aprendizaje reducida.

3. Contribuciones Clave

1. Marco Modular Jerárquico: Propone una arquitectura que separa explícitamente la modelización del contenido textual de la del contexto sociolingüístico del usuario, permitiendo una integración flexible de señales de identidad.
2. Uso de Supervisión Débil con LLM: Demuestra la viabilidad de utilizar LLMs para generar etiquetas proxy de identidad (sin violar la privacidad ni afirmar identidades reales) para enriquecer la representación de modelos de NLP.
3. Marco Extensible: La arquitectura está diseñada para incorporar futuras señales contextuales (como redes sociales o contenido multimodal) sin reestructurar el núcleo del modelo.

4. Resultados

Los experimentos se realizaron en datasets de italiano y español:

• Rendimiento: El modelo propuesto de codificadores dúo alcanzó un rendimiento estadísticamente equivalente al de una línea base fuerte (BERT ajustado finamente) en el conjunto de desarrollo y prueba.
  • Italiano: F1 macro ~0.88 (Dual Encoder) vs ~0.90 (Baseline).
  • Español: F1 macro ~0.64 (Dual Encoder) vs ~0.67 (Baseline).
• Análisis de Diferencias: La brecha de rendimiento entre idiomas se atribuye principalmente a las diferencias en los modelos base preentrenados (el modelo italiano se basó en SetFit ajustado para discurso de odio, mientras que el español usó un transformador multilingüe genérico), más que a factores lingüísticos intrínsecos.
• Análisis de Errores: El modelo a veces clasifica erróneamente insultos claramente hostiles como "reclamatorios" cuando el usuario tiene una biografía que sugiere afiliación LGBTQ+. Esto sugiere que las señales contextuales del usuario pueden, en algunos casos, dominar sobre la evidencia léxica local de hostilidad.

5. Significado y Conclusión

• Validación del Enfoque: Aunque el modelo no superó significativamente a la línea base en métricas agregadas, demuestra que es posible integrar representaciones de contexto de usuario mediante modelado jerárquico y supervisión débil sin degradar la precisión.
• Importancia: El trabajo valida que la modelización de la identidad del usuario es un componente viable y necesario para la detección de lenguaje reclamado.
• Futuro: Los autores sugieren que el verdadero potencial de este enfoque se desbloqueará al refinar las estrategias de fusión, mejorar las tareas proxy auxiliares e integrar fuentes de información multimodales o de red social para capturar matices más finos en el uso del lenguaje.

En resumen, el artículo presenta un marco arquitectónico innovador que prioriza la contextualización sociolingüística en la detección de discurso de odio, ofreciendo una solución modular para un problema donde el contexto del autor es tan crítico como el texto mismo.