Resumen Técnico: Aprendizaje Continuo con Modelos Fundacionales Multilingües para la Detección de Insultos Recuperados

Enunciado del Problema

Los sistemas automatizados de moderación de contenido enfrentan desafíos significativos para distinguir entre el discurso de odio y el lenguaje recuperado, particularmente en contextos LGBTQ+. Los insultos recuperados son términos históricamente ofensivos reapropiados por comunidades marginadas para el empoderamiento y la solidaridad. Cuando los algoritmos no reconocen este contexto, corren el riesgo de marcar publicaciones inofensivas como tóxicas o pasar por alto discurso de odio real. Este trabajo aborda la tarea MultiPride en EVALITA 2026, que se centra en detectar el uso recuperado frente al no recuperado de insultos relacionados con LGBTQ+ en tuits en inglés, español e italiano.

La tarea se caracteriza por tres obstáculos metodológicos principales:

1. Escasez de Datos: Disponibilidad limitada de datos de entrenamiento etiquetados.
2. Desequilibrio de Clases: Una disparidad significativa entre instancias recuperadas (minoría) y no recuperadas (mayoría), que oscila entre el 9% (inglés) y el 24% (italiano).
3. Variación Translingüística: Diferencias culturales y lingüísticas en cómo se expresa la recuperación, lo que significa que un modelo efectivo para la ironía en inglés podría no captar los marcadores culturales italianos.

Metodología

Los autores proponen un marco multilingüe de cuatro etapas diseñado para abordar sistemáticamente estos desafíos mediante la selección de modelos basada en datos, la augmentación, la adaptación de dominio y la calibración de umbrales.

1. Análisis de Datos y Detección de Sesgos

El marco comienza con análisis descriptivos y pruebas de chi-cuadrado para identificar relaciones estadísticas entre el lenguaje y las distribuciones de etiquetas. Este análisis confirmó que las etiquetas no están distribuidas aleatoriamente entre los idiomas, justificando la necesidad de estrategias específicas por idioma.

2. Selección del Modelo Fundacional

Ocho modelos de incrustación multilingües fueron evaluados utilizando un enfoque de validación cruzada estratificada de cinco pliegues. Los criterios de selección priorizaron la estabilidad de la puntuación F1 promediada macro sobre el rendimiento absoluto máximo para garantizar la robustez frente a cambios en la distribución de datos.

• Modelo Seleccionado: XLM-RoBERTa-large fue elegido como modelo fundacional, logrando una puntuación F1 promediada macro de 0.7553 ± 0.04, equilibrando rendimiento y eficiencia computacional.

3. Aprendizaje por Transferencia Inductiva con Augmentación de Datos (EJECUCIÓN 1)

Para mitigar la escasez de datos y el desequilibrio de clases, el marco emplea:

• Augmentación por Traducción Inversa: Utilizando GPT-4o-mini, los tuits originales fueron traducidos a los otros dos idiomas objetivo y luego re-traducidos. Este esquema "uno a muchos" triplicó el tamaño del corpus de entrenamiento mientras preservaba el contenido semántico y mantenía las proporciones originales de distribución de clases (9–24%).
• Muestreo Dinámico por Época: Un muestreador de lotes personalizado impone una proporción 1:3 de instancias positivas a negativas durante el entrenamiento. Por cada instancia positiva, se seleccionan aleatoriamente tres instancias negativas sin reemplazo. Este enfoque estocástico previene el colapso de la clase mayoritaria y el sobreajuste, asegurando que el modelo aprenda las características distintivas de la clase minoritaria.
• Optimización de Hiperparámetros: Utilizando Optuna con un muestreador de Estimador Parzen Estructurado en Árbol (TPE) y un Poda Mediana para buscar eficientemente las tasas de aprendizaje, tamaños de lote y decaimiento de peso óptimos.

4. Integración de Conocimiento de Dominio (EJECUCIÓN 2)

Una vía secundaria introduce conocimiento específico del dominio mediante pre-entrenamiento de Modelado de Lenguaje Enmascarado (MLM).

• El modelo fundacional se somete a pre-entrenamiento MLM en el conjunto de datos aumentado (enmascaramiento del 15% de los tokens) para profundizar su representación de los patrones del discurso LGBTQ+.
• Este modelo adaptado se ajusta finamente luego utilizando la misma tubería de aprendizaje por transferencia inductiva (augmentación, submuestreo y validación cruzada) que la EJECUCIÓN 1.

5. Refinamiento de Umbrales Específicos por Idioma (EJECUCIÓN 3 y EJECUCIÓN 4)

Reconociendo que las puntuaciones de confianza del modelo varían significativamente entre idiomas, el marco se aleja de un umbral de decisión universal (0.5).

• Análisis ROC: Las curvas de Característica Operativa del Receptor (ROC) se analizan independientemente para los conjuntos de validación en inglés, español e italiano.
• Optimización: Los umbrales de decisión se ajustan para maximizar la puntuación F1 promediada macro para cada idioma.
  • Inglés: Se requiere un umbral más alto (~0.58) debido a puntuaciones de confianza promedio más altas.
  • Italiano: Se requiere un umbral más bajo (~0.42) para captar señales sutiles de recuperación.
  • Español: Umbral intermedio (~0.50).
• Aplicación: La EJECUCIÓN 3 aplica estos umbrales a las predicciones de la EJECUCIÓN 1, y la EJECUCIÓN 4 los aplica a las predicciones de la EJECUCIÓN 2.

Resultados Clave

El marco fue evaluado en una estación de trabajo RTX 4090 utilizando entrenamiento de precisión mixta. Las cuatro ejecuciones experimentales arrojaron los siguientes hallazgos:

• Mejoras de Rendimiento: La optimización basada en umbrales (EJECUCIÓN 3 y EJECUCIÓN 4) produjo una mejora absoluta del 2–5% en las puntuaciones F1 sin requerir reentrenamiento del modelo.
• Selección de Modelo: XLM-RoBERTa-large demostró ser superior a las incrustaciones de recuperación densa (por ejemplo, multilingual-e5-large, bge-m3) para esta tarea de clasificación específica.
• Eficacia de la Augmentación: La traducción inversa expandió exitosamente el conjunto de datos tres veces mientras preservaba la distribución crítica de la clase minoritaria.
• Impacto del MLM: La adaptación de dominio mediante MLM (EJECUCIÓN 2) mostró resultados dependientes del idioma. Aunque ofreció mejoras marginales para el inglés, el español y el italiano exhibieron respuestas variables, lo que sugiere que los idiomas ricos morfológicamente con datos de pre-entrenamiento limitados crean paisajes de optimización diferentes que requieren un ajuste preciso de hiperparámetros.
• Análisis de Errores:
  • Inglés: Los errores a menudo involucraban confundir la ironía o el discurso hipotético con la recuperación (por ejemplo, cuestionar el permiso para usar un insulto).
  • Español: Los errores ocurrieron en contextos activistas donde los insultos fueron recuperados para oponerse a estructuras heteronormativas.
  • Italiano: El sistema luchó con falsos negativos, pasando por alto marcadores culturales sutiles de solidaridad intra-grupal y uso de lenguaje íntimo.

Significado y Afirmaciones

El trabajo afirma que un enfoque de "talla única" para el análisis de sentimientos multilingüe es insuficiente para la detección de insultos recuperados. Las contribuciones principales son:

1. Rechazo de Umbrales Universales: El estudio demuestra que los límites de decisión óptimos varían significativamente entre idiomas debido a diferencias distribucionales en la confianza del modelo y la variación lingüística. Ajustar los umbrales por idioma es un método computacionalmente gratuito para impulsar significativamente el rendimiento.
2. Manejo Robusto del Desequilibrio: La combinación de traducción inversa que preserva la semántica y submuestreo dinámico aborda eficazmente la escasez de datos y el desequilibrio de clases sin los efectos secundarios del remuestreo agresivo.
3. Limitaciones Pragmáticas: Los autores concluyen modestamente que, aunque el marco mejora el rendimiento estadístico, los modelos basados solo en texto luchan con matices pragmáticos. El sistema confunde frecuentemente la ironía con la recuperación (inglés) o pasa por alto la solidaridad implícita (italiano).
4. Dirección Futura: El trabajo sugiere que las mejoras futuras en la precisión requieren ir más allá del texto para incluir señales no lingüísticas (emojis, tono, señales de relaciones sociales) y modelado de discurso fundamentado culturalmente, en lugar de depender exclusivamente de características léxicas.

La metodología es totalmente reproducible, con código y configuraciones experimentales disponibles a través del repositorio de GitHub proporcionado.