💻 ciencias de la computación

Reliability of Urdu–Arabic Abusive Language Detection with Cross- Lingual Transformers and Explainable AI

Este estudio evalúa un modelo bilingüe XLM-RoBERTa para la detección de lenguaje abusivo en urdu y árabe, revelando que si bien el entrenamiento conjunto produce una alta precisión, el sistema carece de una transferencia translingüística robusta y de sensibilidad al contexto, lo que subraya la necesidad de pruebas de fiabilidad específicas por encima de las métricas agregadas por sí solas.

Autores originales: Malik Daler Ali Awan, Farhan Ansari, Sunnia Ikram, Nadia Khan, Amna Ikram, Najah Alsubaie, Hadia Saeed

Publicado 2026-11-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Malik Daler Ali Awan, Farhan Ansari, Sunnia Ikram, Nadia Khan, Amna Ikram, Najah Alsubaie, Hadia Saeed

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En las redes sociales, el volumen de discursos dañinos ha crecido más rápido de lo que los moderadores humanos pueden leerlo. Para mantener el ritmo, los investigadores están construyendo programas informáticos que puedan detectar automáticamente el lenguaje abusivo. Durante años, estas herramientas han funcionado bien para el inglés, pero a menudo tropiezan cuando se enfrentan a idiomas como el urdu y el árabe, que son hablados por cientos de millones de personas. Un obstáculo importante es que estos idiomas se escriben de derecha a izquierda y tienen escrituras complejas, lo que los hace difíciles de procesar para el software estándar. Además, incluso cuando un programa informático identifica correctamente una publicación dañina, generalmente no ofrece una explicación de por qué tomó esa decisión. Esta falta de transparencia dificulta que los moderadores humanos confíen en la herramienta o que comprendan si la computadora es sesgada contra ciertos grupos. El objetivo de la investigación moderna en este campo no es solo construir un detector que obtenga la respuesta correcta la mayor parte del tiempo, sino construir uno que pueda explicar su razonamiento y siga siendo fiable incluso cuando el texto es desordenado o está escrito en diferentes dialectos.

Un equipo de investigadores de universidades de Pakistán y Arabia Saudita se propuso resolver estos problemas específicos mediante la creación de un único modelo informático capaz de comprender tanto el urdu como el árabe. Reunieron una colección masiva de más de 65.000 publicaciones de redes sociales, cuidadosamente etiquetadas como abusivas o inofensivas, para enseñar a su sistema. A diferencia de intentos anteriores que trataban cada idioma por separado, entrenaron su modelo para que aprendiera de ambos idiomas al mismo tiempo. Los resultados mostraron que este enfoque conjunto funcionó bien: el modelo identificó correctamente el contenido abusivo en aproximadamente el 82 por ciento de los casos para ambos idiomas, desempeñándose con una habilidad casi igual en urdu y árabe. Sin embargo, cuando probaron si el modelo podía entender un idioma después de haber sido entrenado solo con el otro, falló por completo, adivinando correctamente solo alrededor de la mitad de las veces. Este hallazgo reveló una verdad crucial: el éxito del modelo no provino de una capacidad mágica para traducir entre idiomas, sino del trabajo específico de aprender ambos idiomas simultáneamente.

Para asegurar que el modelo no estuviera simplemente adivinando, los investigadores le pidieron que señalara las palabras específicas que activaron su decisión. Utilizaron dos métodos matemáticos diferentes para comprobar qué palabras importaban más y encontraron que estos métodos coincidían entre sí solo un tercio de las veces. Esto sugiere que ningún método individual es perfecto para encontrar la "razón" detrás de una decisión. El equipo luego intentó hacer que el razonamiento de la computadora fuera más legible para los humanos, alimentando sus hallazgos en un modelo de lenguaje extenso, el cual escribió explicaciones cortas en inglés sencillo. Aunque estas explicaciones sonaban bien y citaban muchas de las palabras importantes, una prueba estricta demostró que no siempre eran fieles a la lógica real de la computadora. Cuando los investigadores eliminaron las palabras resaltadas por la computadora, la predicción cambió significamente, pero cuando eliminaron las palabras que la explicación escrita de la computadora había citado, la predicción a menudo se mantuvo igual. Esto significa que las explicaciones escritas a veces solo estaban haciendo eco de las palabras correctas sin capturar verdaderamente el razonamiento interno de la computadora.

El estudio también probó qué tan robusto era el sistema cuando el texto era imperfecto, algo común en las redes sociales del mundo real. El modelo manejó razonablemente bien la falta de acentos y los errores tipográficos aleatorios, pero tuvo dificultades significativas cuando el urdu se escribía con letras latinas, una práctica común en los chats informales en línea. Esta caída en el rendimiento resaltó una brecha en los datos de entrenamiento. Quizás lo más importante es que los investigadores descubrieron que el modelo era fácilmente engañado por el contexto. Marcaba una oración como abusiva simplemente porque contenía una palabra sensible, incluso si la oración en realidad estaba dando un consejo moral o usando la palabra de una manera inofensiva. Por ejemplo, podría confundir una advertencia sobre un comportamiento indecente con un insulto. Al añadir una pequeña cantidad de entrenamiento adicional que se centraba específicamente en estos contextos complicados, los investigadores corrigieron este error, permitiendo que el modelo distinguiera entre un insulto y una advertencia sin perder su precisión general.

El resultado final de este trabajo es un sistema que hace más que solo marcar publicaciones malas; proporciona una "tarjeta de fiabilidad" para cada decisión. Esta tarjeta enumera el nivel de confianza de la predicción, la palabra específica que activó la alerta, el objetivo del ataque y la razón de la clasificación. Los investigadores enfatizan que esta herramienta está diseñada para asistir a los moderadores humanos, no para reemplazarlos. Al mostrar exactamente por qué se marcó una publicación y admitir cuando no está seguro, el sistema ayuda a los humanos a tomar mejores decisiones finales. El estudio concluye que, para que los sistemas multilingües sean verdaderamente fiables, deben ser probados contra estos desafíos específicos —como el contexto y las variaciones de escritura— en lugar de solo mirar una puntuación general única. El camino a seguir consiste en refinar estas herramientas para que manejen la realidad desordenada del habla humana mientras se mantiene al humano en el proceso para asegurar la imparcialidad y la precisión.

Resumen Técnico: Fiabilidad de la detección de lenguaje abusivo en urdu-árabe con transformadores translingüísticos e IA explicable

Planteamiento del problema
La detección automatizada de lenguaje abusivo sigue siendo un desafío significativo para lenguas de bajos recursos y de escritura de derecha a izquierda, como el urdu y el árabe, que a menudo están desatendidas a pesar de contar con cientos de millones de hablantes. La investigación existente se centra predominantemente en el inglés, y los detectores actuales para el urdu y el árabe son en gran medida "cajas negras" que asignan etiquetas sin justificación, lo que socava la confianza y la auditabilidad de los moderadores. Además, aunque existen codificadores multilingüales, la transferencia translingüística para la detección de discursos de odio suele ser frágil. Existe una brecha crítica en sistemas que combinen un clasificador bilingüe único con una concordancia de atribución cuantificada y un explicador generativo evaluado bajo un protocolo de fiabilidad unificado de fidelidad.

Metodología
Los autores proponen un marco de tres etapas para abordar estas brechas:

Datos y Clasificación: Se ensambló un corpus equilibrado, de doble escritura y con etiquetas de oro de 65,344 registros (32,711 urdu, 32,633 árabe), combinando Nastaliq y urdu romano con diversas fuentes dialectales del árabe. Un modelo XLM-RoBERTa bilingüe fue ajustado conjuntamente en este corpus para la clasificación binaria (abusivo vs. no abusivo), priorizando la recuperación (recall) de la clase abusiva.
Atribución y Explicación: El estudio emplea Gradientes Integrados (IG) y KernelSHAP para atribuir importancia a las palabras de entrada. Estas atribuciones se introducen en un modelo generativo de pesos abiertos (Aya-23-8B) para producir explicaciones en lenguaje natural.
Protocolo de Fiabilidad: El sistema se evalúa mediante cuatro preguntas de investigación específicas:
- RQ1 (Equidad Translingüística): Evaluación de la paridad de rendimiento y las capacidades de transferencia zero-shot.
- RQ2 (Concordancia de Atribución): Medición de la concordancia entre IG y KernelSHAP.
- RQ3 (Fidelidad de la Explicación): Evaluación de si el explicador generativo refleja fielmente el razonamiento del modelo utilizando pruebas de eliminación y suficiencia.
- RQ4 (Robustez): Pruebas de resiliencia contra el ruido de caracteres, el enmascaramiento, la eliminación de diacríticos y la transliteración sintética a urdu romano.
- Sensibilidad al Contexto: Se utilizó un conjunto de contraste de oraciones que comparten palabras clave sensibles tanto en contextos abusivos como inofensivos para probar si el modelo depende del contexto o solo de las palabras clave. La calibración se mejoró mediante el escalado de temperatura.

Contribuciones Clave

Corpus: Un corpus bilingüe unificado y equilibrado de 65,344 registros que cubre tanto Nastaliq/urdu romano como múltiples dialectos árabes.
Rendimiento del Modelo: Un detector XLM-RoBERTa entrenado conjuntamente que logra una paridad cercana entre idiomas (0.816 de precisión para el urdu, 0.826 para el árabe), demostrando que esta paridad proviene del entrenamiento conjunto y no de las capacidades inherentes de preentrenamiento multilingüe.
Análisis de Atribución: Un estudio de concordancia cuantificada que muestra una correlación moderada (Spearman $\rho$ = 0.369) entre IG y KernelSHAP, lo que indica que ningún método único debe tratarse como la verdad de referencia (ground truth).
Evaluación de la Explicación Generativa: Una evaluación del explicador Aya-23-8B, que revela que, aunque hace eco del 69% de las palabras atribuidas, el texto generado es solo débilmente fiel; las pruebas de eliminación mostraron que las palabras citadas por el explicador no eran más decisivas que las palabras aleatorias, mientras que las palabras seleccionadas por IG sí lo eran.
Sensibilidad al Contexto: Demostración de que un modelo base falla en conjuntos de contraste (0.571 de precisión) al ignorar el contexto, pero un pequeño paso de ajuste fino (fine-tuning) sensible al contexto mejora significativamente el rendimiento (0.857) sin degradar la precisión general de la prueba.
Tarjeta de Fiabilidad: Una salida estructurada para cada predicción que incluye confianza calibrada, la palabra de evidencia, el objetivo atacado y la razón.

Resultos

Clasificación: El modelo bilingüe alcanzó una precisión global de 0.821 y un macro-F1 de 0.820. La transferencia zero-shot entre el urdu y el árabe colapsó a niveles cercanos al azar (0.50–0.53), confirmando que el entrenamiento conjunto es esencial para el rendimiento translingüístico.
Robustez: El modelo mostró alta robustez ante la eliminación de diacríticos y el ruido de caracteres, pero sufrió una caída significativa de precisión (0.218) cuando el urdu se convirtió a transliteración sintética de urdu romano, resaltando una brecha en la cobertura de escritura para variaciones sintéticas.
Fidelidad de la Explicación: Aunque el explicador Aya-23 produjo un texto plausible, las pruebas de eliminación revelaron una desconexión entre la explicación generada y la lógica de decisión real del modelo. Las palabras seleccionadas por IG fueron decisivas (eliminarlas redujo la probabilidad de predicción en 0.289), mientras que las palabras citadas por el explicador no lo fueron (caída de 0.218, estadísticamente indistinguible de las palabras aleatorias).
Contexto: El modelo base exhibió predicciones insensibles al contexto, etiquetando erróneamente oraciones inofensivas que contienen palabras clave sensibles como abusivas. El ajuste fino sensible al contexto corrigió esto, elevando la precisión del conjunto de contraste a 0.857.
Líneas Base: El XLM-RoBERTa bilingüe superó a las líneas base clásicas (TF-IDF, SVM, etc.) y al especialista en urdu, MuRIL. Sin embargo, quedó por detrás del especialista en árabe, MARBERTv2, por 2.5 puntos de precisión, pero ofreció la ventaja de un único modelo para ambos idiomas.

Significado
El artículo sostiene que la evaluación de los detectores multilingües de lenguaje abusivo requiere pruebas de fiabilidad específicas en lugar de solo la precisión agregada. Demuestra que un único modelo explicable puede moderar el lenguaje abusivo en urdu y árabe con una paridad cercana, siempre que se entrene de forma conjunta. Sin embargo, el estudio destaca que las explicaciones generadas por los Modelos de Lenguaje de Gran Escala (LLM) son solo condicionalmente fieles y deben presentarse como soporte para la decisión en lugar de como el razonamiento intrínseco del modelo. El trabajo subraya la necesidad de un ajuste fino sensible al contexto para prevenir falsos positivos basados en palabras clave y hace un llamado para que las evaluaciones futuras incluyan la robustez frente a la transliteración y la amplitud dialectal. El sistema está diseñado para apoyar a los moderadores humanos con confianza calibrada y evidencia, en lugar de actuar de forma autónoma.

Más como este