'Ghaib in Translation' aka Unseen Harm: Measuring Cross-Script Safety Inconsistency with 'Missed-in-Urdu' Scores in LLM Hate Speech Detection
Este artículo revela que los grandes modelos de lenguaje exhiben inconsistencias de seguridad significativas y tasas de "omisión en urdu" al detectar discursos de odio en urdu a través de diversos alfabetos, destacando una brecha crítica en la fiabilidad de la moderación de contenidos causada por la ausencia total de urdu en nueve años de actas de las principales investigaciones de seguridad de la IA.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Internet es un mercado vasto y ruidoso donde miles de millones de personas comparten pensamientos, bromas y quejas cada segundo. Para mantener este espacio seguro, las empresas tecnológicas confían en sistemas automatizados que actúan como porteros digitales, escaneando publicaciones para identificar el discurso de odio y las amenazas antes de que puedan causar daños en el mundo real. Estos sistemas son entrenados con cantidades masivas de texto, aprendiendo a reconocer patrones de abuso en los idiomas que mejor conocen. Sin embargo, el mundo habla muchos idiomas, y la capacidad de estos porteros digitales para entenderlos no es igual. Algunos idiomas, como el inglés, están bien representados en los datos de los que aprenden estos sistemas, mientras que otros suelen ser pasados por alto. Cuando un sistema no logra reconocer el discurso de odio en un idioma específico, crea un punto ciego donde el daño puede propagarse sin control, incluso cuando el mismo sistema bloquea con éxito ese mismo daño si estuviera escrito en una lengua diferente. Esta brecha no es solo un fallo técnico; es un fallo de seguridad que deja vulnerables a millones de hablantes.
Un estudio reciente realizado por investigadores de la Universidad Brunel de Londres y del Instituto Hasso Plattner de Alemania arroja luz sobre uno de estos puntos ciegos más significativos: el urdu. El urdu es la décima lengua más hablada del mundo, con 246 millones de hablantes en Pakistán, la India y grandes comunidades en el Reino Unido y los Estados Unidos. A pesar de su tamaño y del alto volumen de abuso en línea documentado en las comunidades de habla urdua, los investigadores descubrieron que el campo de la investigación sobre la seguridad en línea casi lo ha ignorado por completo. En una revisión exhaustiva de nueve años de las principales conferencias académicas dedicadas al abuso en línea, el equipo descubrió que ni un solo artículo se dedicó al urdu. Esta ausencia es sorprendente, especialmente dado que un taller importante en 2022 había hecho un llamado explícito para realizar más trabajos sobre este idioma. Los investigadores se propusieron ver si esta falta de atención tenía consecuencias mensurables para las herramientas de seguridad actualmente en uso.
Para probar esto, el equipo examinó cinco de los modelos de inteligencia artificial más avanzados disponibles hoy en día. Alimentaron estos modelos con una gran colección de textos que contenían discurso de odio, amenazas y conversaciones normales, pero presentaron el contenido de diferentes maneras. Algunos textos estaban en el guion original del urdu, conocido como Nastaliq, que fluye de derecha a izquierda. Otro texto estaba escrito en urdu romano, donde las palabras en urdu se escriben utilizando letras inglesas, una práctica común en las redes sociales. Los investigadores también proporcionaron traducciones al inglés de los mismos mensajes. Al comparar cómo reaccionaban los modelos ante el mismo mensaje en estos diferentes formatos, pudieron ver si los sistemas de seguridad realmente comprendían el contenido o si simplemente estaban reaccionando a la forma de las letras.
Los resultados revelaron una inconsistencia preocupante. Cuando los modelos leían el contenido dañino en inglés, lo identificaban correctamente como abusivo. Sin embargo, cuando el mismo mensaje se presentaba en el guion original del urdu, los modelos a menudo no lo señalaban como peligroso. En promedio, a través de los diferentes modelos probados, aproximadamente el 18 por ciento de los mensajes dañinos fueron etiquetados de manera diferente dependiendo de si estaban en urdu o en inglés. En términos más sencillos, si una persona publicara una amenaza en urdu, el sistema podría dejarla pasar como una publicación normal, pero si esa misma amenaza se tradujera al inglés, el sistema la bloquearía inmediatamente. Esta tasa de "perdido en urdu", donde el contenido dañino se escapa entre las grietas solo debido al guion en el que está escrito, osciló entre aproximadamente el 2 por ciento y casi el 10 por ciento, dependiendo del modelo específico utilizado.
El estudio también destacó que no todos los modelos de inteligencia artificial son igualmente vulnerables a este problema. Los modelos más avanzados y a gran escala, a menudo llamados modelos de frontera, mostraron una mejor consistencia, con menos errores. Sin embargo, los modelos más pequeños y de código abierto mostraron tasas de fallo mucho más altas, perdiendo casi un tercio del contenido dañino cuando este estaba en urdu. Esto sugiere que las características de seguridad de estos sistemas no son uniformes; están distribuidas de manera desigual, ofreciendo una protección más fuerte a los hablantes de algunos idiomas mientras deja expuestos a otros. Los investigadores también notaron una brecha estructural en los datos disponibles: no existe un conjunto de datos dedicado al discurso de odio que mezcle urdu e inglés, una forma común en la que la gente se comunica en línea. Sin este tipo de datos específicos, es imposible probar plenamente qué tan bien manejan estos sistemas la compleja realidad de los idiomas mixtos de las redes sociales modernas.
En última instancia, el trabajo demuestra que las herramientas de seguridad actuales proporcionan un escudo desigual. Un sistema que puede detectar de manera fiable el discurso de odio en inglés pero que falla al reconocer el mismo discurso en urdu, no es verdaderamente seguro para los millones de personas que hablan ese idioma. Los hallazgos confirman que la ausencia de urdu en la investigación de seguridad no es solo un descuido académico; tiene consecuencias reales y mensurables para la moderación de contenidos. Hasta que estas brechas no se llenen con mejores datos y pruebas más rigurosas en diferentes guiones, una parte significativa de la población mundial en línea seguirá siendo vulnerable al daño que los mismos sistemas diseñados para protegerlos simplemente no pueden ver.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.