Hate Speech Classification In Roman Urdu: A Comparative Study On Parameter Efficient Fine-Tuning And Prompt Engineering

Internet se ha convertido en una vasta plaza pública global donde personas de todas las culturas comparten sus pensamientos, pero este espacio abierto también permite que las palabras dañinas se propaguen con una velocidad alarmante. Detectar estos mensajes dañinos, conocidos como discurso de odio, es una tarea difícil para las computadoras porque requiere comprender no solo las palabras en sí, sino la intención y el contexto detrás de ellas. Esto es especialmente cierto para los idiomas que no siguen reglas estrictas o que no cuentan con grandes bibliotecas de ejemplos preescritos para que las computadoras aprendan de ellos. El urdu romano, una forma de escribir el idioma urdu utilizando el alfabeto latino, es un ejemplo primordial de tal idioma. Es hablado por millones en Pakistán y entre los hablantes de urdu en todo el mundo, pero suele ser informal, con una ortografía y gramática inconsistentes que cambian dependiendo de quién esté escribiendo. Debido a que los programas de computación estándar luchan contra esta falta de estructura, los investigadores están buscando nuevas formas más ligeras de enseñar a las máquinas a detectar el discurso de odio en estos textos desordenados del mundo real sin necesidad de cantidades masivas de datos o supercomputadoras costosas.

Una investigadora llamada Toneema Zubair abordó este desafío probando tres métodos diferentes para ver cuál podía enseñar mejor a una computadora a distinguir entre un comentario inofensivo y uno de odio. El estudio se centró en un conjunto de datos específico que contenía más de 72,000 comentarios recolectados de redes sociales, donde la gran mayoría eran inofensivos, pero una pequeña porción contenía lenguaje tóxico. El primer método probado fue simplemente pedirle a un modelo de computadora grande y preentrenado que adivinara la respuesta sin entrenamiento adicional, una técnica conocida como prompting de cero disparos (zero-shot prompting). El segundo método consistió en darle al modelo unos pocos ejemplos de lo que debía buscar antes de pedirle que adivinara, llamado prompting de pocos disparos (few-shot prompting). El tercer método fue un enfoque más técnico conocido como ajuste fino eficiente en parámetros (parameter-efficient fine-tuning), donde los investigadores realizaron ajustes muy pequeños y dirigidos a los ajustes internos del modelo para ayudarlo a aprender los patrones específicos del discurso de odio en urdu romano, en lugar de intentar reentrenar todo el modelo desde cero.

Los resultados mostraron que simplemente pedirle a la computadora que adivinara sin ayuda era a menudo poco fiable. Cuando los modelos se dejaban a su propia suerte, frecuentemente etiquetaban erróneamente comentarios inofensivos como tóxicos o pasaban por alto el discurso de odio real, debido en gran medida a que el lenguaje era muy informal y el conjunto de datos estaba fuertemente sesgado hacia comentarios no tóxicos. Sin embargo, cuando los investigadores proporcionaron a los modelos solo un puñado de ejemplos para guiarlos, el rendimiento mejoró significamente. El método que produjo los resultados más consistentes y fiables, no obstante, fue aquel que realizó ajustes pequeños y precisos al modelo. Al realizar el ajuste fino del modelo con estas actualizaciones ligeras, la computadora aprendió a reconocer los sutiles matices del urdu romano mucho mejor de lo que lo hizo solo con ejemplos o sin ayuda alguna. Este enfoque permitió al modelo lograr un alto nivel de precisión, identificando correctamente tanto los comentarios tóxicos como los no tóxicos con un equilibrio que los otros métodos no pudieron igualar.

El estudio también exploró diferentes formas de plantear las preguntas hechas a la computadora, como el uso de estructuras de oraciones específicas o la adición de tokens invisibles y aprendibles a los prompts. Aunque estas variaciones mostraron potencial y a veces funcionaron bien con pequeñas cantidades de datos, no superaron consistentemente al método que ajustaba los ajustes internos del modelo. La investigación sugiere que, si bien pedirle a un modelo de computadora potente que adivine basándose en unos pocos ejemplos es una opción rápida y con uso eficiente de recursos, puede ser impredecible. En contraste, realizar cambios pequeños y eficientes en el propio modelo proporciona una solución más estable y robusta para detectar el discurso de odio en idiomas de bajos recursos como el urdu romano. Este hallazgo es importante porque ofrece un camino práctico para la moderación de contenido en línea en regiones donde los datos son escasos y la potencia de cómputo es limitada, asegurando que el discurso dañino pueda ser identificado sin requerir sesiones de entrenamiento masivas y de alto consumo energético.