Hate Speech Classification In Roman Urdu: A Comparative Study On Parameter Efficient Fine-Tuning And Prompt Engineering

L'internet est devenu une vaste place publique mondiale où des personnes de toutes cultures partagent leurs pensées, mais cet espace ouvert permet également aux paroles nuisibles de se propager avec une rapidité alarmante. Détecter ces messages malveillants, connus sous le nom de discours de haine, est une tâche difficile pour les ordinateurs car cela nécessite de comprendre non seulement les mots eux-mêmes, mais aussi l'intention et le contexte qui les sous-tendent. Cela est particulièrement vrai pour les langues qui ne suivent pas de règles strictes ou qui ne possèdent pas de vastes bibliothèques d'exemples préécrits pour que les ordinateurs puissent apprendre. L'ourdou romain, une façon d'écrire la langue ourdoue en utilisant l'alphabet latin, est un exemple type d'une telle langue. Il est parlé par des millions de personnes au Pakistan et parmi les locuteurs de l'ourdou à travers le monde, pourtant il est souvent informel, avec une orthographe et une grammaire incohérentes qui varient selon la personne qui tape. Parce que les programmes informatiques standards luttent contre ce manque de structure, les chercheurs recherchent de nouvelles manières plus légères d'enseigner aux machines comment repérer les discours de haine dans ces textes réels et désordonnés, sans avoir besoin de quantités massives de données ou de superordinateurs coûteux.

Une chercheuse nommée Toneema Zubair a relevé ce défi en testant trois méthodes différentes pour voir laquelle pourrait le mieux enseigner à un ordinateur à distinguer un commentaire inoffensif d'un commentaire haineux en ourdou romain. L'étude s'est concentrée sur un ensemble de données spécifique contenant plus de 72 000 commentaires collectés sur les réseaux sociaux, où la grande majorité était inoffensive, mais une plus petite partie contenait un langage toxique. La première méthode testée consistait simplement à demander à un grand modèle informatique pré-entraîné de deviner la réponse sans entraînement supplémentaire, une technique connue sous le nom de prompting "zero-shot". La deuxième méthode consistait à donner au modèle quelques exemples de ce qu'il devait rechercher avant de lui demander de deviner, ce qu'on appelle le prompting "few-shot". La troisième méthode était une approche plus technique connue sous le nom de réglage fin efficace en paramètres (parameter-efficient fine-tuning), où les chercheurs ont effectué de très petits ajustements ciblés sur les paramètres internes du modèle pour l'aider à apprendre les schémas spécifiques du discours de haine en ourdou romain, plutôt que d'essayer de réentraîner l'intégralité du modèle à partir de zéro.

Les résultats ont montré que le simple fait de demander à l'ordinateur de deviner sans aide était souvent peu fiable. Lorsque les modèles étaient laissés à eux-mêmes, ils étiquetaient fréquemment des commentaires inoffensifs comme toxiques ou manquaient totalement de véritables discours de haine, principalement parce que la langue était très informelle et que l'ensemble de données était fortement biaisé en faveur des commentaires non toxiques. Cependant, lorsque les chercheurs ont fourni aux modèles quelques exemples pour les guider, la performance s'est considérablement améliorée. La méthode qui a donné les résultats les plus cohérents et les plus fiables, cependant, était celle qui effectuait de petits ajustements précis sur le modèle. En affinant le modèle avec ces mises à jour légères, l'ordinateur a appris à reconnaître bien mieux les nuances subtiles de l'ourdou romain qu'avec de simples exemples ou sans aucune aide. Cette approche a permis au modèle d'atteindre un haut niveau de précision, identifiant correctement les commentaires toxiques et non toxiques avec un équilibre que les autres méthodes ne pouvaient égaler.

L'étude a également exploré différentes manières de formuler les questions posées à l'ordinateur, comme l'utilisation de structures de phrases spécifiques ou l'ajout de jetons (tokens) invisibles et apprenables dans les prompts. Bien que ces variations aient montré des promesses et aient parfois bien performé avec de petites quantités de données, elles n'ont pas systématiquement surpassé la méthode qui ajustait les paramètres internes du modèle. La recherche suggère que si le fait de demander à un modèle informatique puissant de deviner à partir de quelques exemples est une option rapide et respectueuse des ressources, cela peut être imprévisible. En revanche, effectuer de petits changements efficaces au sein même du modèle constitue une solution plus stable et robuste pour détecter les discours de haine dans les langues à faibles ressources comme l'ourdou romain. Cette conclusion est importante car elle offre une voie pratique pour la modération des contenus en ligne dans les régions où les données sont rares et la puissance de calcul limitée, garantissant que les discours nuisibles puissent être identifiés sans nécessiter de sessions d'entraînement massives et énergivores.