Automatically Detecting Code-Switching Between Nigerian Pidgin English and English

Dans les paysages multilingues et bouillonnants du Nigeria, la langue est rarement un flux unique et statique. Au contraire, c'est un courant dynamique où deux langues s'écoulent souvent ensemble dans la même phrase. Cette pratique, connue sous le nom de changement de code (code-switching), se produit lorsqu'un locuteur passe de manière fluide de l'anglais standard au pidgin anglais nigérian, une langue créole vibrante utilisée par des millions de personnes comme un pont entre divers groupes ethniques. Pour les ordinateurs, qui reposent sur des règles rigides et des catégories claires pour comprendre le texte, cette fluidité représente un casse-tête important. Les outils traditionnels peinent souvent à déterminer où l'une des langues se termine et l'autre commence, surtout quand la seconde langue, le pidgin, manque d'une orthographe standardisée unique et varie considérablement selon les régions. Sans un moyen d'identifier précisément ces changements, les ordinateurs ne peuvent pas traiter efficacement les conversations riches et mixtes qui définissent la vie quotidienne de millions de personnes, laissant une vaste partie de la communication humaine invisible pour la technologie numérique.

Pour résoudre ce problème, des chercheurs de l'Université de Bangor ont entrepris de construire une nouvelle sorte de carte pour ces textes de langues mixtes. Ils ont commencé par rassembler une vaste collection d'écrits réels, regroupant des récits provenant de trente livres différents, des milliers de commentaires d'un forum en ligne et des centaines d'articles de presse. Ce mélange diversifié a permis de capturer toute la gamme de la façon dont les gens parlent et écrivent réellement, de la structure formelle des rapports de presse aux échanges rapides et informels des utilisateurs d'Internet. L'équipe a ensuite créé un ensemble de données de « vérité terrain » (ground truth), un guide de référence soigneusement vérifié où des experts humains ont marqué manuellement chaque point où la langue passait de l'anglais au pidgin ou inversement. Cette carte vérifiée par l'humain a servi de norme de référence contre laquelle tous les modèles informatiques seraient testés.

Les chercheurs ont ensuite entraîné différents types de programmes informatiques pour apprendre à repérer ces changements par eux-mêmes. Ils ont testé les suspects habituels du domaine de l'intelligence artificielle, tels que les modèles d'apprentissage profond (deep learning) qui tentent de mimer la façon dont les cerveaux humains traitent les séquences de mots. Ils ont également testé des classificateurs statistiques traditionnels qui recherchent des motifs dans des groupes de lettres. Cependant, l'outil le plus surprenant et le plus efficace s'est avéré être quelque chose de très différent : un modèle basé sur la compression. En termes simples, ce type de programme fonctionne en apprenant les motifs statistiques de la façon dont les lettres se suivent dans une langue spécifique, un peu comme une personne qui aurait lu un livre si souvent qu'elle peut prédire le mot suivant sans réfléchir. Les chercheurs ont utilisé une méthode spécifique appelée Prédiction par Appariement Partiel (Prediction by Partial Matching), qui permet à l'ordinateur d'analyser le texte caractère par caractère, en construisant une carte de probabilité de ce qui vient ensuite en fonction du contexte immédiat.

Lorsque l'équipe a testé ces différents programmes par rapport à leur carte vérifiée par l'humain, les résultats se sont révélés révélateurs. Les modèles d'apprentissage profond, qui nécessitent souvent d'énormes quantités de données pour bien fonctionner, ont eu du mal à suivre, atteignant des scores de précision inférieurs aux attentes. Les modèles statistiques traditionnels ont été plus performants, un type spécifique de classificateur de forêt aléatoire (random forest) atteignant une précision de 89 pour cent. Pourtant, les modèles basés sur la compression, qui n'ont pas besoin de jeux de données massifs pour apprendre, ont obtenu des résultats tout aussi bons que les meilleurs modèles traditionnels, atteignant également une précision de 89 pour cent. Ce qui a rendu ces modèles de compression particulièrement impressionnants était leur vitesse et leur efficacité. Alors que d'autres modèles prenaient plus de temps pour l'entraînement et le traitement, les modèles de compression pouvaient apprendre les motifs de la langue et analyser un nouveau texte en seulement quelques secondes, nécessitant très peu de puissance de calcul.

L'étude a également révélé des détails intéressants sur les langues elles-mêmes. En analysant le texte, les chercheurs ont découvert que le pidgin nigérian a tendance à utiliser un vocabulaire plus compressé, s'appuyant fortement sur un ensemble plus restreint de mots à haute fréquence par rapport au vocabulaire plus large et plus diversifié de l'anglais standard. Cette différence de structure a aidé les modèles informatiques à distinguer les deux, car les motifs statistiques des séquences de lettres dans le pidgin étaient suffisamment distincts pour être reconnus, même sans un dictionnaire massif. Les matrices de confusion, qui montrent précisément où les modèles ont commis des erreurs, ont révélé que les modèles de compression étaient particulièrement doués pour identifier le pidgin, signalant correctement près de 93 pour cent des segments de pidgin, bien qu'ils aient parfois confondu certains passages d'anglais avec du pidgin.

En fin de compte, cette recherche démontre que vous n'avez pas toujours besoin de l'intelligence artificielle la plus complexe et la plus gourmande en données pour résoudre des problèmes linguistiques difficiles. Pour les langues à faibles ressources comme le pidgin nigérian, qui manquent des vastes archives numériques disponibles pour les langues majeures du monde, des approches statistiques plus simples peuvent être aussi efficaces que les réseaux neuronaux les plus avancés. Les modèles basés sur la compression se sont révélés être une alternative puissante, rapide et efficace, capables de segmenter le texte de langue mixte avec une grande précision. En fournissant un nouvel ensemble de données vérifié manuellement et en prouvant la viabilité de ces modèles légers, les chercheurs ont ouvert une porte pour de futurs outils qui pourront enfin comprendre et traiter les conversations riches et codées de millions de personnes, rendant la technologie numérique plus inclusive pour les locuteurs de langues diverses et évolutives.