Imaginez que vous essayez d'apprendre à un robot super intelligent à écouter le monde. Ce robot, appelons-le « Nemotron », est déjà un as pour comprendre de nombreuses langues, mais il est surtout habitué aux grandes langues populaires. Maintenant, imaginez que vous vouliez lui apprendre trois langues spécifiques parlées au Kenya : le kikuyu, le dholuo et le kalenjin. C'est le monde de la Reconnaissance Automatique de la Parole (RAP). Considérez la RAP comme l'« oreille » et le « cerveau » du robot travaillant ensemble pour transformer les ondes sonores en mots écrits.

Mais voici la partie délicate : enseigner une nouvelle langue à un robot ne consiste pas seulement à lui faire écouter quelques chansons. C'est comme essayer d'apprendre une nouvelle recette à un chef quand les ingrédients sont désordonnés, que les instructions sont écrites dans un code que vous ne comprenez pas totalement et que certains outils de cuisine manquent. Dans le monde de l'IA, c'est ce qu'on appelle le problème des « faibles ressources ». Cela ne signifie pas seulement qu'il n'y a pas assez d'audio ; cela signifie que l'audio peut comporter des erreurs d'orthographe bizarres, des parties manquantes ou des bruits de fond confus qui rendent difficile pour le robot de faire la différence entre un vrai mot et un bug.

Ce document est l'histoire de la façon dont une équipe d'ingénieurs a pris ce robot super intelligent, lui a donné une « leçon de pont » en utilisant une langue apparentée, puis a tenté de lui enseigner ces trois langues kenyanes. Ils ne voulaient pas seulement qu'il comprenne les mots ; ils voulaient qu'il écoute en temps réel, comme un humain discutant lors d'un appel téléphonique, plutôt que d'attendre la fin de toute la conversation pour écrire. C'est un récit de travail de détective sur les données, de correction d'instructions brisées et de l'observation de jusqu'où un robot peut aller lorsqu'on lui donne les bons outils et la bonne dose de patience.

L'histoire du projet sur les langues kenyanes

Le document, écrit par Mark Gatere de C-elo Labs, est essentiellement un journal d'ingénierie. Il documente le parcours de l'adaptation d'un modèle d'IA massif pré-entraîné (Nemotron 3.5) pour comprendre le kikuyu, le dholuo et le kalenjin. L'équipe n'est pas partie de zéro ; elle est partie d'un « pont ». Ils ont pris une version du robot qui avait déjà appris le swahili kenyan et l'ont utilisé comme point de départ. Pensez-y comme à l'apprentissage de l'italien si vous connaissez déjà l'espagnol : la grammaire et le vocabulaire sont assez proches pour que vous ayez une avance considérable, même si les deux langues ne sont pas des jumelles identiques.

Le travail de détective : Nettoyer les données
Avant que le robot puisse apprendre, l'équipe a dû agir comme des détectives de données. Les fichiers audio bruts qu'ils ont trouvés étaient désordonnés. Certains avaient des segments audio manquants, certains avaient des transcriptions avec des symboles bizarres (comme « pause longue » écrit en toutes lettres au lieu d'un silence), et certains avaient une orthographe qui ne correspondait pas aux sons réels.

• Le dilemme « Supprimer vs Réparer » : L'équipe a été confrontée à un choix difficile. Si une transcription contenait un symbole bizarre, fallait-il essayer de deviner ce qu'il signifiait et le réparer, ou simplement jeter tout l'enregistrement ? Ils ont décidé que deviner était trop dangereux. S'ils n'étaient pas sûrs à 100 % de ce que le locuteur avait dit, ils supprimaient la ligne. C'est comme un chef qui jette un gâteau s'il n'est pas sûr que l'ingrédient soit du sucre ou du sel, plutôt que de risquer un mauvais goût. Cela signifiait qu'ils perdaient des données, mais les données qu'ils gardaient étaient dignes de confiance.
• Le problème des « Marqueurs » : Dans les données en kalenjin, ils ont découvert que les enregistrements contenaient de petites notes écrites dans le texte comme [pause] ou [cs] (alternance codique/code-switching). Le robot essayait d'apprendre à dire « pause » à voix haute ! L'équipe a dû supprimer complètement ces notes pour que le robot apprenne à reconnaître le silence et le changement de langue, et non les mots décrivant ces phénomènes.

L'entraînement : Un marathon, pas un sprint
Une fois les données nettoyées, ils ont commencé l'entraînement. Ils n'ont pas seulement entraîné le robot une seule fois ; ils l'ont fait par étapes, comme si l'on montait de niveau dans un jeu vidéo.

1. Ajustement de tous les paramètres (Full-Parameter Tuning) : Au lieu de simplement ajuster quelques réglages, ils ont laissé le robot réapprendre presque tout sur la façon dont il traite le son pour ces langues spécifiques.
2. Mode de diffusion (Streaming) : Crucialement, ils ont maintenu le robot en mode « streaming ». Cela signifie que le robot doit deviner les mots au fur et à mesure que le son arrive, par morceaux, sans attendre la fin de la phrase. C'est comme essayer de transcrire une émission de radio en direct plutôt que de lire un livre terminé. C'est beaucoup plus difficile, mais beaucoup plus utile pour les applications réelles.

Les résultats : Ont-ils réussi ?
Le document est très honnête sur ce qui a fonctionné et ce qui n'a pas fonctionné. Il ne prétend pas avoir « résolu » ces langues, mais montre des progrès massifs.

• Kikuyu : Le robot est devenu très performant. Après tout le nettoyage et l'entraînement, il a atteint un taux d'erreur de mots (WER) de 42,97 %. En langage clair, cela signifie que si le robot entendait 100 mots, il en aurait correctement identifié environ 57. C'est une amélioration énorme par rapport à leur point de départ. Ils ont également mesuré un « taux d'erreur de caractères sans espace » de 7,79 %, ce qui est une façon sophistiquée de dire que même s'il se trompait sur les limites des mots (comme écrire « in ya » au lieu de « inya »), les lettres réelles étaient pour la plupart correctes.
• Dholuo : Celui-ci a encore mieux performé, avec un WER de 33,98 %. Le robot a fait moins d'erreurs ici, comprenant environ deux tiers des mots.
• Kalenjin : Celui-ci est encore un « travail en cours ». Le robot a obtenu un WER de 68,74 % sur un ensemble de test filtré. Il s'agit d'un taux d'erreur élevé, ce qui signifie que le robot est encore en difficulté. Les auteurs expliquent que ce score est un résultat « diagnostique », et non un résultat final, car ils ont dû être très stricts sur les données de test (en supprimant tout ce qui contenait des chiffres ou des phrases courtes). Ils cherchent encore la meilleure façon d'enseigner cette langue.

Ce que le document ne prétend pas
Les auteurs font très attention à ne pas survendre leurs résultats.

• Pas de prétention de « État de l'art » : Ils précisent explicitement qu'ils ne sont pas encore les meilleurs au monde. Ils n'ont pas comparé leur robot à tous les autres robots de la planète en utilisant exactement le même test. Leurs chiffres sont internes, ce qui signifie qu'ils sont utiles pour suivre leur propre progression, mais ils ne constituent pas un score final pour le monde entier.
• Le mystère du « Pont » : Ils ont utilisé un modèle de swahili kenyan comme point de départ, mais admettent qu'ils n'ont pas prouvé que cela était meilleur que de partir du robot brut, non entraîné. C'était une supposition intelligente qui a fonctionné, mais ils n'ont pas effectué de test comparatif pour prouver que c'était la seule voie possible.
• Le test « répété » : Ils ont utilisé les mêmes données de test de manière répétée pour guider leurs décisions. Bien qu'ils n'aient pas laissé le robot « voir » les réponses pendant l'entraînement, ils ont examiné les résultats pour décider quand s'arrêter. Cela signifie que les scores pourraient être légèrement optimistes car l'équipe a fini par trop bien connaître les questions du test.

Le test en conditions réelles
L'équipe ne s'est pas contentée de chiffres. Ils ont construit un prototype de système où un utilisateur pouvait parler au robot via un navigateur web, et le robot taperait en retour en temps réel. Ils se sont assurés que le robot était isolé afin que si la version Dholuo échouait, cela ne fasse pas planter la version Kikuyu. Ils ont également mis en place une sécurité pour que seuls les utilisateurs connectés puissent accéder au service, protégeant ainsi le « cerveau » du robot contre le vol.

La conclusion
Ce document est une leçon magistrale d'IA « centrée sur les données ». Il montre qu'avoir un modèle de robot puissant ne suffit pas ; il faut être un éditeur méticuleux des données que vous le nourrissez. En nettoyant les transcriptions, en supprimant les « notes » confuses et en entraînant le robot à écouter en temps réel, ils ont transformé une IA polyvalente en un outil spécialisé pour les langues kenyanes.

Pour le kikuyu et le dholuo, ils disposent d'un système opérationnel et en direct qui est assez bon pour être utile. Pour le kalenjin, ils ont une feuille de route indiquant ce qui est encore cassé et comment le réparer. La plus grande leçon ne concerne pas seulement ces trois langues ; c'est que pour les langues à faibles ressources, la recette secrète n'est pas seulement des ordinateurs plus puissants — c'est une meilleure hygiène des données et un processus d'ingénierie méticuleux, étape par étape. Le robot apprend, mais il apprend parce que les humains ont fait le travail difficile de nettoyer le désordre d'abord.