La langue est le pont qui relie les peuples, leur permettant de commercer, d'apprendre et de partager des idées par-delà les frontières. Pourtant, pour plus d'un milliard de personnes sur le continent africain, ce pont est souvent brisé ou totalement absent dans le monde numérique. Bien que l'intelligence artificielle ait fait des progrès incroyables ces dernières années, aidant les ordinateurs à comprendre et à parler de nombreuses langues, elle a largement délaissé les diverses parlers de l'Afrique subsaharienne. Ce fossé crée une fracture numérique, laissant de nombreuses communautés incapables d'accéder aux outils de productivité et de collaboration qu'offre l'IA. Le problème fondamental n'est pas seulement un manque d'intérêt, mais une pénurie de données de haute qualité. Pour apprendre à un ordinateur à traduire, les chercheurs ont besoin de vastes quantités de textes où les phrases dans une langue sont parfaitement appariées à leurs traductions dans une autre. Pour de nombreuses langues africaines, de telles données propres et à grande échelle n'existent tout simplement pas dans le monde ouvert, forçant les chercheurs à s'appuyer sur des fragments d'Internet désordonnés et non structurés ou sur des ensembles de données coûteux et limités, trop restreints pour bien enseigner à un ordinateur.

Une équipe de chercheurs de Tether AI Research s'est donné pour mission de corriger ce déséquilibre en construisant une nouvelle fondation pour la traduction automatique. Ils ont introduit un projet appelé TranslatePsy-AfriSLM, qui fournit une boîte à outils complète pour traduire entre l'anglais et dix-neuf langues différentes d'Afrique subsaharienne. Au lieu d'essayer de construire un cerveau informatique massif et coûteux qui peine avec ces langues, ils se sont concentrés sur la création d'un modèle plus petit et hautement efficace. Leur approche ne consistait pas seulement à rassembler plus de données, mais à être incroyablement sélectifs. Ils ont développé une méthode rigoureuse pour passer au crible des millions de paires de phrases, écartant la grande majorité d'entre elles qui étaient bruyantes ou de piètre qualité, pour ne conserver que les meilleurs exemples. En combinant ces données soigneusement sélectionnées avec un type spécifique de texte généré par ordinateur, ils ont entraîné un modèle doté de seulement 0,8 milliard de paramètres. Bien que ce modèle soit minuscule comparé aux géants utilisés par les grandes entreprises technologiques, il a surpassé des systèmes des dizaines de fois plus grands, prouvant que la qualité des données importe bien plus que la taille brute du cerveau informatique.

Le chemin vers ce résultat a commencé par la reconnaissance que les sources de données existantes étaient défectueuses. Les chercheurs ont examiné les bibliothèques massives de textes disponibles sur Internet, qui contiennent des milliards de paires de phrases. Cependant, ils ont trouvé que ces collections ressemblaient à une bibliothèque où les livres seraient jetés en tas sans ordre ; elles contenaient des doublons, des erreurs et des phrases qui ne correspondaient pas bien. Ils ont également examiné des ensembles de données plus petits, créés par l'homme, qui étaient propres mais bien trop réduits pour enseigner efficacement à un modèle. Pour résoudre cela, l'équipe a construit un pipeline multi-étapes pour nettoyer et organiser les données. Ils ont commencé par rassembler du texte brut à partir de sources ouvertes, puis ont utilisé un système de notation sophistiqué pour évaluer la qualité de chaque paire de phrases. Ce système ne reposait pas sur une seule façon de juger la qualité, mais combinait les enseignements de trois outils d'évaluation différents pour créer un score unique et fiable. Cela leur a permis de filtrer jusqu'à 96 % des données d'entraînement sans perdre de valeur d'apprentissage. En essence, ils ont réalisé que l'ordinateur n'avait pas besoin de lire des millions de mauvais exemples pour apprendre ; il avait seulement besoin d'en lire quelques milliers de parfaits.

Un aspect crucial de leur découverte fut de comprendre comment générer de nouvelles données. Puisque les traductions humaines de haute qualité étaient rares, l'équipe a utilisé un puissant modèle informatique pour créer des données synthétiques en traduisant de grandes quantités de texte de l'anglais vers les langues africaines. Ils ont découvert que ces données générées par ordinateur, lorsqu'elles étaient filtrées par leurs contrôles de qualité stricts, étaient en réalité supérieures aux données brutes trouvées sur Internet. Elles étaient plus propres, plus cohérentes et fournissaient un signal plus fort pour l'apprentissage du modèle. Ils ont également découvert que la direction dans laquelle ils évaluaient les données importait énormément. S'ils jugeaient une paire de phrases dans le mauvais ordre par rapport à la façon dont le modèle allait finalement l'utiliser, la performance chutait considérablement. En alignant leurs contrôles de qualité avec la direction finale de la traduction, ils se sont assurés que chaque morceau de donnée injecté dans le modèle était pertinent et de haute qualité.

Les résultats de cette sélection minutieuse furent frappants. L'équipe a entraîné une série de petits modèles de langage, le plus petit possédant seulement 0,8 milliard de paramètres. Testé sur des tests de référence standards, ce minuscule modèle a battu des systèmes beaucoup plus grands, incluant un modèle de 27 milliards de paramètres et un modèle massif de 122 milliards de paramètres considérés comme étant à la pointe de la technologie. Il a même surpassé des modèles de traduction spécialisés conçus spécifiquement pour cette tâche. Les chercheurs ont constaté que leur modèle ne traduisait pas seulement mieux, mais qu'il conservait également la capacité de tenir des conversations, une caractéristique souvent perdue lorsque les modèles sont entraînés uniquement sur des données de traduction. Ils ont également testé le modèle sur des langues qu'il n'avait jamais vues auparavant, et celui-ci a montré une capacité remarquable de généralisation, améliorant ses performances sur de nouvelles langues inconnues. Cela suggère que les leçons tirées des dix-neuf langues cibles ont aidé le modèle à comprendre la structure sous-jacente du langage d'une manière qui se transférait à d'autres langues.

Le résultat le plus surprenant fut peut-être que l'ajout d'une petite quantité de données provenant d'autres langues, telles que celles d'Asie et d'Europe, a aidé le modèle à se souvenir de la façon de parler ces langues sans les oublier. Cela a empêché un problème courant en intelligence artificielle connu sous le nom d'oubli catastrophique, où l'apprentissage d'une nouvelle compétence provoque la perte d'une ancienne par l'ordinateur. En incluant ce mélange diversifié, le modèle est devenu plus robuste et polyvalent. Les chercheurs ont également noté que, bien que leurs données soient excellentes, elles présentaient encore des limites. Ils ont reconnu que, sans évaluation humaine, il est difficile de savoir si les traductions sont véritablement parfaites dans chaque nuance culturelle, et que les données pourraient favoriser les formes écrites standard plutôt que les dialectes régionaux. Cependant, leur travail démontre qu'avec la bonne approche de la qualité des données, il est possible de construire des outils puissants et efficaces pour les langues qui ont été laissées pour compte.

Ce travail marque une étape importante vers la réduction de la fracture numérique pour les langues africines. Il montre que la voie à suivre n'est pas nécessairement de construire des ordinateurs toujours plus gros, mais d'être plus intelligents quant aux données que nous leur fournissons. En se concentrant sur la qualité plutôt que sur la quantité et en utilisant un filtrage rigoureux pour créer un environnement d'apprentissage propre, les chercheurs peuvent construire des modèles qui sont à la fois efficaces et performants. L'équipe a rendu ses données et ses modèles publics, invitant d'autres à bâtir sur cette fondation. Leur succès suggère qu'avec des efforts continus et une sélection minutieuse, la barrière à l'entrée pour une traduction automatique de haute qualité dans les langues à faibles ressources peut être abaissée, ouvrant de nouvelles possibilités de communication et de collaboration à travers le continent. L'avenir de l'intelligence artificielle en Afrique ne dépendra peut-être pas de la possession du matériel le plus puissant, mais de la possession des données les plus réfléchies.