Language Models for Portuguese: A Systematic Mapping Study

Imaginez l'internet comme une immense bibliothèque animée où chaque livre est écrit dans une langue différente. Pendant longtemps, les ordinateurs les plus intelligents de cette bibliothèque — ceux qui peuvent lire, écrire et discuter comme des humains — ont été principalement entraînés sur des livres en anglais. Ils sont devenus incroyablement fluides en anglais, mais quand on les interrogeait sur des histoires venant d'autres terres, ils trébuchaient souvent, s'embrouillaient ou inventaient simplement des choses. C'est parce que le « cerveau » de ces ordinateurs est construit à partir des mots qu'ils ont lus ; s'ils n'ont pas lu assez de livres dans une langue spécifique, ils ne peuvent pas vraiment comprendre la culture, les blagues ou l'histoire derrière ces mots. Récemment, des scientifiques ont commencé à construire des ordinateurs spéciaux pour le portugais, la langue parlée par des centaines de millions de personnes à travers le Brésil, le Portugal et certaines parties de l'Afrique et de l'Asie. Mais tout comme une bibliothèque aux livres éparpillés, l'information sur ces nouveaux ordinateurs portugais est désordonnée, cachée à différents endroits et difficile à trouver d'un seul coup.

Ce document est comme un bibliothécaire super organisé qui décide de nettoyer toute la section portugaise. Les auteurs, une équipe d'une université du Brésil, sont partis à la chasse massive pour trouver chaque modèle d'ordinateur conçu pour parler portugais qui a été publié entre 2020 et 2025. Ils ne se sont pas contentés de les compter ; ils ont ouvert les boîtes, vérifié les manuels et ont essayé de comprendre comment ils étaient construits, ce qu'on leur a enseigné et si quelqu'un pouvait réellement les utiliser. Ils ont trouvé 46 modèles différents, allant de chatbots généraux à des spécialistes qui ne parlent que de droit, de médecine ou de pétrole et gaz. Leur grande découverte ? Bien qu'il y ait des progrès passionnants, la « bibliothèque » est encore un peu chaotique. Beaucoup de ces modèles sont comme des recettes secrètes que seul le chef connaît (le code n'est pas partagé), certains ont été enseignés à l'aide de livres traduits qui ne capturent pas tout à fait la saveur locale, et très peu d'entre eux ont été vérifiés pour voir s'ils sont équitables ou sûrs à utiliser. Les auteurs suggèrent que pour que ces ordinateurs soient vraiment utiles pour tous ceux qui parlent portugais, nous devons arrêter de compter sur les traductions, partager nos plans plus ouvertement et nous assurer que les ordinateurs comprennent la riche diversité de la langue, et pas seulement sa version la plus populaire.

La Grande Chasse aux Modèles Portugais

Considérez le monde de l'Intelligence Artificielle (IA) comme un immense chantier de construction. Pendant des années, les gratte-ciel les plus impressionnants et les plus grands ont été construits avec des briques anglaises. Ce sont les « Grands Modèles de Langage » (LLM), ces ordinateurs intelligents qui peuvent écrire des essais, répondre à des questions et même écrire du code. Mais les ouvriers sur ce chantier ont réalisé que si vous ne construisez qu'avec des briques anglaises, vous ne pouvez pas construire une maison qui ressemble à un foyer pour quelqu'un qui parle portugais. Ainsi, entre 2020 et 2025, une nouvelle vague de bâtisseurs a commencé à construire des maisons spécifiquement pour les lusophones portugais.

Le problème était que ces nouvelles maisons étaient éparpillées un peu partout sur la carte. Certaines étaient décrites dans des revues scientifiques sophistiquées, d'autres n'étaient que des notes sur un site web, et d'autres encore étaient cachées dans des rapports techniques que personne ne lisait. C'était comme essayer de trouver un jouet spécifique dans une pièce où les jouets avaient été jetés dans différentes piles, certaines étiquetées, d'autres non. Les auteurs de ce document ont décidé de ranger la pièce. Ils ont réalisé une « étude de cartographie systématique », ce qui est une façon élégante de dire qu'ils ont créé une liste maîtresse de chaque modèle de langue portugaise qu'ils ont pu trouver.

Ils ont trouvé 46 modèles au total. C'est beaucoup de différents ordinateurs ! Ils les ont triés comme un collectionneur triant des timbres. Ils ont regardé quel « modèle de base » chacun avait pour point de départ (comme savoir s'il était construit sur une fondation de BERT, Llama ou T5), ce qu'il était conçu pour faire (chat général, conseils juridiques, diagnostic médical ou analyse de tweets) et quelle était sa taille (allant de minuscules modèles de 12 millions de paramètres à des modèles massifs de 72 milliards).

L'« Arbre Généalogique » de l'IA Portugaise

L'une des choses les plus cool que les auteurs ont faites est d'avoir dessiné un « arbre phylogénétique ». Imaginez un arbre généalogique pour ces ordinateurs. Au lieu de montrer comment les humains sont liés à leurs grands-parents, cet arbre montre comment ces modèles d'IA sont liés à leurs « parents ».

Ils ont découvert que la plupart des modèles portugais sont les descendants de quelques modèles « ancêtres » célèbres. La plus grande branche familiale provient de BERT, qui est comme le arrière-grand-père de beaucoup de ces modèles ; 20 des 46 modèles trouvés ont été construits directement sur BERT ou ses cousins. La deuxième plus grande famille vient de la famille Llama, qui est l'ancêtre tendance sur lequel 10 modèles sont basés.

L'arbre montre également comment ces modèles ont évolué. Certains ont commencé comme des ordinateurs à usage général (bons en tout) puis ont reçu une formation spécialisée pour devenir des experts dans des domaines spécifiques. Par exemple, il y a une branche où un modèle a commencé comme un lecteur général, puis a étudié des manuels médicaux pour devenir un « CardioBERTpt » (une IA médecin cardiaque), puis une autre version a étudié des documents juridiques pour devenir un « JurisBERT » (une IA avocate). C'est comme un étudiant qui commence dans une école générale puis va dans des collèges spécialisés pour devenir médecin ou avocat.

Le Problème de la « Porte Ouverte »

Les auteurs ont également vérifié les portes de ces 46 maisons pour voir si quelqu'un pouvait entrer. Ils ont cherché trois choses :

1. Le Code : Pouvez-vous voir les plans ?
2. Le Modèle : Pouvez-vous télécharger le cerveau informatique fini ?
3. Les Données : Pouvez-vous voir les livres sur lesquels l'ordinateur a été entraîné ?

La nouvelle ici est un peu mitigée. Sur les 46 modèles, seuls 11 avaient leur code source (les plans) disponible pour que tout le monde puisse le voir. Environ 5 modèles étaient complètement verrouillés — vous ne pouviez pas les utiliser du tout. Et pour les données d'entraînement (les livres), seuls 17 modèles utilisaient des données librement téléchargeables. Le reste utilisait des données qui étaient soit cachées derrière un mur de paiement, soit nécessitaient une permission spéciale pour être demandées, soit étaient gardées secrètes par l'entreprise qui les avait construites.

Les auteurs ont également vérifié si ces modèles possédaient une « Fiche de Modèle » (Model Card), qui est comme une étiquette nutritionnelle pour l'IA. Elle vous dit ce que le modèle fait bien, ce qu'il fait mal, et s'il présente des biais. Étonnamment, seuls 3 des 46 modèles possédaient une fiche nutritionnelle complète et parfaite. La plupart avaient des étiquettes à moitié finies, et 10 n'avaient aucune étiquette du tout. Cela signifie que si vous utilisez ces modèles, vous pourriez ne pas savoir exactement dans quoi vous vous engagez.

Le « Piège de la Traduction » et les Voix Manquantes

L'une des découvertes les plus importantes concerne la manière dont ces modèles ont appris à parler. Les auteurs ont remarqué que beaucoup de modèles ont été enseignés à l'aide de livres traduits de l'anglais vers le portugais. Imaginez essayer d'apprendre la culture brésilienne en lisant un livre qui a été écrit à New York et qui a ensuite été traduit mot à mot en portugais. Vous aurez peut-être la grammaire correcte, mais vous manquerez l'argot, les blagues et les sentiments locaux.

Le document suggère que compter sur les données traduites est un problème. Cela signifie que ces modèles pourraient ne pas comprendre les nuances culturelles uniques des locuteurs portugais au Brésil, au Portugal ou en Afrique. De plus, les auteurs soulignent que presque tous les modèles trouvés ne se concentrent que sur deux versions du portugais : le portugais brésilien et le portugais européen. Ils ignorent complètement les sept autres pays où le portugais est une langue officielle, comme l'Angola, le Mozambique et le Cap-Vert. Les auteurs soutiennent que c'est une forme de « préjugé linguistique » — supposer que parce qu'un modèle parle le portugais brésilien et européen, il peut parler pour tout le monde. Ils suggèrent que les futurs modèles doivent être entraînés sur des données qui représentent véritablement la diversité de toutes les nations lusophones.

Et Après ?

Les auteurs concluent que bien que nous ayons fait beaucoup de progrès, nous avons encore un long chemin à parcourir. Ils suggèrent que la prochaine génération d'IA portugaise doit :

• Arrêter d'utiliser des données traduites et commencer à utiliser de vrais livres et conversations originaux en portugais provenant du monde entier.
• Partager leurs plans (code) afin que d'autres scientifiques puissent vérifier leur travail et l'améliorer.
• Inclure plus de voix des locuteurs portugais d'Afrique et d'Asie, pas seulement du Brésil et du Portugal.
• Ajouter plus de sens. Pour l'instant, la plupart de ces modèles ne comprennent que le texte. Les auteurs voient une grande opportunité de construire des modèles qui peuvent aussi comprendre les images et les sons (modèles multimodaux) spécifiquement pour le portugais, comme un ordinateur qui pourrait regarder une photo d'une rue brésilienne et la décrire en utilisant l'argot local.

En bref, la bibliothèque de l'IA portugaise grandit vite, mais elle a besoin d'une meilleure organisation, de portes plus ouvertes et d'une plus grande variété de voix pour servir véritablement les millions de personnes qui parlent la langue.