Imaginez un monde où les histoires sont la monnaie d'échange de la culture, mais où certaines langues sont comme des îles avec très peu de ponts les reliant au reste du monde. C'est le défi de la traduction automatique, une branche de l'intelligence artificielle qui tente d'apprendre aux ordinateurs à parler différentes langues. Habituellement, ces ordinateurs apprennent en lisant des millions de livres et d'articles de presse écrits par des humains. Mais pour beaucoup de langues, surtout celles parlées par moins de personnes, il n'y a tout simplement pas assez de livres pour enseigner à l'ordinateur. C'est comme essayer d'apprendre à cuisiner italien quand on n'a jamais vu de recette ou goûté de tomate.

Pour résoudre cela, les scientifiques ont commencé à utiliser des Grands Modèles de Langage (LLM). Considérez-les comme des chefs de cuisine numériques super intelligents qui ont goûté presque tous les plats du monde et peuvent deviner quel goût devrait avoir une nouvelle recette. Cependant, apprendre à ces chefs à cuisiner de la littérature — des histoires avec des sentiments, des blagues et des secrets culturels — est beaucoup plus difficile que de traduire un rapport de presse. Et faire cela pour une langue comme le roumain, qui dispose de moins de ressources numériques que l'anglais, c'est comme essayer de cuire un gâteau parfait dans une cuisine avec des ingrédients très limités et un budget serré. La grande question que posent les chercheurs est la suivante : pouvons-nous construire une bibliothèque de haute qualité d'histoires traduites sans dépenser une fortune ou avoir besoin d'un supercalculateur ?

L'histoire du minuscule fabuliste

Dans cet article, une équipe de chercheurs de Roumanie présente un nouveau projet appelé TF2 (TinyFabulist Translation Framework). Leur objectif était de créer une immense bibliothèque de fables traduites — de courtes histoires morales comme les fables d'Ésope — passant de l'anglais au roumain. Ils voulaient voir s'ils pouvaient faire cela en utilisant des modèles « ouverts » (des outils d'IA gratuits et publics) au lieu de modèles privés coûteux, et s'ils pouvaient le faire avec un budget de misère.

La recette : Construire une bibliothèque à partir de zéro

Les chercheurs savaient qu'ils ne pouvaient pas simplement demander à des humains de traduire des millions d'histoies ; cela prendrait trop de temps et coûterait trop cher. Au lieu de cela, ils ont construit une chaîne de montage en quatre étapes pour créer les données eux-mêmes :

1. Le test de goût (Étape 1) : D'abord, ils ont testé 13 modèles d'IA différents (certains gratuits, d'autres payants) pour voir lequel était le meilleur pour traduire quelques fables d'exemple. Ils ne se sont pas contentés de vérifier si les mots correspondaient ; ils ont demandé à l'IA de noter les traductions selon cinq critères : l'exactitude, la fluidité, la logique de l'histoire, le style et l'adéquation culturelle. Le vainqueur était un modèle puissant appelé GPT-o3, qui est devenu leur « étalon-or » pour créer le reste de la bibliothèque.
2. Le standard d'argent (Étape 2) : En utilisant ce modèle gagnant, ils ont traduit 15 000 fables anglaises en roumain. Même si elles ont été réalisées par un robot, elles étaient si bonnes que les chercheurs les ont traitées comme un « standard d'argent » (presque aussi bon que l'or) pour entraîner leurs propres modèles personnalisés.
3. L'entraînement spécialisé (Étape 3) : C'est la partie magique. Ils ont pris des modèles d'IA open-source (spécifiquement des versions de Gemma, allant de petits modèles de 1 milliard de paramètres jusqu'à un modèle de 12 milliards) et leur ont donné une « école de finissant ». Ils ont utilisé une technique appelée LoRA (Low-Rank Adaptation), qui revient à donner à un chef de cuisine généraliste un livre de recettes spécifique pour les fables sans avoir à reconstruire toute la cuisine. Ils ont entraîné ces modèles sur les 15 000 histoires traduites.
4. La production de masse (Étape 4) : Enfin, ils ont utilisé leurs nouveaux modèles spécialisés et entraînés pour traduire les 3 millions de fables restantes de la collection anglaise originale. Le résultat est un nouvel ensemble de données massif appelé DS-TF2-EN-RO-3M, contenant trois millions de paires de fables en anglais et en roumain.

Les résultats : Petits modèles, grandes surprises

Les chercheurs ont ensuite mis leurs nouveaux modèles entraînés à l'épreuve face aux grands modèles privés et coûteux (comme GPT-4 et DeepL) ainsi qu'aux modèles ouverts originaux non entraînés.

• L'écart se réduit : Leur meilleur modèle ouvert, TF2-12B (la version à 12 milliards de paramètres), a extrêmement bien performé. Il a obtenu une note moyenne de 4,83 sur 5 selon leur grille d'évaluation, tandis que le meilleur modèle privé (GPT-o3) a obtenu 4,92. L'écart entre le modèle gratuit personnalisé et le géant propriétaire coûteux était infime — moins de 0,1 point.
• La différence de coût : C'est là que l'histoire devient vraiment passionnante. Traduire les 3 millions de fables en utilisant les API privées coûteuses aurait coûté entre 1 800 $ et 32 400 $ (selon le modèle choisi). En revanche, leur modèle open-source TF2 a accompli exactement le même travail pour environ 350 $. Cela représente une économie de 97 % à 99 %.
• Les petits modèles : Même leur plus petit modèle (1 milliard de paramètres), après entraînement, est passé de 2,02 à 3,75. Ce n'était pas parfait, mais il est passé de « à peine compréhensible » à « assez bon », prouvant que même de petits ordinateurs bon marché peuvent apprendre à raconter des histoires s'ils sont enseignés de la bonne manière.

Ce qu'ils ont trouvé (et ce qu'ils n'ont pas trouvé)

L'article suggère que vous n'avez pas besoin d'être un milliardaire pour construire des outils de traduction littéraire de haute qualité. En utilisant un processus intelligent, étape par étape, et en se concentrant sur un type spécifique d'histoire (les fables), ils ont montré que les modèles ouverts peuvent rivaliser avec les géants.

Cependant, les auteurs prennent soin de noter quelques points :

• Ce n'est pas encore parfait : Bien que les modèles ouverts soient proches, les modèles privés (comme GPT-o3) ont toujours obtenu des scores légèrement supérieurs, notamment en termes de style et de nuance culturelle. Les modèles ouverts sont une excellente alternative, mais ils n'ont pas encore totalement « résolu » le problème de l'alignement sur la qualité de traduction humaine dans chaque cas de figure.
• Le « standard d'or » est d'argent : Les traductions de référence qu'ils ont utilisées pour entraîner les modèles ont été réalisées par une autre IA, et non par un humain. Cela signifie que les modèles apprennent à ressembler à d'autres IA, et non nécessairement à des traducteurs humains. Les chercheurs ont vérifié cela en demandant à un expert humain d'examiner un petit échantillon des histoires, et l'humain a convenu que les classements de l'IA étaient généralement corrects, mais ils admettent qu'une étude humaine plus large est nécessaire pour en être sûrs à 100 %.
• Les fables sont spéciales : Les fables sont courtes et possèdent une structure claire. Les chercheurs suggèrent que si cette méthode fonctionne très bien pour les fables, elle pourrait être plus difficile à appliquer à des romans complexes dotés de métaphores profondes ou de dialogues historiques.

Ce qu'il faut retenir

Le projet TF2 montre que l'on peut construire une magnifique bibliothèque en utilisant des matériaux recyclés et un peu d'ingéniosité, plutôt qu'en ayant besoin d'un coffre-fort rempli d'or. Ils ont prouvé qu'avec les bonnes données d'entraînement et une approche intelligente et rentable, l'IA open-source peut traduire du contenu littéraire pour des langues comme le roumain à une fraction du coût habituel. Ils ont rendu tout leur code, leur ensemble de données de 3 millions d'histoires et leurs modèles entraînés publics, invitant tous les autres à construire sur leurs travaux. C'est un pas vers un avenir où l'IA peut aider à préserver et partager les histoires de chaque culture, quel que soit le montant que cette culture peut dépenser en technologie.