Analysis of Numerical Localisation in LLM Translations

Imaginez que vous essayez d'envoyer une carte postale à un ami dans un autre pays. Vous écrivez la date ainsi : « 07/04/2024 ». Pour vous, c'est le 4 juillet. Pour votre ami au Royaume-Uni, c'est le 7 avril. Si vous envoyez une recette, un virement bancaire ou une formule scientifique, se tromper de chiffres ou de dates n'est pas seulement une faute de frappe ; c'est un désastre. C'est là qu'intervient le monde de la localisation. Si la traduction consiste à échanger des mots (changer « dog » en « Hund »), la localisation consiste à changer toute la tenue vestimentaire de l'information pour l'adapter à la culture locale. C'est décider si l'on porte un costume ou un smoking, ou, dans ce cas, si l'on utilise une virgule ou un point pour séparer les décimales.

Entrez en scène les Grands Modèles de Langage (LLM). Voyez-les comme des robots incroyablement intelligents et super rapides qui ont lu presque tout ce qui existe sur Internet. Ils sont excellents pour écrire des histoires et traduire des phrases, mais ils trébuchent parfois lorsqu'il s'agit des règles strictes des nombres et des dates. Ils savent peut-être que « 1,000 » signifie mille, mais ils peuvent oublier qu'en Allemagne, ce même nombre s'écrit « 1.000 ». Ce document plonge dans un recoin spécifique de la science de l'IA : ces cerveaux robotiques peuvent-ils non seulement traduire des mots, mais aussi savoir « habiller » correctement les nombres et les dates pour un nouveau pays ? C'est une question cruciale car, si une IA se trompe de localisation, elle pourrait transformer une dose médicale sûre en une dose dangereuse, ou un petit profit en une perte massive.

Le grand changement de look des nombres

Dans cette étude, une chercheuse nommée Patrizia Kaye a mis à l'épreuve cinq modèles d'IA différents. Il ne s'agissait pas de modèles massifs tournant sur des supercalculateurs coûtant des millions ; elle a plutôt choisi cinq modèles plus petits, dits de « commodité », capables de fonctionner sur du matériel standard, comme un ordinateur de jeu puissant. Elle voulait voir si ces modèles pouvaient gérer la tâche délicate de traduire du texte anglais vers l'allemand (et vice versa) tout en respectant exactement les règles locales pour les nombres, les dates et les heures.

Pour ce faire, elle a mis en place une petite expérience. Elle a pris 700 phrases contenant des dates, des heures et des nombres provenant de sources réelles comme les registres du Parlement européen et des documents médicaux. Elle a ensuite demandé aux modèles d'IA de les traduire en utilisant quatre « stratégies » ou méthodes différentes :

1. Traduction directe : Demander simplement à l'IA : « Traduis cette phrase ».
2. Apprentissage en contexte (ICL - In-Context Learning) : Donner une référence dans l'invite (le prompt), comme dire : « Rappelle-toi qu'en allemand, nous utilisons un point pour les milliers et une virgule pour les décimales ».
3. Chaîne de pensée (CoT - Chain-of-Thought) : Demander à l'IA de « réfléchir à voix haute » et d'expliquer ses étapes avant de donner la réponse.
4. Post-édition : Laisser l'IA traduire d'abord, puis utiliser un script informatique distinct pour traquer les nombres et les corriger manuellement.

Le vainqueur surprise

Les résultats ont apporté un rebondissement de l'intrigue. Dans une étude précédente sur la traduction de nombres entre l'anglais et le chinois, les chercheurs avaient découvert que la méthode de « Post-édition » (corriger les nombres après coup) était la meilleure. Mais quand Patrizia a testé cela sur l'anglais et l'allemand, la post-édition s'est avérée être la pire stratégie, avec un score de précision souvent inférieur à 30 %. Il semble que lorsque l'IA est confuse, essayer de corriger les nombres après coup ne fait que créer un désordre.

La méthode de la « Chaîne de pensée », où l'IA explique son raisonnement, n'a pas non plus beaucoup aidé. Elle a souvent conduit les modèles à donner de mauvaises réponses tout en essayant de paraître intelligents sur la manière dont ils y étaient parvenus.

Le véritable champion s'est avéré être l'Apprentissage en contexte. Lorsque la chercheuse a simplement ajouté quelques instructions claires à l'invite — en disant précisément à l'IA comment formater les nombres et les dates — les modèles ont nettement mieux performé. Pour le modèle le plus performant (Qwen3-4B-Instruct-2507), cette simple « référence » a porté la précision à 91,7 % pour les nombres dans le sens anglais vers l'allemand, une légère amélioration par rapport aux 92,2 % obtenus par la traduction directe seule. L'étude a révélé que cette amélioration n'était pas un coup de chance ; des tests statistiques ont confirmé que l'ajout de ces règles dans l'invite faisait une différence réelle et mesurable par rapport aux autres stratégies.

Qu'en est-il des cerveaux plus gros ?

Vous pourriez penser qu'un modèle d'IA plus gros, avec plus de « puissance cérébrale » (paramètres), ferait toujours un meilleur travail. Cependant, l'article a montré que la taille n'est pas toujours synonyme de succès. Les modèles testés allaient de 2 à 7 milliards de paramètres. Étonnamment, le modèle de 4 milliards de paramètres a surpassé les modèles de 7 milliards de paramètres dans de nombreux cas. Cela suggère que pour cette tâche spécifique, avoir les bonnes instructions est plus important que d'avoir le plus gros cerveau.

L'étude a également testé si le fait de préciser à l'IA quelle version de l'anglais ou de l'allemand utiliser (comme « l'anglais britannique » contre « l'allemand d'Allemagne ») aidait. Cela a aidé un peu, mais pas autant que le simple fait de donner les règles de formatage dans l'invite.

L'essentiel à retenir

Ce document suggère que si vous voulez qu'une IA gère correctement les nombres et les dates lors d'une traduction, ne lui demandez pas simplement de « faire de son mieux ». Ne comptez pas sur elle pour corriger ses propres erreurs plus tard, et ne la forcez pas à expliquer son raisonnement. À la place, donnez-lui un ensemble de règles claires dès le départ. En intégrant les principes de localisation directement dans la conversation, vous pouvez transformer un robot confus en un traducteur précis. Bien que les résultats soient spécifiques aux modèles et aux paires de langues testés, la méthode offre un moyen reproductible de rendre les traductions par IA plus sûres et plus précises pour quiconque traite de l'argent, de la science ou des calendriers à travers les frontières.