💬 NLP

Evaluating Prompt Scope and Demonstration Similarity in Local LLM Machine Translation

Cet article évalue comment l'étendue du prompt et les stratégies de sélection des démonstrations affectent la performance de traduction automatique des LLM locaux ajustés par instruction à travers plusieurs familles de langues, constatant que si les systèmes de TA dédiés demeurent supérieurs, le prompting de type few-shot basé sur l'enchâssement et les prompts à portée de famille peuvent améliorer les modèles plus larges malgré l'introduction de défis de sortie structurée pour les plus petits.

Auteurs originaux : Mihael Arcan

Publié 2026-07-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mihael Arcan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un ami robot super intelligent capable de parler presque toutes les langues. Vous lui demandez de traduire une phrase de l'anglais vers le français et il fait un excellent travail. Mais que se passe-t-il si vous lui demandez de traduire cette même phrase en français, espagnol et italien en même temps ? Ou encore, si vous lui donnez quelques phrases d'exemple pour lui montrer comment vous aimez que les choses soient faites avant qu'il ne commence ? Ce document vit dans le monde de la Traduction Automatique, qui est la science consistant à enseigner aux ordinateurs comment transformer une langue en une autre. Pendant longtemps, nous avons testé ces robots en leur posant une question simple à la fois : « Traduis ceci ». Mais la vie réelle est plus complexe. Les gens demandent souvent plusieurs langues à la fois, ou donnent au robot une « fiche de triche » d'exemples pour l'aider à comprendre le style souhaité. La grande question est : le fait de demander plus de choses à la fois, ou de donner au robot une fiche de triche, le rend-il réellement meilleur, ou est-ce que cela le confond simplement ? Cela importe car de plus en plus de personnes font fonctionner ces « robots » (appelés Grands Modèles de Langage) sur leurs propres ordinateurs pour des raisons de confidentialité et de rapidité, plutôt que d'utiliser de gigantesques serveurs dans le cloud. Nous devons savoir si ces robots locaux sont prêts pour le monde réel, ou s'ils ne fonctionnent que lorsque le test est très simple.

Les auteurs de ce document ont décidé de mettre ces robots locaux à l'épreuve d'une manière très spécifique. Ils ne se sont pas contentés de leur demander de traduire une seule phrase dans une seule langue ; ils ont traité la manière dont on pose la question comme une variable. Ils ont testé trois différents robots « locaux » (des modèles plus petits que vous pouvez faire fonctionner sur votre propre ordinateur) contre des machines de traduction dédiées très sérieuses. Ils ont demandé aux robots de traduire l'anglais vers neuf langues européennes différentes, regroupées en deux familles : la famille « Romanesque » (comme le français, l'espagnol et l'italien) et la famille « Germanique » (comme l'allemand, le néerlandais et le suédois).

Les chercheurs ont essayé trois stratégies différentes pour donner des « fiches de triche » aux robots (appelées « few-shot prompting »). Premièrement, ils ont donné au robot zéro exemple. Deuxièmement, ils lui ont donné cinq exemples aléatoires. Troisièmement, ils lui ont donné cinq exemples soigneusement choisis pour être très similaires à la phrase qu'ils voulaient traduire, soit en regardant les mots utilisés, soit en utilisant un programme informatique intelligent pour trouver des sens similaires. Ils ont également testé deux « portées » (scopes) différentes : demander de traduire juste une langue à la fois, ou demander de traduire les cinq langues d'une famille en même temps, avec les réponses rangées proprement au format JSON (une structure de fichier informatique spécifique).

Voici ce qu'ils ont trouvé, et c'est un bilan un peu mitigé. Premièrement, les vieilles machines de traduction dédiées sont toujours les championnes. Elles sont les plus fiables, surtout pour traduire vers les langues germaniques. Les robots locaux s'améliorent, et ils peuvent tenir tête pour certaines langues romanes comme l'espagnol et le portugais, mais ils ne battent pas encore les professionnels.

Deuxièmement, la stratégie de la « fiche de triche » dépend entièrement du robot que vous utilisez. Pour les deux robots locaux les plus forts (mistral:latest et qwen2.5:14b), donner des exemples les a réellement aidés. Ils ont mieux traduit après avoir vu des exemples. Mais pour le plus petit robot (llama3.2:3b), donner des exemples a été un désastre. Il est devenu moins bon lorsqu'il devait lire les exemples supplémentaires. C'est comme un élève qui réussit très bien un examen quand il lit juste la question, mais qui se confond et fait des erreurs quand on lui montre d'abord un exemple de réponse.

Troisièmement, la façon dont vous posez la question compte énormément. Lorsque les chercheurs ont demandé aux robots de traduire dans les cinq langues à la fois (le prompt de portée familiale), les plus gros robots ont bien géré, produisant une liste propre de traductions pour chaque langue. Mais le plus petit robot ? Il s'est complètement effondré. Il a souvent oublié de traduire certaines des langues, ou n'a pas pu suivre les instructions pour mettre les réponses dans le bon format. C'est comme si le petit robot avait été submergé par la grosse commande et avait simplement abandonné la moitié des articles.

Le document a également examiné si la manière « intelligente » de choisir les exemples (trouver les phrases les plus similaires) était meilleure que de simplement choisir des exemples aléatoires. Pour les robots qui pouvaient utiliser des exemples, les exemples intelligents et similaires ont aidé un peu plus que les exemples aléatoires. Mais la différence n'était pas énorme. La chose la plus importante était simplement que le robot était assez capable d'utiliser les exemples du tout. Si le robot était trop petit ou confus, même les meilleurs exemples ne pouvaient pas le sauver.

En bref, ce document suggère que nous ne pouvons pas simplement dire « la traduction par IA est bonne » ou « la traduction par IA est mauvaise ». Cela dépend de la façon dont vous posez la question. Si vous voulez qu'un robot local traduise pour vous, vous devez choisir un modèle assez grand pour gérer des instructions complexes et plusieurs langues à la fois. Si vous choisissez un modèle minuscule et que vous lui demandez de faire trop de choses à la fois, ou de traiter trop d'informations supplémentaires, il pourrait échouer de manière spectaculaire. Les auteurs concluent que lorsque nous testons ces outils de traduction, nous ne devrions pas seulement regarder la qualité de la traduction ; nous devons aussi vérifier si le robot peut suivre des instructions complexes et livrer exactement ce que nous avons demandé, sans laisser tomber de ballons en cours de route.

Résumé technique : Évaluation de la portée du prompt et de la similitude des démonstrations dans la traduction automatique par LLM local

Énoncé du problème

L'évaluation traditionnelle de la traduction automatique (TA) traite la traduction comme une tâche de paire de langues unique, où un système traduit une phrase source en une seule langue cible. Cependant, les grands modèles de langage (LLM) sont de plus en plus déployés comme des outils de traduction polyvalents où les utilisateurs peuvent demander simultanément plusieurs langues cibles, fournir des exemples en contexte ou exiger des sorties structurées (par exemple, JSON). Cet article soutient que les cadres d'évaluation actuels ne parviennent pas à capturer ces « degrés de liberté supplémentaires » inhérents à l'utilisation des LLM. Plus précisément, il examine si la portée du prompt (requêtes à cible unique vs requêtes à portée de famille) et les stratégies de sélection des démonstrations (aléatoire, lexicale ou par récupération basée sur les plongements/embeddings) impactent significativement les performances des LLM locaux tournant sur du matériel grand public. L'étude se concentre sur le déploiement local en raison de sa pertinence pour la confidentialité, le contrôle des coûts et l'utilisation hors ligne, notant que les modèles locaux plus petits peuvent être plus sensibles à la longueur du prompt ou aux contraintes de sortie structurée que les systèmes propriétaires haut de gamme.

Méthodologie

Conception expérimentale

L'étude évalue la traduction de l'anglais vers les langues romanes et germaniques à travers neuf langues officielles de l'UE (français, espagnol, italien, portugais, roumain, allemand, néerlandais, danois, suédois) en utilisant l'ensemble de test FLORES devtest complet (1 012 phrases). Les démonstrations sont tirées exclusivement de l'ensemble dev de FLORES pour éviter toute fuite de données.

Les variables expérimentales incluent :

Portée du prompt :
- Cible unique : Le modèle traduit une phrase dans une seule langue.
- Portée de famille : Le modèle traduit une phrase dans toutes les langues d'une famille (romane ou germanique) dans un seul objet JSON indexé par les codes de langue FLORES.
Sélection des démonstrations (Few-shot) :
- Zero-shot : Aucun exemple fourni.
- Aléatoire : $k=5$ exemples sélectionnés uniformément à partir de l'ensemble dev.
- Similitude lexicale : $k=5$ exemples ayant la plus haute similitude cosinus basée sur les représentations sources de sacs de tokens (bag-of-token).
- Similitude par plongement (Embedding) : $k=5$ exemples ayant la plus haute similitude cosinus basée sur des plongements de phrases multilingues.

Modèles et bases de référence

LLM locaux : Trois modèles ajustés pour l'instruction exécutés via Ollama (température 0) : llama3.2:3b, mistral:latest, et qwen2.5:14b.
Bases de référence TA dédiées : OPUS-MT (MarianMT) et NLLB-200 (versions distillées de 600M et 1,3B). Ceux-ci sont évalués uniquement dans le cadre de la cible unique car ils ne sont pas conçus pour le suivi d'instructions à cibles multiples structurées.

Métriques d'évaluation

Qualité de la traduction : chrF++ au niveau du corpus, BLEU (via SacreBLEU) et COMET au niveau de la phrase.
Conformité (Portée de famille uniquement) : Couverture des cibles, taux de complétude de la sortie, nombre de cibles manquantes et nombre d'échos de prompt.
Analyse statistique : Rééchantillonnage bootstrap apparié pour les intervalles de confiance et les p-valeurs comparant le meilleur LLM local au meilleur système de TA de référence.

Résultats clés

1. Performance des LLM locaux vs TA dédiée

Les systèmes de TA dédiés restent les bases de référence les plus solides, particulièrement pour les langues germaniques où l'écart de performance est substantiel. Les LLM locaux sont compétitifs pour des cibles romanes spécifiques (notamment l'espagnol et le portugais), qwen2.5:14b approchant souvent la performance de la TA dédiée dans les configurations à cible unique. Cependant, aucun LLM local ne surpasse systématiquement les meilleures bases de référence de TA sur l'ensemble des métriques et des langues.

2. Impact du prompting Few-Shot

L'effet du prompting few-shot est fortement dépendant du modèle :

mistral:latest et qwen2.5:14b : Les deux modèles montrent des améliorations significatives avec le prompting few-shot. La récupération par plongement (embedding) offre les meilleurs gains moyens (ex: mistral gagne +4,60 chrF++ et +11,03 BLEU avec la récupération par embedding).
llama3.2:3b : Ce modèle plus petit subit une dégradation constante de ses performances avec le prompting few-shot à travers toutes les stratégies de récupération, suggérant que les modèles plus petits peuvent avoir des difficultés avec l'augmentation de la longueur du contexte ou la complexité des instructions.

3. Efficacité de la stratégie de récupération

Bien que la récupération par plongement fournisse les meilleurs résultats moyens pour les modèles qui bénéficient d'exemples, la marge par rapport à la récupération aléatoire ou lexicale est modeste. Crucialement, l'analyse au niveau de la phrase révèle que le score de similitude d'un exemple récupéré ne prédit pas fortement si cet exemple spécifique améliorera la qualité de la traduction (corrélation proche de zéro). Cela suggère que les exemples aident via de multiples mécanismes (formatage, ancrage de style, clarification de la tâche) plutôt que par pure similitude sémantique.

4. Portée de famille et sortie structurée

Le prompting de portée de famille agit comme un test de résistance pour la conformité de la sortie structurée :

Modèles plus forts (mistral, qwen) : Maintiennent une couverture élevée (>96 %) et produisent des objets JSON majoritairement complets, bien que la qualité de traduction sur les sorties produites soit légèrement inférieure à la performance en cible unique.
Modèle plus petit (llama3.2:3b) : Souffre de graves échecs de conformité de la sortie structurée. Dans le cadre de la famille germanique, sa couverture zero-shot chute à 0,343, et même avec la récupération par embedding, elle n'atteint que 0,493. Pour ce modèle, la tâche de portée de famille est principalement un échec de conformité de la sortie plutôt qu'un simple problème de qualité de traduction.

5. Comparaison avec la TA dédiée

Les tests de significativité appariés confirment que les meilleures conditions des LLM locaux restent inférieures aux meilleures bases de référence de la TA dédiée en chrF++ pour toutes les cibles. L'écart est plus faible pour les langues romanes (moyenne -2,55 chrF++) que pour les langues germaniques (moyenne -7,26 chrF++). Les scores COMET réduisent parfois l'écart ou montrent des différences non significatives (ex: pour l'espagnol), mais ils ne renversent pas la conclusion selon laquelle les systèmes de TA dédiés sont actuellement supérieurs globalement.

Signification et affirmations

Le papier ne prétend pas introduire un nouveau modèle de traduction ou une méthode pour surpasser les systèmes de TA dédiés. Au lieu de cela, sa contribution primaire est un design d'évaluation et une analyse empirique démontrant que :

La portée du prompt est une variable critique : Évaluer les LLM uniquement sur la traduction à cible unique est insuffisant. Le prompting de portée de famille révèle des modes de défaillance distincts (cibles omises, JSON malformés) que l'évaluation standard de la TA ne détecte pas.
La stratégie de démonstration compte : Le choix des exemples few-shot (aléatoire vs sémantique) impacte significativement la performance, mais cet effet est tributaire de la capacité du modèle. Les modèles plus petits peuvent être pénalisés par un contexte supplémentaire.
La conformité fait partie de la qualité : Pour la traduction multi-cibles, la « qualité » doit inclure des métriques de conformité de la sortie structurée (couverture, complétude). Un modèle produisant des traductions fluides mais incomplètes n'est pas fonctionnellement équivalent à un modèle produisant des sorties complètes.
Recommandations d'évaluation : L'évaluation de la TA basée sur les LLM devrait rapporter les résultats à travers les portées de prompt, les stratégies de récupération et les métriques de conformité, et non seulement les scores par paire de langues.

Les auteurs concluent que bien que les LLM locaux soient utiles et compétitifs dans certains contextes, ils doivent être déployés avec des mécanismes de validation plutôt qu'avec une fiabilité supposée, surtout dans les contextes critiques pour la sécurité où les sorties manquantes ou les échecs structurés posent des risques réels.