💬 NLP

Beyond "To whom it may concern": Tailoring Machine Translation to Audience and Intent

Cet article introduit une évaluation systématique démontrant que la spécification explicite de l'intention communicative améliore considérablement la qualité de la traduction automatique à travers diverses langues et domaines, surpassant les méthodes de contexte traditionnelles tout en révélant l'insuffisance des métriques actuelles pour mesurer de telles adaptations axées sur l'objectif.

Auteurs originaux : Raphael Merx, Ekaterina Vylomova, Trevor Cohn

Publié 2026-06-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Raphael Merx, Ekaterina Vylomova, Trevor Cohn

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un traducteur professionnel. Si quelqu'un vous demandait de traduire l'expression « Excuse me », comment le feriez-vous ?

Si vous parlez à votre meilleur ami par SMS, vous pourriez dire : « Hey, désolé ! »
Si vous êtes dans une réunion d'affaires formelle, vous pourriez dire : « Pardonnez-moi. »
Si vous plaisantez avec un ami sarcastique, vous pourriez dire : « Oh, au temps pour moi, j'imagine. »

Le sens est le même, mais la vibe est totalement différente.

Pendant longtemps, les systèmes de traduction automatique étaient comme un robot qui ne connaissait qu'une seule façon de parler : celle de la « réunion d'affaires formelle ». Peu importait que vous envoyiez un SMS à un ami ou que vous écriviez un roman ; il se contentait d'échanger des mots de l'anglais vers une autre langue en utilisant un carnet de règles unique et rigide.

Ce document, intitulé « Beyond "To whom it may concern" » (Au-delà du « À qui de droit »), pose une question simple : Les traducteurs IA modernes peuvent-ils réellement nous écouter quand nous leur disons comment traduire ?

Voici le compte rendu de ce que les chercheurs ont découvert, en utilisant quelques analogies de la vie quotidienne.

1. La magie de l'« Instruction »

Les chercheurs ont testé s'ils pouvaient donner un « briefing » à l'IA avant qu'elle ne commence à traduire. Au lieu de simplement dire : « Traduis cette phrase », ils ont ajouté une note du type : « Traduis cela comme un message informel entre deux amies féminines qui sont sarcastiques. »

Le résultat : Cela a fonctionné comme par magie. Lorsque l'IA recevait ces instructions, les traductions devenaient beaucoup plus naturelles et adaptées à la situation.
Le bémol : Plus le cerveau de l'IA est gros (la taille du modèle), mieux elle suit les instructions. Une petite IA (4 milliards de paramètres) se perdait parfois et plantait, mais les plus grosses (27B et 31B) étaient excellentes pour adapter leur ton.
Le point d'équilibre : Les instructions ont été les plus utiles pour les contenus informels comme les publications sur les réseaux sociaux et les chats. Pour les articles de presse formels, l'IA était déjà plutôt bonne, donc les instructions ne changeaient pas grand-chose.

2. Le débat « Montrer, ne pas dire » vs « Dis-le moi, c'est tout »

Les chercheurs se sont demandé : est-il préférable de montrer des exemples de traduction à l'IA (comme lui montrer quelques textes d'exemple) ou de simplement lui dire quoi faire avec des mots ?

L'analogie : Imaginez que vous enseignez la cuisine à un étudiant.
- Few-Shot (Montrer) : Vous lui donnez trois photos de pancakes parfaits et vous dites : « Fais en sorte que ça ressemble à ça. »
- Instructions (Dire) : Vous dites : « Fais en sorte que ces pancakes soient moelleux et sucrés, mais pas trop brûlés. »
Le résultat : Dire à l'IA quoi faire (Instructions) a gagné. Lui donner des exemples n'aidait pas autant que de lui donner une instruction écrite claire sur le ton et l'audience. L'IA comprenait mieux la « vibe » lorsqu'on lui disait explicitement quoi faire.

3. Le problème de la « Vieille Règle »

Voici un tournant amusant : les chercheurs ont essayé d'utiliser les « règles » standards (métriques) que les scientifiques utilisent pour noter les traductions, et ces règles ont échoué.

L'analogie : Imaginez un professeur corrigeant le poème d'un élève. Le professeur utilise une liste de contrôle qui ne compte que le nombre de mots correspondant à une définition de dictionnaire. Si l'élève écrit un poème drôle, rempli d'argot, qui capture l'esprit de l'original, le professeur lui donne une note basse parce qu'il n'a pas utilisé les « bons » mots du dictionnaire.
Le résultat : Lorsque l'IA utilisait des instructions pour rendre une traduction plus décontractée et amusante, les anciennes métriques informatiques lui donnaaient en fait une note plus basse. Elles pensaient que la traduction était « moins bonne » parce qu'elle ne ressemblait pas à la référence rigide et formelle. Les chercheurs ont dû inventer une nouvelle façon de noter l'IA (en utilisant une autre IA comme juge) qui pouvait comprendre que le côté « drôle » est une bonne chose quand l'objectif est d'être « drôle ».

4. Le tour de passe-passe de l'« Auto-instruction »

Dans le monde réel, les utilisateurs ne prendront pas toujours le temps d'écrire une instruction détaillée comme « Fais en sorte que cela ressemble à un roman de détective des années 1920 ». Généralement, ils se contentent de copier-coller un paragraphe de texte.

La question : L'IA peut-elle regarder le texte environnant, comprendre la vibe par elle-même, puis traduire ?
Le résultat : YES. Les chercheurs ont appris à l'IA à d'abord lire tout le paragraphe, à écrire sa propre petite note d'instruction (ex : « C'est un conte de fées, utilise des mots simples »), puis à traduire la phrase.
La magie : Ce tour de passe-passe de l'« Auto-instruction » a permis de récupérer environ 80 % des bénéfices d'avoir un humain écrivant l'instruction parfaite. C'est comme si l'IA lisait la pièce et ajustait sa cravate avant d'entrer à la fête, même si personne ne le lui avait demandé.

5. La lutte du « Petit Cerveau »

Il y avait un avertissement. Lorsqu'ils ont essayé cela avec les plus petits modèles d'IA sur des langues difficiles (comme le javanais ou l'ukrainien), les instructions faisaient parfois planter l'IA. C'était comme donner des instructions complexes à un enfant en bas âge ; il était submergé et en oubliait jusqu'à comment marcher.

La solution : Ils ont trouvé un moyen d'« entraîner » la petite IA en utilisant une grande IA comme professeur. Cela a réglé le problème des plantages, permettant à la petite IA de suivre les instructions sans casser.

La grande conclusion

Le document conclut que la traduction n'est pas seulement une question d'échange de mots, mais une question de but.

Ancienne méthode : « Traduis ceci. » (Un format unique pour tous).
Nouvelle méthode : « Traduis ceci pour une personne spécifique, dans une ambiance spécifique. »

Les chercheurs ont prouvé que l'IA moderne peut le faire, mais nous devons cesser d'utiliser les anciens systèmes de notation qui punissent la créativité et commencer à utiliser de nouvelles façons de mesurer si la traduction correspond réellement à la situation. Ils ont également montré que si vous n'avez pas d'humain pour écrire les instructions, l'IA peut souvent les écrire elle-même simplement en observant le contexte.

Résumé technique : Au-delà du « À qui de droit » : Adapter la traduction automatique à l'audience et à l'intention

Problématique

Les systèmes de traduction automatique (TA) traditionnels et leurs métriques d'évaluation traitent la traduction comme une correspondance fixe de la source vers la cible, optimisant l'adéquation sémantique par rapport à une référence unique « correcte ». Cette approche ignore la réalité pragmatique selon laquelle la qualité de la traduction est relative à l'objectif, comme le soutient la théorie du Skopos. Un même texte source peut nécessiter des traductions très différentes selon l'audience visée, le ton, le registre et l'intention communicative (par exemple, traduire « Excuse me » comme une excuse formelle ou comme une interruption informelle). Bien que les grands modèles de langage (LLM) permettent théoriquement aux utilisateurs de spécifier ces paramètres contextuels via des prompts, il reste incertain si les modèles actuels peuvent exploiter systématiquement de telles spécifications pour produire des traductions adaptées à l'usage à travers diverses langues, tailles de modèles et domaines. De plus, la recherche actuelle sur la TA sensible au contexte est limitée en portée, se concentrant souvent sur des paires de langues uniques ou des phénomènes étroits comme la formalité, et les métriques traditionnelles basées sur des références (ex. : COMET, ChrF) peuvent échouer à capturer, voire pénaliser, une adaptation stylistique réussie.

Méthodologie

Les auteurs introduisent un cadre d'évaluation systématique pour la TA axée sur l'objectif, en conditionnant la traduction à la fois au texte source et à une instruction en langage naturel décrivant l'objectif prévu.

Jeux de données et portée : L'étude évalue les performances à travers plus de 50 langues, 5 tailles de modèles (Gemma-3-4B/12B/27B, Gemma-4-31B, et Qwen3.5-27B) et 8 domaines textuels. Le benchmark principal est BOUQuET (504 instances par langue), complété par WMT24++ (997 instances par langue) pour la validation. L'évaluation se concentre sur la traduction de l'anglais vers la langue cible.
Génération d'instructions : Pour BOUQuET, les instructions sont rédigées par un LLM (Gemini 3 Flash) sur la base de métadonnées (domaine, registre, commentaires de contexte) et révisées manuellement par des annotateurs humains. Ces instructions spécifient l'audience cible, le ton et l'objectif.
Conditions expérimentales : L'étude compare quatre conditions de traduction :
1. Baseline (Référence) : Traduction au niveau de la phrase avec un prompt à 3 exemples (3-shot) fixe, sans instructions.
2. Instructions : Le prompt de référence augmenté de l'instruction spécifique de l'utilisateur.
3. Few-Shot (Apprentissage par quelques exemples) : Le prompt de référence augmenté de 5 paires de traduction sémantiquement similaires extraites d'un ensemble de test (held-out set).
4. Paragraph (Paragraphe) : Le paragraphe source complet fourni comme contexte (avec des marqueurs pour la phrase cible ou sous forme de liste numérotée).
Métriques d'évaluation :
- Évaluation de la traduction (Translation Rating) : Un score de 0 à 100 mesurant la préservation du sens, suivant le protocole d'annotation des segments d'erreur (ESA).
- Adaptabilité (Adaptedness) : Une nouvelle mesure de 0 à 100 mesurant à quel point la traduction correspond à l'objectif prévu par l'instruction (ton, registre, audience).
- LLM-as-Judge (Le LLM comme juge) : Un pipeline d'évaluation sans référence utilisant un LLM (Gemini-3-Flash) pour noter les deux métriques, validé par rapport aux annotations humaines de locuteurs natifs.
- Métriques traditionnelles : XCOMET-XL et ChrF++ sont utilisés pour comparer avec la TA standard.

Contributions clés et résultats

1. Les instructions améliorent substantiellement l'adaptabilité
Les instructions explicites de l'utilisateur améliorent considérablement l'« adaptabilité » des traductions.

Mise à l'échelle (Scaling) : Les gains en adaptabilité augmentent avec la taille du modèle. Les modèles plus grands (12B, 27B, 31B) montrent des améliorations constantes (ex. : +10,2 à +17,8 points d'adaptabilité), tandis que les modèles plus petits (4B) affichent des résultats mitigés, souffrant parfois d'échecs critiques (mauvaise langue ou absence de traduction) lorsque les instructions sont ajoutées, particulièrement dans les langues à faibles ressources.
Sensibilité au domaine : Les bénéfices sont plus prononcés dans les domaines informels (conversation, réseaux sociaux), où les gains d'adaptabilité atteignent +16,5 à +26,1 points. Les domaines formels (actualités, tutoriels) montrent des gains plus faibles.
Niveau de ressources linguistiques : Les langues à hautes ressources bénéficient davantage des instructions. De plus, les langues « riches en registres » (celles possédant des distinctions sociales grammaticalisées, comme le japonais ou l'arabe) présentent les gains les plus importants.

2. Les instructions surpassent les autres méthodes de contexte
Les instructions explicites sont supérieures tant aux exemples de few-shot sémantiques qu'au contexte de paragraphe.

vs Few-Shot : Les instructions produisent des gains d'adaptabilité nettement plus élevés que les exemples few-shot sémantiquement appariés (ex. : +11,1 contre +2,9 pour le modèle 12B).
vs Contexte de paragraphe : Fournir le contexte brut d'un paragraphe échoue souvent à améliorer l'adaptabilité et peut même dégrader la qualité de la traduction (deltas négatifs) pour les modèles $\le$ 27B. Les instructions explicites sont la méthode la plus fiable pour l'adaptation.

3. Les métriques traditionnelles ne parviennent pas à capturer l'adaptation
Il existe une divergence significative entre les scores du LLM-as-judge et les métriques traditionnelles.

Lorsque les instructions sont ajoutées, les scores d'adaptabilité du LLM-as-judge augmentent, mais les scores XCOMET-XL et ChrF++ diminuent souvent.
Cette divergence est concentrée dans les domaines informels (taux de désaccord de 21 à 50 %), suggérant que les métriques traditionnelles pénalisent les changements stylistiques nécessaires (ex. : rendre un texte plus familier) car elles reposent sur des traductions de référence qui peuvent être trop formelles ou manquer de la nuance stylistique demandée.

4. Auto-instruction à partir du contexte documentaire
Lorsque des instructions curatées ne sont pas disponibles, les modèles peuvent générer leurs propres instructions à partir du contexte documentaire environnant.

Efficacité : Les instructions auto-générées comblent jusqu'à 80 % de l'écart d'adaptabilité par rapport aux instructions « gold » curatées (ex. : 71 % pour Gemma-3-27B, 80 % pour Gemma-4-31B).
Mécanisme : Cette approche transforme un contexte de paragraphe brut potentiellement nuisible (qui peut abaisser l'adaptabilité de -2,3 à -10,6 points lorsqu'il est injecté directement) en un bref utile. Le modèle « devine » efficacement le contexte et le ton, récupérant la majeure partie des bénéfices d'un brief humain.

5. Atténuation des échecs des petits modèles
Pour les modèles plus petits (4B) sur les langues à faibles ressources, les instructions peuvent déclencher des échecs catastrophiques (ex. : taux d'échec de 45,5 % sur le javanais). Les auteurs démontent que le Fine-Tuning efficace des paramètres (PEFT) via la distillation LoRA à partir d'un modèle enseignant plus grand (27B) peut virtuellement éliminer ces échecs critiques (réduisant les taux à environ 4,0 %) tout en préservant la capacité d'adaptation aux instructions.

Signification et affirmations

L'article établit que la TA adaptée à l'usage est une capacité viable et mesurable des LLM actuels. Les auteurs soutiennent que :

Changement de paradigme d'évaluation : L'évaluation de la traduction doit aller au-delà des métriques statiques basées sur des références pour inclure des métriques sensibles à l'usage (comme l'adaptabilité) qui tiennent compte de l'audience et de l'intention.
Déploiement pratique : Pour les modèles de $\ge$ 12 milliards de paramètres, l'ajout d'instructions utilisateur est un mécanisme fiable pour améliorer la qualité de la traduction, particulièrement pour le contenu informel.
Adaptation autonome : En l'absence d'instructions explicites, les modèles capables peuvent auto-générer des instructions efficaces à partir du contexte documentaire, offrant une voie pratique pour la TA au niveau du document qui ne nécessite pas de briefs manuels.
Limites : Les auteurs notent que leurs conclusions sont basées sur des familles de modèles spécifiques (Gemma, Qwen) et que la capacité de « suivi d'instruction » entre en compétition avec la capacité de génération multilingue dans les modèles plus petits, nécessissant des techniques comme la distillation pour stabiliser les performances.

Le travail conclut que bien que les LLM aient ouvert de nouvelles capacités de traduction itératives, réaliser leur plein potentiel nécessite des cadres d'évaluation capables de mesurer ces qualités adaptatives, faisant passer le domaine vers un paradigme plus centré sur l'utilisateur.