💬 NLP

Evaluating In-Context Translation with Synchronous Context-Free Grammar Transduction

Cette étude évalue la capacité des grands modèles de langage à effectuer une traduction en contexte en utilisant des grammaires formelles synchrones, révélant que leur précision diminue avec la complexité de la grammaire et de la phrase, et qu'elle est fortement affectée par les différences morphologiques et scripturales, les modèles commettant principalement des erreurs de vocabulaire ou d'omission.

Auteurs originaux : Jackson Petty, Jaulie Goe, Tal Linzen

Publié 2026-04-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jackson Petty, Jaulie Goe, Tal Linzen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Défi : Traduire sans avoir jamais voyagé là-bas

Imaginez que vous êtes un traducteur très doué, capable de parler des milliers de langues grâce à des livres qu'il a lus pendant des années. Mais il y a un problème : il existe des langues rares, parlées par peu de gens, pour lesquelles il n'existe aucun livre, aucun dictionnaire, aucune phrase enregistrée.

Comment ce traducteur (une Intelligence Artificielle, ou IA) peut-il traduire dans ces langues ?
L'idée de cette étude est de lui donner un manuel de grammaire et un dictionnaire juste avant la traduction, en lui disant : "Voici les règles, traduis cette phrase." C'est ce qu'on appelle la traduction "en contexte" (In-Context Translation).

L'Expérience : Un Laboratoire de Langages Inventés

Pour tester si les IA sont vraiment capables d'apprendre ces règles sur le vif, les chercheurs n'ont pas utilisé de vraies langues (trop compliqué et trop de variables). Ils ont créé des langages artificiels, comme des jeux de construction avec des blocs.

Ils ont donné aux IA :

Les règles du jeu (la grammaire) : Comment assembler les mots.
Un mot à traduire : Une phrase dans le langage A.
La mission : Produire la phrase correspondante dans le langage B.

C'est comme si on donnait à un enfant les règles d'un nouveau jeu de société et qu'on lui demandait de jouer un coup, sans qu'il ait jamais vu ce jeu auparavant.

Les Trois Grands Découvertes (Les Pièges du Voyageur)

Les chercheurs ont découvert que même les IA les plus puissantes (comme GPT-5 ou Gemma) ont du mal, et voici pourquoi, avec des analogies :

1. La Carte devient trop grosse (La taille de la grammaire)

L'analogie : Imaginez que vous devez traverser une ville. Si vous avez une petite carte d'un seul quartier, c'est facile. Mais si on vous donne une carte de tout le pays avec des milliers de rues, de ruelles et de règles de circulation, vous vous perdez.
Le résultat : Plus la grammaire (le manuel de règles) est longue et complexe, plus l'IA se trompe. Dès que le manuel dépasse quelques milliers de règles, la performance chute drastiquement. L'IA oublie les règles ou ne sait plus où regarder.

2. La phrase devient trop longue (La longueur de la phrase)

L'analogie : C'est comme essayer de retenir une liste de courses. Si on vous dit "Achetez du pain", c'est facile. Si on vous dit "Achetez du pain, du lait, des œufs, du fromage, des pommes, du thé, du café, du riz, du sucre...", vous oubliez le début avant d'arriver à la fin.
Le résultat : Pour les phrases courtes (moins de 10 mots), l'IA est excellente. Mais dès que la phrase dépasse 20 mots, elle commence à faire des erreurs, à oublier des mots ou à les mettre dans le désordre.

3. L'écriture étrangère (L'orthographe)

L'analogie : Imaginez que vous savez lire en alphabet latin (A, B, C), mais qu'on vous demande de traduire en utilisant des symboles que vous ne reconnaissez pas, comme des hiéroglyphes ou des lettres avec des points et des traits bizarres au-dessus. Même si vous connaissez la règle de traduction, votre cerveau a du mal à copier les formes.
Le résultat : L'IA traduit bien vers l'alphabet latin. Elle commence à galérer avec le cyrillique (russe). Elle échoue presque totalement avec l'hébreu, surtout si on ajoute des points pour les voyelles (nikkud). L'IA a du mal à "écrire" ce qu'elle ne voit pas souvent dans ses données d'entraînement.

Les Erreurs Typiques : Quand l'IA hallucine

Quand l'IA échoue, elle ne fait pas juste des fautes de grammaire. Elle a des comportements drôles et inquiétants :

Le vol de mots : Elle oublie de traduire un mot et le laisse tel quel dans la phrase originale.
L'invention : Elle invente des mots qui n'existent ni dans la langue de départ, ni dans celle d'arrivée (comme si elle inventait un nouveau mot pour "chaise" alors qu'elle ne savait pas le dire).
Le mauvais souvenir : Elle traduit "chat" par "chien" parce qu'elle a confondu les règles.

La Conclusion : Un Potentiel Réel, mais Fragile

Cette étude nous dit deux choses importantes :

C'est possible : Les IA peuvent vraiment utiliser un manuel de grammaire pour traduire, même sans avoir appris la langue avant. Elles ne se contentent pas de copier des exemples qu'elles ont vus par le passé.
C'est fragile : Cette capacité est très limitée. Si la tâche est trop complexe (trop de règles, trop de mots, ou une écriture trop bizarre), l'IA perd ses moyens.

En résumé : Les IA sont comme des voyageurs très intelligents qui peuvent apprendre à lire une carte sur le moment. Mais si la carte est trop détaillée, le chemin trop long ou le paysage trop étrange, ils risquent de se perdre. Pour traduire les langues du monde entier, il faudra encore améliorer leur capacité à gérer la complexité et l'inconnu.

1. Problématique et Contexte

Les langues à ressources limitées (low-resource languages) posent un défi majeur pour la traduction automatique neuronale (NMT) traditionnelle, qui dépend fortement de vastes corpus parallèles pour l'entraînement. Une approche prometteuse consiste à exploiter la capacité des Grands Modèles de Langage (LLM) à utiliser des descriptions linguistiques fournies « en contexte » (in-context), telles que des grammaires de référence, des dictionnaires ou des manuels, sans nécessiter de réentraînement.

Cependant, évaluer cette capacité (appelée Traduction Automatique en Contexte ou ICMT) sur des langues naturelles est complexe :

Il est difficile d'isoler les facteurs spécifiques qui rendent la tâche difficile (ordre des mots, morphologie, orthographe).
Les évaluations reposent souvent sur des métriques de chevauchement de chaînes (BLEU, chrF) qui peuvent surestimer la qualité en présence de paraphrases acceptables mais non exactes.
Des travaux récents (Aycock et al., 2024) suggèrent que les modèles s'appuient davantage sur des exemples de traduction fournis en contexte que sur les règles grammaticales elles-mêmes.

L'objectif de cet article est de isoler et quantifier la capacité des LLMs à déduire et appliquer des règles grammaticales formelles pour traduire, en éliminant le bruit des données d'entraînement et les ambiguïtés du langage naturel.

2. Méthodologie

Les auteurs proposent un analogue formel de l'ICMT en utilisant des Grammaires Hors-Contexte Synchrones (SCFG).

Approche Formelle : Au lieu d'utiliser des langues naturelles, ils génèrent des paires de langages formels définis par une SCFG. Une SCFG définit simultanément deux langages (source et cible) via des règles de production appariées (ex: $A \to \langle B C, D E \rangle$ ).
Génération de Données : Ils créent des grammaires paramétrables qui définissent des langages « naturalistes » (vocabulaire aléatoire mais structuré) garantissant qu'aucun des langages n'a jamais été vu par le modèle lors de son pré-entraînement (pas de contamination de données).
Variables Expérimentales : Ils font varier systématiquement plusieurs hyperparamètres pour tester la robustesse des modèles :
1. Taille de la grammaire ( $|G|$ ) : Nombre de règles (de quelques dizaines à 10 000).
2. Longueur de la phrase : Nombre de mots (de 3 à 50).
3. Ordre des mots : SVO (Sujet-Verbe-Objet), SOV, OVS.
4. Morphologie : Présence ou absence d'accord en personne et en nombre (Agr vs NoAgr).
5. Orthographe : Latin, Latin avec diacritiques, Cyrillique, Hébreu (sans et avec points/voyelles).
Modèles Évalués : La série GPT-5 (nano, mini, full) et la série Gemma 3 (1b, 4b, 12b) de Google.
Évaluation : La métrique principale est la précision de correspondance exacte (Exact Match), car la grammaire fournit la traduction de référence unique et exacte. Des métriques secondaires (BLEU, chrF++, sac de mots) sont également rapportées.

3. Résultats Clés

Les expériences révèlent des limites significatives des modèles actuels face à la complexité croissante des règles et des données.

A. Impact de la Complexité (Taille et Longueur)

Taille de la grammaire : La précision chute drastiquement à mesure que la taille de la grammaire augmente. Les modèles performants sur de petites grammaires (< 100 règles) s'effondrent sur des grammaires de taille humaine (plusieurs milliers de règles).
Longueur de la phrase : Les modèles traduisent bien les phrases courtes (< 10 mots), mais la performance diminue notablement au-delà de 20 mots, indiquant des difficultés à maintenir la cohérence des règles sur de longues dérivations.

B. Propriétés Linguistiques

Ordre des mots : Contrairement aux attentes, le changement d'ordre des mots (SVO vers SOV ou OVS) n'a pas d'impact significatif sur la performance. Les modèles semblent capables de réorganiser les mots correctement s'ils suivent les règles fournies.
Morphologie : La morphologie est un facteur critique.
- Les modèles réussissent mieux entre deux langues sans accord morphologique.
- La pire performance est observée lors de la traduction d'une langue sans accord vers une langue avec accord (NoAgr $\to$ Agr), car le modèle doit inférer des informations (personne/nombre) qui ne sont pas explicites dans la source.

C. Orthographe et Script

C'est le facteur le plus limitant :

Les modèles traduisent bien vers le script Latin.
La performance baisse avec le Cyrillique.
Elle chute davantage avec l'Hébreu.
Effondrement total : Lorsque l'Hébreu inclut des points de voyelles (nikkud), la précision tombe à 0 % pour toutes les tailles de grammaires et longueurs de phrases. Cela suggère que les modèles peinent à copier et segmenter des séquences de caractères rares ou complexes, même lorsque les règles sont claires.

D. Analyse des Erreurs

Les erreurs ne sont pas principalement dues à une mauvaise compréhension de la structure, mais à :

Erreurs de rappel (Recall) : Utilisation du mauvais mot du vocabulaire cible.
Fuites de vocabulaire source : Copie de mots de la langue source sans les traduire.
Hallucinations : Génération de mots n'existant pas dans le vocabulaire cible.
Erreurs orthographiques : Utilisation du mauvais script ou de caractères inexistants.

4. Contributions et Signification

Contributions principales :

Cadre d'évaluation rigoureux : Introduction d'un benchmark basé sur les SCFG pour isoler la capacité de traduction en contexte des biais d'entraînement et des ambiguïtés sémantiques.
Preuve de capacité limitée mais réelle : Contrairement à Aycock et al. (2024), les auteurs montrent que les LLMs peuvent utiliser des descriptions grammaticales pour traduire, mais que cette capacité est extrêmement fragile face à la complexité.
Identification des goulots d'étranglement : Démonstration que les limites ne viennent pas de la réorganisation syntaxique (ordre des mots), mais de la gestion de la complexité symbolique (taille de la grammaire, longueur de la dérivation) et de la robustesse orthographique.

Signification pour le domaine :

Pour les langues à ressources limitées : Bien que l'ICMT soit théoriquement possible, les modèles actuels ne sont pas encore assez robustes pour gérer des grammaires complètes de langues complexes ou des scripts rares sans données d'exemple.
Limites des métriques : L'étude confirme que les métriques de chevauchement (BLEU, chrF++) surestiment systématiquement la performance réelle, surtout lorsque la tâche devient difficile.
Fragilité des LLM : Les résultats soulignent que les LLMs dépendent fortement de la similarité des n-grammes avec leurs données d'entraînement. Lorsqu'ils doivent générer des séquences de caractères totalement nouvelles (comme l'Hébreu pointé), leur capacité à suivre des règles abstraites s'effondre, révélant une incapacité à généraliser purement symboliquement au-delà de la distribution de leurs données d'entraînement.

En conclusion, cette recherche établit que si les LLMs possèdent la capacité fondamentale d'inférer des règles grammaticales, leur application pratique pour la traduction de langues à ressources limitées est actuellement entravée par des limites de contexte, de complexité symbolique et de robustesse orthographique.