💬 NLP

Disentangling Linguistic Relatedness from Task Alignment in Cross-Lingual Transfer

Cet article démontre que le transfert translingual dans les grands modèles de langage est principalement piloté par l'alignement du format de la tâche plutôt que par la parenté linguistique, car les modèles affichent des améliorations uniformes à travers les familles de langues, indépendamment de leur performance de base ou de l'utilisation du raisonnement par chaîne de pensée.

Auteurs originaux : Ahmed Haj Ahmed, Ruochen Zhang, Alvin Grissom II

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ahmed Haj Ahmed, Ruochen Zhang, Alvin Grissom II

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une équipe de sept étudiants différents (les modèles d'IA), allant du lycéen brillant mais inexpérimenté au professeur chevronné. Vous voulez voir si l'enseignement d'un sujet spécifique en arabe les aide soudainement à devenir des experts pour répondre à des questions en hébreu, en amharique et en maltais (des langues apparentées à l'arabe), ou si cela les aide simplement à répondre de manière tout aussi efficace en japonais, en coréen et en français (des langues non apparentées).

La grande découverte des chercheurs est la suivante : Enseigner l'arabe ne leur a pas miraculeusement transféré des « connaissances en arabe » vers les langues apparentées. Cela leur a simplement appris comment passer l'examen.

Voici la décomposition en utilisant des analogies simples :

1. La mise en place : Le test de la « famille de langues »

Les chercheurs ont choisi la famille de langues sémitiques (arabe, hébreu, amharique, maltais) car elles sont comme des cousins. Elles partagent des racines familiales profondes, même si elles paraissent différentes sur le papier (l'arabe et l'hébreu utilisent un système d'écriture qui ressemble à un squelette de lettres, l'amharique utilise un script différent, et le maltais utilise l'alphabet latin standard que nous utilisons en anglais).

L'idée était : Si nous enseignons l'arabe à un modèle, deviendra-t-il naturellement meilleur en hébreu ou en amharique parce qu'ils font partie de la même « famille » ?

2. L'expérience : Le « cours intensif d'arabe »

Ils ont pris sept modèles d'IA de grande taille et leur ont donné un « cours intensif » (ajustement fin ou fine-tuning) utilisant uniquement des dialectes arabes. Ils ne leur ont rien enseigné sur les autres langues. Ensuite, ils ont testés les modèles sur la compréhension de lecture de questions dans toutes les autres langues sans entraînement supplémentaire (zero-shot).

3. Les résultats : Tout était une question de « compétences de passage d'examen »

Les résultats ont été surprenants.

Les « modèles faibles » (Les étudiants en difficulté) : Les modèles qui commençaient avec de mauvais résultats (comme les modèles GPT-OSS) ont bénéficié d'un bond massif après l'entraînement en arabe. Ils sont passés d'un taux de bonnes réponses de 45 % à près de 80 %.
- Le rebondissement : Ils se sont améliorés autant en japonais et en français qu'en hébreu et en amharique.
- L'analogie : Imaginez un étudiant qui ne sait pas comment remplir correctement une grille de réponses. Vous lui apprenez comment remplir la grille en utilisant un test de pratique en arabe. Soudain, il devient meilleur à tous les tests, même ceux en japonais, simplement parce qu'il a enfin appris à cocher les cases correctement. Il n'a pas appris le japonais ; il a appris le format.
Les « modèles forts » (Les meilleurs étudiants) : Les modèles qui réussissaient déjà très bien (comme le DeepSeek à 671 milliards de paramètres) se sont très peu améliorés.
- L'analogie : Si un étudiant est déjà un élève brillant qui sait exactement comment remplir la grille de réponses, lui donner plus de pratique sur cette grille ne l'aidera pas beaucoup. Il était déjà calibré.

4. La preuve par la « Chaîne de Pensée » (Chain-of-Thought)

Pour prouver qu'il ne s'agissait pas d'apprendre de nouveaux faits linguistiques, les chercheurs ont essayé une astuce différente : la Chaîne de Pensée (CoT). Au lieu de réentraîner les modèles, ils leur ont simplement demandé de « réfléchir à voix haute » (écrire une étape de raisonnement) avant de répondre.

Le résultat : Les mêmes modèles qui s'étaient améliorés grâce à l'entraînement en arabe se sont également améliorés grâce au fait de « réfléchir à voix haute ».
La conclusion : Si l'entraînement en arabe avait transféré des « connaissances linguistiques » (comme des règles de grammaire), le fait de réfléchir à voix haute n'aurait pas dû aider autant. Mais comme les deux méthodes ont aidé les mêmes modèles de la même manière, cela prouve que le problème n'était pas un manque de connaissances. Le problème était que les modèles ne savaient pas comment aligner leurs réponses avec le format de l'examen.

5. Le mythe de l'écriture

Les chercheurs ont également vérifié si le système d'écriture importait. Puisque l'arabe et l'hébreu utilisent tous deux un script qui ressemble à un squelette de lettres (abjad), ils pensaient que l'hébreu pourrait bénéficier d'un élan spécial.

La réalité : L'hébreu n'a pas reçu de boost spécial. L'amélioration était la même, que la langue utilise le même script que l'arabe ou un script totalement différent. La connexion de l'« arbre généalogique » n'avait pas d'importance.

L'essentiel à retenir

L'article conclut que lorsque nous voyons une IA s'améliorer dans une langue après un entraînement sur une langue apparentée, nous ne devrions pas supposer que c'est parce que l'IA a « appris la famille linguistique ».

Au lieu de cela, l'IA était probablement simplement en train d'apprendre les règles du jeu. Elle apprenait comment regarder une question, traiter les options et choisir le bon numéro de réponse (1, 2, 3 ou 4). Une fois qu'elle a appris ce « format de jeu » en utilisant l'arabe, elle pouvait appliquer cette même compétence à n'importe quelle langue, qu'il s'agisse d'un cousin (l'hébreu) ou d'un étranger (le japonais).

En bref : les modèles n'ont pas appris à parler l'hébreu ; ils ont appris à passer l'examen.

Résumé technique : Distinguer la parenté linguistique de l'alignement aux tâches dans le transfert translingue

Énoncé du problème

Bien que les grands modèles de langage (LLM) aient progressé dans leurs capacités multilingues, les mécanismes qui pilotent le transfert translingue restent obscurs. On suppose souvent que le réglage fin (fine-tuning) d'un modèle sur une langue à hautes ressources (ex. l'arabe) génère des gains de performance dans les langues à faibles ressources linguistiquement apparentées (ex. l'hébreu, l'amharique) grâce à des structures morphologiques ou syntaxiques partagées. Cependant, des travaux antérieurs suggèrent que des facteurs tels que l'échelle du modèle et l'ajustement par instructions (instruction tuning) sont insuffisants pour expliquer le comportement de transfert, et que la « malédiction de la multilingualité » peut diluer la performance dans les modèles à capacité fixe.

Cet article examine si les gains observés en compréhension de lecture en mode zéro-shot après un réglage fin sur l'arabe sont pilotés par la parenté linguistique (transfert de connaissances spécifiques aux langues sémitiques) ou par l'alignement au format de la tâche (apprentissage de la structuration des sorties pour la tâche d'évaluation). Les auteurs postulent que si le transfert est linguistique, les gains devraient être concentrés dans les langues sémitiques ; s'il est basé sur l'alignement, les gains devraient être uniformes dans toutes les langues, indépendamment de la famille ou de l'écriture.

Méthodologie

Conception expérimentale

L'étude utilise un dispositif de transfert translingue contrôlé utilisant le benchmark Belebele, un ensemble de données de compréhension de lecture à choix multiples massivement parallèle couvrant plus de 120 langues.

Langue source : Le réglage fin est effectué exclusivement sur les dialectes arabes (mésopotamien, tunisien, levantin du sud, levantin du nord, najdi et marocain), totalisant 4 800 exemples.
Langues cibles : L'évaluation en zéro-shot est menée sur :
- Cibles sémitiques : Hébreu, Amharique, Maltais.
- Contrôles non-sémitiques : Japonais, Coréen, Français.
Contrôle strict : Le jeu de données utilise des identifiants de questions identiques à travers les langues, garantissant l'absence de chevauchement entre entraînement et test en termes de contenu, seulement en termes de format.

Modèles

Sept LLM multilingues ont été évalués, variant en échelle (de 4B à 671B de paramètres) et en architecture :

Architectures denses : Qwen3-4B-Instruct, Qwen3-8B, Qwen3-8B-Base, Qwen3-32B.
Mélange d'experts (MoE) : GPT-OSS-20B, GPT-OSS-120B, DeepSeek-V3.1 (671B).

Protocole d'entraînement et d'évaluation

Réglage fin (Fine-tuning) : Réglage fin supervisé (SFT) utilisant LoRA (Rang 32) sur des données de dialectes arabes. Le format d'entraînement imite exactement le prompt d'évaluation (instruction en arabe, contenu dans la langue cible, réponse à un seul chiffre). Aucune annotation de type Chaîne de Pensée (CoT) n'a été fournie pendant l'entraînement.
Évaluation : La précision en zéro-shot est mesurée via le score de logprob. Le modèle est sollicité avec le passage et la question, suivi de « ANSWER: », et la log-probabilité des jetons (tokens) '1' à '4' est calculée. Le chiffre ayant la log-probabilité la plus élevée est sélectionné.
Étude d'ablation : Une ablation de raisonnement par Chaîne de Pensée (CoT) a été réalisée sur les modèles de base (non réglés), demandant aux modèles de générer une trace de raisonnement avant de scorer la réponse, permettant aux auteurs de comparer les effets des mises à jour de paramètres (réglage fin) par rapport au raisonnement à l'inférence.

Contributions clés

Étude translingue contrôlée : Les auteurs présentent une étude rigoureuse à travers la famille sémitique qui fait varier conjointement la parenté linguistique, l'écriture (Abjad, Abugida, Latin, CJK), l'échelle du modèle et l'architecture (Dense vs MoE) sur des données parallèles.
Alignement au format de tâche vs Transfert linguistique : L'article démontre que les gains de performance observés sont attribuables à l'alignement au format de la tâche plutôt qu'au transfert de famille linguistique. Une analyse de régression contrôlant la précision de base montre que les langues sémitiques ne gagnent pas plus que les contrôles non-sémitiques ; en fait, elles gagnent légèrement moins une fois la performance de base prise en compte.
Ablation de raisonnement CoT : Les auteurs introduisent une ablation CoT montrant que les modèles bénéficiant le plus du réglage fin sont les mêmes qui bénéficient le plus du raisonnement à l'inférence. Cela suggère que les deux mécanismes traitent le même déficit sous-jacent : le calibrage du format de la tâche.

Résultats

1. Gains uniformes à travers les familles de langues

Modèles de base faibles (MoE) : GPT-OSS-120B et GPT-OSS-20B ont montré des améliorations spectaculaires après le réglage fin sur l'arabe (gains moyens de +33,5 pp et +22,0 pp, respectivement). Crucialement, ces gains étaient uniformes dans toutes les langues cibles. Pour GPT-OSS-120B, les gains sur les langues non-sémitiques (Français +33,0 pp, Coréen +32,0 pp) étaient comparables aux langues sémitiques (Hébreu +44,0 pp, Maltais +41,0 pp).
Modèles de base forts : DeepSeek-V3.1 (671B) et Qwen3-32B, qui partaient d'une précision de base élevée, n'ont montré que des améliorations marginales (+2,3 pp et +1,0 pp, respectivement) quel que soit la famille de langues.
Petits modèles denses : Des modèles comme Qwen3-8B ont montré un transfert quasi nul, certains langages subissant même une légère dégradation, suggérant que le réglage fin LoRA sur des données arabes fournit un signal insuffisant pour ces échelles.

2. Analyse de régression

Une analyse de régression des gains de réglage fin par rapport à la précision de base et un indicateur binaire « Sémitique » a révélé :

La précision de base seule expliquait environ 48 % de la variance des gains ( $R^2 = 0,479$ ).
L'ajout de l'indicateur sémitique a produit un coefficient négatif ( $\beta_{Sémitique} = -8,2$ pp), indiquant qu'après contrôle de la précision de base, les langues sémitiques ont en réalité moins gagné que les contrôles non-sémitiques. Cela contredit l'hypothèse du transfert linguistique.
La similitude de l'écriture (Abjad vs autres) s'est également révélée non significative pour prédire le transfert.

3. Ablation de raisonnement

L'ablation CoT a confirmé que les modèles s'améliorant le plus avec le réglage fin (modèles GPT-OSS) sont aussi ceux qui s'améliorent le plus avec le raisonnement CoT.

GPT-OSS-120B a gagné +33,5 pp via le réglage fin et +41,0 pp via CoT.
GPT-OSS-20B a gagné +22,0 pp via le réglage fin et +22,8 pp via CoT.
Les modèles forts (DeepSeek-V3.1) ont montré des gains négligeables ou négatifs avec le CoT.
Interprétation : Le réglage fin et le CoT compensent tous deux un manque de calibrage du format de la tâche. Les modèles faibles possèdent la connaissance mais échouent à l'exprimer via un simple score de logprob ; les deux mécanismes les aident à faire émerger cette connaissance.

4. Calibrage distributionnel

L'analyse des distributions de logprob des choix de réponses a montré que :

Les modèles faibles présentaient une entropie élevée (incertitude) à la base. Le réglage fin et le CoT ont tous deux réduit l'entropie et augmenté la masse de probabilité sur la réponse correcte ( $\Delta P^* > 0$ ).
Les modèles forts possédaient déjà des distributions pointues ; le réglage fin a parfois augmenté l'entropie (diffusant la distribution) sans améliorer la précision, indiquant un effet d'« oubli catastrophique » ou d'interférence dans les petits modèles bien calibrés.

Signification et affirmations

L'article soutient que le réglage fin sur l'arabe n'induit pas de transfert translingue spécifique aux langues sémitiques dans le contexte de la compréhension de lecture à choix multiples. Au lieu de cela, le mécanisme principal est l'alignement au format de la tâche.

Prudence méthodologique : Les auteurs affirment que les gains observés sur les benchmarks multilingues ne doivent pas être attribués sans discernement au transfert de connaissances translinguistiques sans contrôler l'alignement au format de la tâche. Ce qui semble être du « transfert » peut simplement être l'apprentissage par le modèle du format de sortie spécifique de la tâche d'évaluation.
Implications pour les stratégies de faibles ressources : Les praticiens cherchant à améliorer les performances sur les langues sémitiques à faibles ressources via un réglage fin sur l'arabe ne devraient pas s'attendre à un avantage spécial provenant de la parenté linguistique. Le levier le plus fiable est l'amélioration de l'alignement général au format de la tâche.
Architecture vs Langue : L'étude suggère que le paradigme architectural (MoE vs Dense) et la capacité de base sont des prédicteurs plus forts des bénéfices de réglage fin que les propriétés linguistiques de la langue cible.

Les auteurs concluent que pour le paradigme spécifique de la compréhension de lecture à choix multiples scorée par logprob, le goulot d'étranglement pour les modèles faibles n'est pas le manque de connaissances linguistiques, mais un manque d'alignement avec le format de la tâche. Cette conclusion inverse le récit de la « taxe d'alignement », suggérant qu'un alignement insuffisant au format — et non un manque de connaissances — est la barrière principale pour les modèles plus faibles.