💬 NLP

One Model to Translate Them All? A Journey to Mount Doom for Multilingual Model Merging

Cette étude démontre que la fusion de modèles multilingues pour la traduction échoue car le fine-tuning redistribue la sélectivité neuronale, augmentant la divergence des représentations dans les couches supérieures et rendant les hypothèses de fusion incompatibles avec la géométrie des modèles.

Auteurs originaux : Baban Gain, Asif Ekbal, Trilok Nath Singh

Publié 2026-04-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Baban Gain, Asif Ekbal, Trilok Nath Singh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌍 Le Problème : Trop de modèles, pas assez de place

Imaginez que vous avez un super-cuisinier (un modèle d'IA) capable de parler plusieurs langues. Mais pour être parfait en hindi, il faut le former uniquement sur la cuisine indienne. Pour être parfait en bengali, il faut le former uniquement sur la cuisine bengalie.

Le problème ? Si vous voulez un restaurant qui sert tout (hindi, bengali, tamoul, télougou), vous avez deux options :

La méthode difficile : Recruter un chef unique et le faire apprendre toutes les cuisines en même temps. C'est long, cher et ça demande énormément d'ingrédients (données).
La méthode pratique : Engager quatre chefs experts séparés, chacun spécialisé dans une langue, et essayer de les fusionner en un seul "super-chef" sans avoir besoin de leurs carnets de recettes secrets (les données d'entraînement). C'est ce qu'on appelle le fusionnement de modèles (model merging).

🚧 La Découverte : Le "Super-Chef" échoue

Les chercheurs de l'IIT Patna ont essayé de fusionner ces chefs experts. Le résultat ? C'est un désastre.

Quand ils ont mélangé les cerveaux de ces modèles, le résultat était souvent pire que de ne rien faire.

Le scénario "Un vers Plusieurs" (One-to-Many) : Si vous prenez un modèle qui parle anglais et essayez de lui apprendre à parler hindi, bengali, tamoul et télougou en même temps, il devient confus. Il oublie presque tout. C'est comme si vous demandiez à un chef de préparer un plat unique qui doit plaire à quatre cultures culinaires très différentes en même temps : le résultat est une soupe sans goût.
Le scénario "Plusieurs vers Un" (Many-to-One) : C'est un peu mieux (il comprend mieux les différentes langues), mais il perd la finesse de chaque langue spécifique.

🔍 L'Enquête : Pourquoi ça ne marche pas ?

Pour comprendre pourquoi ce "mariage" de modèles échoue, les chercheurs ont fait une autopsie numérique du cerveau de l'IA. Ils ont regardé comment les "neurones" (les petits interrupteurs du cerveau de l'IA) travaillent.

Voici les trois révélations clés, expliquées avec des métaphores :

1. La Carte des Neurones : Le rez-de-chaussée est commun, l'étage est privé

Imaginez le modèle comme un immeuble de 36 étages.

Les étages du bas (0-11) : C'est le hall d'entrée. Tous les modèles, qu'ils parlent hindi ou anglais, utilisent les mêmes neurones pour comprendre les mots de base. C'est stable et partagé.
Les étages du milieu (12-27) : C'est le bureau administratif. Tout le monde y travaille encore ensemble, mais chacun commence à avoir ses propres dossiers.
Les étages du haut (28-36) : C'est ici que la magie opère (la génération du texte). C'est là que le modèle décide comment parler.
- Le problème : Quand on entraîne un modèle spécifiquement pour le hindi, il réorganise complètement les bureaux du dernier étage pour le hindi. Quand on l'entraîne pour le bengali, il réorganise aussi le dernier étage, mais d'une manière totalement différente.

2. Le Conflit Géométrique : Des routes qui ne se croisent pas

Les chercheurs ont découvert que même si les mêmes "employés" (neurones) travaillent dans les deux modèles, ils ne marchent pas dans la même direction.

Imaginez deux équipes de danseurs qui utilisent les mêmes danseurs.
L'équipe A (Hindi) fait une chorégraphie où les danseurs du dernier étage tournent vers la gauche.
L'équipe B (Bengali) fait une chorégraphie où les mêmes danseurs tournent vers la droite.
Si vous essayez de fusionner les deux équipes en une seule (en faisant une moyenne des mouvements), les danseurs se cognent, s'annulent et tombent. C'est ce qu'on appelle une divergence géométrique.

3. La Redistribution, pas l'ajout

On pensait que l'IA apprenait une nouvelle langue en ajoutant de nouveaux neurones spécialisés. En réalité, elle réorganise tout. Elle prend des neurones qui étaient partagés et les rend "égoïstes" pour une langue spécifique, surtout dans les étages supérieurs. Cela crée un fossé infranchissable entre les modèles.

💡 La Conclusion du Voyage

Le titre du papier, "One Model to Translate Them All?" (Un modèle pour tous ?), pose une question rhétorique. La réponse est : Pas encore, et pas avec les méthodes actuelles.

Le papier nous dit que :

Fusionner des modèles est facile quand ils font la même tâche (comme traduire plusieurs textes en anglais).
C'est très difficile quand ils parlent des langues différentes, car la façon dont ils "pensent" pour générer du texte change radicalement à la fin du processus.
L'avenir : Pour réussir, il ne suffit pas de faire une moyenne simple des poids (les paramètres). Il faudra inventer des méthodes plus intelligentes pour aligner ces "étages supérieurs" avant de les fusionner, comme si on réécrivait la chorégraphie des danseurs pour qu'ils puissent danser ensemble sans se cogner.

En résumé : On ne peut pas simplement coller deux cerveaux d'experts linguistiques ensemble et espérer qu'ils fonctionnent comme un seul. Leurs façons de penser à la fin du processus sont trop différentes, et cette différence détruit la capacité de l'IA à parler correctement.

1. Problématique et Contexte

L'entraînement de modèles de langue multilingues performants sur des paires de langues diverses est coûteux en calcul et en données. Une approche alternative consiste à entraîner indépendamment des modèles monolingues ou spécifiques à une tâche, puis à les fusionner (Model Merging) sans accéder aux données d'origine. Bien que cette méthode ait montré des succès dans des contextes multitâches (en anglais), son comportement dans des scénarios de traduction automatique multilingue (MT) reste mal compris.

Les auteurs posent l'hypothèse que la fusion de modèles de traduction entièrement affinés (fully fine-tuned) sur des corpus massifs échoue, en particulier lorsque les langues cibles diffèrent, et cherchent à expliquer pourquoi les stratégies de fusion standard (comme l'arithmétique des tâches) ne fonctionnent pas dans ce contexte spécifique.

2. Méthodologie

L'étude repose sur une expérience contrôlée utilisant le modèle de base Qwen-2.5-3B-Instruct.

Affinage (Fine-tuning) : Les auteurs ont affiné le modèle de manière indépendante sur huit tâches de traduction bilingue à grande échelle (corpus Samanantar) couvrant quatre langues indiennes (Hindi, Bengali, Tamil, Telugu) vers l'anglais, et vice-versa. Les jeux de données sont massifs (de 4,9M à 10,1M de paires de phrases).
Stratégies de fusion : Ils évaluent plusieurs méthodes de fusion d'espaces de poids :
- Task Arithmetic (moyenne linéaire des vecteurs de tâche).
- TIES (élagage des mises à jour de faible magnitude et résolution des conflits de signe).
- DARE (éparsité aléatoire des deltas).
- SCE-Merging (sélection des changements de poids significatifs).
Configurations d'évaluation :
1. Many-to-One (Indic $\to$ En) : Fusion de modèles avec une langue cible commune (anglais) mais des sources différentes.
2. One-to-Many (En $\to$ Indic) : Fusion de modèles avec une source commune (anglais) mais des cibles différentes.
3. Bidirectionnelle : Fusion de modèles opposés (ex: En-Hindi + Hindi-En) pour créer un système bidirectionnel.
Analyses internes : Pour comprendre les échecs, les auteurs utilisent trois techniques d'analyse neuronale :
- Sélectivité des neurones conditionnée par le segment (Span-conditioned neuron selectivity) : Identification des neurones activés spécifiquement pour la source ou la cible.
- Alignement de l'utilisation des neurones (NUA) : Mesure de la similarité des vecteurs d'activation entre modèles.
- Alignement du noyau centré (CKA) : Mesure de la similarité géométrique des représentations internes par couche.

3. Résultats Expérimentaux

Les résultats révèlent une dégradation sévère des performances lors de la fusion, avec des asymétries directionnelles marquées :

Fusion Many-to-One (Indic $\to$ En) : La fusion améliore la couverture multilingue et la stabilité par rapport au modèle de base, mais elle ne conserve pas la performance maximale des modèles affinés individuellement. L'écart avec les modèles "upper bound" est plus grand que dans les tâches multitâches classiques.
Fusion One-to-Many (En $\to$ Indic) : C'est ici que l'échec est le plus critique. La fusion ne génère aucun gain par rapport au modèle pré-entraîné. Les performances chutent drastiquement (ex: pour En $\to$ Hindi, le score BLEU retenu n'est que de ~22% de celui du modèle spécialisé).
Fusion Bidirectionnelle : Elle entraîne un effondrement encore plus sévère, en particulier pour la direction En $\to$ Indic, où la capacité de génération est presque totalement perdue. La direction Indic $\to$ En est partiellement préservée, confirmant une asymétrie directionnelle forte.

4. Analyse des Causes (Le "Pourquoi")

L'analyse interne fournit des explications structurelles à ces échecs :

Redistribution de la spécialisation : L'affinage ne crée pas de nouveaux neurones exclusifs, mais redistribue la spécialisation linguistique.
- Les neurones spécifiques aux langues se concentrent dans les couches d'embedding (pour l'encodage source) et les couches supérieures du transformateur (pour la génération cible).
- Les couches intermédiaires restent largement partagées entre les langues.
Divergence géométrique dans les couches supérieures :
- L'analyse CKA montre que si les couches précoces et intermédiaires restent alignées, les couches finales (28-36) subissent une réorganisation géométrique massive et spécifique à la langue cible.
- Lorsque les langues cibles diffèrent, les sous-espaces de génération dans ces dernières couches deviennent géométriquement incompatibles.
Alignement des neurones vs Géométrie :
- L'analyse NUA révèle que les modèles affinés utilisent les mêmes ensembles de neurones (forte similarité d'activation), mais que la géométrie collective de ces activations diverge.
- La fusion linéaire combine donc des sous-espaces géométriquement désalignés au sein des mêmes unités computationnelles, détruisant la fonctionnalité de génération.

5. Contributions Clés

Première étude systématique de la fusion d'espaces de poids pour la traduction multilingue avec affinement complet de paramètres sur des corpus de millions de phrases.
Démonstration d'une asymétrie directionnelle : La fusion échoue principalement lorsque les langues cibles diffèrent (génération), tandis que la fusion de sources différentes est moins destructrice.
Explication mécaniste : Identification du fait que l'affinage redistribue la spécialisation vers les couches supérieures, créant une divergence géométrique qui viole les hypothèses de compatibilité des méthodes de fusion standard.
Lien avec la théorie géométrique : Les résultats soutiennent l'idée que les modèles affinés indépendamment ne restent pas dans le même "bassin" (basin) de permutation, rendant l'interpolation linéaire inefficace.

6. Signification et Conclusion

Ce travail remet en question la viabilité de la fusion de modèles pour consolider des systèmes de traduction générative spécialisés. Il démontre que la fusion de poids, bien que efficace pour des tâches de classification ou de vision, est intrinsèquement fragile en traduction multilingue en raison de la réorganisation géométrique des couches de génération.

Les auteurs concluent que pour réussir la fusion multilingue, il faudra probablement développer des méthodes capables de réaligner les sous-espaces de génération spécifiques aux langues ou de préserver la structure géométrique des couches supérieures, plutôt que de se fier à des moyennes linéaires simples. Cela ouvre la voie à de nouvelles recherches sur la compatibilité géométrique des modèles de langue spécialisés.