💬 NLP

Transport and Merge: Cross-Architecture Merging for Large Language Models

Cet article propose un cadre de fusion inter-architectures basé sur le transport optimal pour transférer efficacement les connaissances des grands modèles de langage vers des modèles plus petits et hétérogènes en alignant leurs activations afin d'établir des correspondances neuronales et de guider la fusion des poids.

Auteurs originaux : Chenhang Cui, Binyun Yang, Fei Shen, Yuxin Chen, Jingnan Zheng, Xiang Wang, An Zhang, Tat-Seng Chua

Publié 2026-02-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Chenhang Cui, Binyun Yang, Fei Shen, Yuxin Chen, Jingnan Zheng, Xiang Wang, An Zhang, Tat-Seng Chua

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🚚 Le Problème : Le Géant et le Petit Camion

Imaginez que vous avez deux véhicules :

Un immense camion-citerne (le "Grand Modèle") : Il est rempli de tout le savoir du monde (médecine, finance, langues rares), mais il est trop gros et trop cher pour rouler dans les petites rues de votre village.
Une petite voiture électrique (le "Petit Modèle") : Elle est parfaite pour les petites rues (elle est rapide, peu coûteuse et facile à utiliser), mais elle est vide et ne sait pas grand-chose.

Le défi habituel est de faire passer le savoir du grand camion à la petite voiture.

La méthode classique (Distillation) : C'est comme si le chauffeur du grand camion devait s'arrêter, expliquer tout ce qu'il sait à la petite voiture, et que cette dernière devait réapprendre tout cela par cœur. C'est long, ça demande beaucoup d'énergie et ça ne fonctionne pas toujours bien si les deux véhicules sont de marques très différentes.
L'ancienne méthode de fusion : C'est comme essayer de visser des pièces d'un camion Ford sur une voiture Toyota. Ça ne rentre pas ! Les boulons ne correspondent pas.

💡 La Solution : Le "Transport Optimal" (Le Déménageur Magique)

Les auteurs de cet article proposent une nouvelle astuce appelée "Transport et Fusion". Imaginez un déménageur génial qui ne regarde pas les pièces (les boulons), mais ce que les pièces font (les mouvements).

Voici comment ça marche, étape par étape :

1. Observer les mouvements (Les Activations)

Au lieu de comparer les pièces mécaniques (qui sont différentes), on regarde comment les deux véhicules réagissent quand on leur donne le même ordre (par exemple : "Conduis vers la bibliothèque").

Le grand camion allume ses phares, tourne le volant à gauche et appuie sur l'accélérateur.
La petite voiture fait la même chose, mais avec ses propres boutons.

Le déménageur (l'algorithme) observe : "Ah ! Quand le grand camion appuie sur le bouton A, la petite voiture appuie sur le bouton B. Ils font la même chose, même si les boutons sont à des endroits différents."

2. La Carte de Déménagement (Le Transport Optimal)

L'algorithme utilise une mathématique appelée "Transport Optimal". C'est comme un plan de déménagement ultra-précis.

Il dit : "Prends le savoir contenu dans le bouton A du grand camion, et transfère-le directement dans le bouton B de la petite voiture."
Il ne transfère que les boutons les plus importants (ceux qui bougent le plus quand on donne un ordre). Il ne déplace pas tout le camion, juste les pièces essentielles.

3. La Fusion (Assemblage)

Une fois le plan établi, on remplace les boutons de la petite voiture par les connaissances du grand camion.

Résultat : La petite voiture est maintenant capable de parler comme un expert, sans avoir besoin de réapprendre tout depuis zéro. Elle a hérité du savoir du géant, mais reste petite et agile.

🧩 Pourquoi c'est révolutionnaire ?

Pas besoin de parler la même langue : Même si le grand camion est un modèle chinois et la petite voiture un modèle anglais (architectures différentes), le déménageur trouve le lien entre leurs actions.
C'est rapide et peu coûteux : On n'a pas besoin de réentraîner la petite voiture pendant des mois. On fait juste ce "déménagement" rapide avec quelques exemples, et c'est fini.
C'est précis : On ne jette pas tout le savoir du grand camion. On ne transfère que ce qui est utile pour la petite voiture, évitant ainsi de la "casser" avec trop d'informations.

🌍 L'Impact dans la vraie vie

C'est comme donner un cerveau de génie à un petit robot de poche.

Pour les langues rares : Imaginez un modèle géant qui parle couramment le français ou l'anglais, et un petit modèle qui doit parler le malais ou le cantonais. Cette méthode permet de "greffer" l'intelligence du grand modèle sur le petit, rendant la technologie accessible à des milliards de personnes qui parlent des langues moins répandues.
Pour les domaines spécialisés : Un petit modèle peut devenir un expert en médecine ou en finance sans avoir besoin de millions de dollars de calcul pour s'entraîner.

En résumé

C'est comme si vous aviez un déménageur magique capable de prendre les idées d'un grand savant (le grand modèle) et de les "greffer" directement sur les neurones d'un petit étudiant (le petit modèle), même s'ils ont des cerveaux construits différemment. Le petit étudiant devient instantanément un expert, sans avoir à réapprendre tout le manuel.

C'est une façon intelligente, rapide et économique de partager la connaissance entre les intelligences artificielles.

1. Problématique

Les grands modèles de langage (LLM) démontrent des capacités exceptionnelles grâce à l'augmentation de leur capacité et de leurs données d'entraînement. Cependant, de nombreuses applications réelles reposent sur des modèles plus petits, entraînés ou adaptés à partir de données à faible ressources (langues minoritaires, domaines spécialisés).

Le défi : Il existe un fossé entre les modèles "source" (grands, riches en données) et les modèles "cible" (petits, contraints en ressources).
La limitation actuelle : Les méthodes existantes de fusion de modèles (model merging) supposent généralement que les modèles à fusionner partagent la même architecture, permettant des opérations directes dans l'espace des poids. Elles échouent donc à transférer des connaissances d'un LLM hétérogène (ex: LLaMA-8B) vers un modèle cible de structure différente (ex: LLaMA-1B ou un modèle spécialisé).
L'alternative coûteuse : Les approches actuelles pour combler ce fossé reposent souvent sur la distillation, qui nécessite un entraînement coûteux et l'accès à de grandes quantités de données.

L'objectif est de permettre un transfert de connaissances direct d'un modèle à haute ressource vers un modèle à faible ressource, même lorsque leurs architectures sont hétérogènes, sans nécessiter de réentraînement massif.

2. Méthodologie : Transport et Fusion

Les auteurs proposent un cadre de fusion basé sur le Transport Optimal (Optimal Transport - OT) pour aligner les activations et inférer des correspondances entre les neurones de modèles hétérogènes.

A. Alignement dans l'Espace des Activations

Au lieu d'essayer de faire correspondre directement les poids (difficile en raison des architectures différentes), la méthode aligne d'abord les activations intermédiaires :

Extraction d'activations : Un petit ensemble de données d'entrée ( $D$ ) est passé à travers le modèle source ( $M_B$ ) et le modèle cible ( $M_A$ ).
Calcul de similarité : Pour chaque couche, une matrice de coût est construite en mesurant la corrélation (coefficient de Pearson) entre les canaux d'activation du modèle source et ceux du modèle cible.
Transport Optimal (OT) : Un problème de transport optimal régularisé par l'entropie est résolu pour trouver un plan de transport ( $Q$ $Q$ ). Ce plan définit comment les canaux d'activation du modèle source peuvent être recombinés (mélange pondéré) pour correspondre à ceux du modèle cible.
- Cela permet d'inférer des correspondances neuron-neuron même si les dimensions des couches diffèrent.

B. Fusion des Poids (Weight Fusion)

Une fois les correspondances dans l'espace des activations établies, elles sont "relevées" vers l'espace des poids pour fusionner les paramètres :

Opérateurs de mélange : Les matrices de transport ( $Q$ ) sont utilisées comme opérateurs de mélange pour transformer les poids du modèle source dans la base neuronale du modèle cible.
Sélection Top-K : Pour éviter les interférences et assurer la robustesse, la fusion n'est appliquée qu'à un sous-ensemble restreint de neurones (Top-K) qui sont les plus actifs sur les données d'alignement.
Formule de fusion : Les poids fusionnés sont calculés comme une combinaison du poids original du modèle cible et d'une contribution résiduelle issue du modèle source, pondérée par les plans de transport et un coefficient $\alpha$ .

C. Adaptation Résiduelle Gelée (Residual-Frozen Adaptation)

Après la fusion, une étape d'adaptation légère est proposée :

Les paramètres résiduels transférés (la partie venant du modèle source) sont gelés.
Seuls les paramètres de base du modèle cible sont mis à jour via un fine-tuning léger.
Cela permet au modèle cible de s'adapter à la distribution de la tâche tout en préservant les connaissances transférées.

3. Contributions Clés

Cadre de fusion cross-architecture : Première méthode permettant une fusion directe de poids entre des LLMs d'architectures différentes (hétérogènes) sans réentraînement complet.
Utilisation du Transport Optimal : Application innovante de l'OT pour établir des correspondances structurées au niveau des neurones entre des modèles de capacités et de structures différentes, en utilisant uniquement un petit ensemble de données.
Interprétation théorique : Démonstration que la fusion des poids équivaut à une transformation dans l'espace des représentations (mapping des features cibles vers l'espace source, application de la linéarité source, et retour dans l'espace cible).
Efficacité : La méthode nécessite seulement un petit ensemble de calibration (quelques milliers d'échantillons) et évite le coût computationnel de la distillation ou du SFT (Supervised Fine-Tuning) complet.

4. Résultats Expérimentaux

Les expériences ont été menées sur des langues à faible ressource (Malaisien, Indonésien, Cantonais, Thaï) et des domaines spécialisés (Finance, Médecine).

Performances : La méthode améliore systématiquement les performances par rapport au modèle cible de base.
- Exemple (Malaisien) : Gain de +6,51 points sur la catégorie "Humanités" et +5,99 sur les "Sciences Sociales" sur le benchmark MalayMMLU.
- Exemple (Cantonais) : Amélioration de la moyenne globale de 25,26% à 27,44%.
Comparaison avec l'état de l'art : La méthode surpasse ou égale les approches basées sur le SFT et la distillation, tout en étant beaucoup plus efficace en termes de données et de calcul.
Robustesse : Les résultats sont stables quelle que soit l'architecture source (LLaMA-8B, Qwen-7B, etc.) et le modèle cible (1B).
Capacités générales : La fusion ne dégrade pas les capacités générales du modèle cible (raisonnement, connaissances communes), préservant ainsi l'utilité du modèle pour des tâches non spécifiques.

5. Signification et Impact

Démocratisation de l'IA : Cette approche permet de transférer les connaissances des modèles géants vers des modèles légers adaptés aux langues minoritaires ou aux contraintes matérielles, sans nécessiter de ressources de calcul massives pour l'entraînement.
Alternative à la distillation : Elle offre une voie plus directe et moins coûteuse que la distillation pour le transfert de connaissances inter-architectures.
Principe de similarité des représentations : L'article fournit des preuves empiriques que, malgré des architectures différentes, les modèles de langage partagent des structures internes d'activation corrélées, validant l'hypothèse sous-jacente de la fusion.

En résumé, "Transport and Merge" propose une solution élégante et efficace pour combler le fossé entre les modèles de grande capacité et les besoins de déploiement réel, en utilisant le transport optimal pour "traduire" les poids d'un modèle à un autre à travers des architectures hétérogènes.