💬 NLP

MeRoTune: RoPE-Safe Merging with a Tunable Dial

MeRoTune introduit une technique de fusion de modèles qui résout le désalignement des sous-espaces d'attention dans les modèles équipés de RoPE en apprenant des matrices de correction contraintes et commutant avec RoPE, permettant un mélange ajustable post-hoc de modèles affinés sans modifier les poids de base.

Auteurs originaux : Salman Faroz

Publié 2026-09-09✓ Author reviewed ⓘ

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Salman Faroz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'intelligence artificielle, les chercheurs sont souvent confrontés à un dilemme : ils possèdent un cerveau informatique puissant et polyvalent, et ils ont entraîné des versions distinctes et spécialisées de celui-ci pour exceller dans des tâches spécifiques, comme écrire du code dans un langage ou répondre à des questions dans un autre. L'objectif est de combiner ces spécialistes en un modèle unique et polyvalent sans le coût de l'exécution de plusieurs programmes simultanément. La méthode standard pour y parvenir consiste simplement à mélanger les poids mathématiques des deux modèles, comme si l'on mélangeait deux lots de peinture. Cependant, ce mélange simple suppose que la logique interne des deux modèles est parfaitement alignée. Si l'un des modèles conçoit un concept en utilisant un système de coordonnées internes légèrement différent de l'autre, le mélange direct peut créer un résultat confus, pire que chacun des modèles originaux. Cela est particulièrement délicat dans les modèles modernes qui utilisent un mécanisme spécifique pour comprendre l'ordre des mots, un système qui fait pivoter l'information en fonction de la position. Si le processus de mélange ignore cette rotation, il brise silencieusement la capacité du modèle à comprendre le contexte, souvent de manières invisibles lors de l'entraînement.

Un chercheur a développé une nouvelle méthode appelée MeRoTune pour résoudre ce problème. Au lieu de moyenner aveuglément les deux modèles, il enseigne d'abord à chaque modèle à ajuster son propre système de coordonnées internes afin qu'ils s'accordent sur la gestion de l'ordre des mots avant d'être mélangés. Ils ont découvert que pour que cet ajustement fonctionne sans briser le modèle, les changements doivent suivre un ensemble de règles très spécifiques et étroites. Ils ont prouvé mathématiquement que la seule façon sûre de corriger ces modèles est d'appliquer un type de rotation spécifique qui respecte la manière unique dont le modèle gère la position. Ils ont construit un système où deux modèles spécialisés apprennent leurs propres ajustements précis de manière autonome, puis ils peuvent être combinés dans n'importe quelle proportion souhaitée par l'utilisateur, agissant comme un cadran réglable plutôt que comme un mélange fixe.

Ils ont testé cette approche sur deux versions distinctes d'un modèle de langage : l'une entraînée pour être experte en indonésien et en codage, et l'autre entraînée pour être experte en japonais. Avant de tenter de fusionner les modèles, ils ont appliqué un contrôle mathématique strict pour s'assurer que les deux modèles étaient suffisamment différents pour justifier le processus complexe. Ils ont vérifié que chaque modèle était véritablement meilleur dans sa propre spécialité et moins performant dans l'autre, confirmant qu'un conflit réel existait et devait être résolu. Ils ont rejeté plusieurs paires candidates qui ne répondaient pas à ce critère, s'assurant de ne travailler que sur un problème authentique. Une fois qu'ils ont confirmé que la paire était appropriée, ils ont entraîné les modèles à apprendre leurs propres facteurs de correction uniques. Ces facteurs ont été conçus pour être des rotations simples, garantissant que les modèles restent stables et ne soient pas déformés pendant le processus.

Lorsqu'ils ont combiné les modèles en utilisant leur nouvelle méthode, les résultats ont été supérieurs aux techniques existantes. Ils ont testé le modèle fusionné à travers une large gamme de ratios de mélange, allant d'un modèle principalement indonésien à un modèle principalement japonais, et ont constaté que leur approche ne performait jamais moins bien que les méthodes standards utilisées par d'autres chercheurs. En fait, sur la plupart des tests, leur méthode a atteint un seuil élevé de fiabilité statistique, tandis qu'une méthode concurrente a réalisé des performances inférieures au modèle de base original, non fusionné, sur au moins une tâche. Ils ont également exploré si le ratio de mélange pouvait être divisé en deux contrôles indépendants, permettant à chaque modèle de contribuer plus librement. Ils ont découvert que faire cela entraînait l'effondrement des performances, prouvant qu'il était essentiel de maintenir le ratio de mélange lié pour que la méthode fonctionne.

L'étude a également révélé des détails intéressants sur ce que les modèles ont réellement appris durant le processus. La plupart des ajustements effectués par les modèles étaient très faibles, de minuscules rotations de quelques degrés seulement, suggérant que les modèles étaient déjà largement alignés au départ. Cependant, un petit nombre de parties spécifiques des modèles nécessitaient des changements beaucoup plus importants, allant jusqu'à quatre-vingt-six degrés, et ces parties ont également diminué en magnitude. Cela indique que, bien que la structure générale soit similaire, il existait des désaccords profonds et spécifiques sur la manière dont les modèles traitaient certains concepts, nécessitant un réalignement significatif. Ils ont noté que cette méthode n'est pas une solution miracle pour toutes les paires de modèles possibles ; elle ne fonctionne que lorsque les modèles sont véritablement spécialisés de manière conflictuelle et lorsque la structure interne du modèle inclut le mécanisme spécifique de gestion de la position qu'ils ont traité.

En fin de compte, ce travail démontre que la fusion de modèles d'IA n'est pas seulement une question de moyennage de nombres. Cela nécessite de comprendre la géométrie cachée de la manière dont le modèle traite l'information. En respectant les règles spécifiques de la gestion de l'ordre des mots par ces modèles, ils ont créé un outil qui permet de moduler en douceur entre différentes capacités d'expertise sans perdre la qualité de l'une ou l'autre. La méthode offre un moyen fiable de combiner des cerveaux d'IA spécialisés, garantissant que le résultat final est un modèle cohérent et performant plutôt qu'un mélange confus. Le code et les données de ce travail sont publics, permettant à d'autres de vérifier les conclusions et d'appliquer la même approche rigoureuse et mathématiquement fondée à leurs propres combinaisons de modèles.

Résumé technique : MEROTUNE : UNE FUSION SÉCURISÉE POUR ROPE AVEC UN CURSEUR RÉGLABLE

1. Énoncé du problème

La fusion de modèles vise à combiner plusieurs modèles affinés (fine-tuned) en un seul ensemble de poids, afin de préserver les capacités spécialisées de chacun sans le coût de l'hébergement de plusieurs modèles. Les méthodes standards (par exemple, la moyenne de poids, TIES, DARE) opèrent directement sur les tenseurs de poids bruts, supposant implicitement que les systèmes de coordonnées internes (spécifiquement les sous-espaces d'attention) des modèles fusionnés sont déjà alignés.

Des travaux récents [13] ont tenté de corriger les désalignements en apprenant une matrice de correction inversible, $M$ , pour les projections de requête ( $W_q$ ) et de clé ( $W_k$ ). Théoriquement, l'application de $M$ à $W_q$ et de $M^{-\top}$ à $W_k$ est une opération nulle ("no-op") de manière isolée car $(Mq)^\top (M^{-\top}k) = q^\top k$ . Cependant, cette annulation repose sur l'hypothèse que rien n'intervient entre la projection et le produit scalaire.

Le conflit central : Presque tous les modèles de langage modernes à poids ouverts (par exemple, Qwen, Llama 3) utilisent des plongements de position rotatifs (Rotary Position Embeddings - RoPE) exactement dans cet espace intermédiaire. RoPE applique une rotation dépendante de la position aux vecteurs de requête et de clé. Si la matrice de correction apprise $M$ ne commute pas avec la rotation RoPE, la propriété de "no-op" est rompue. La correction déforme par inadvertance les dépendances de position relative que RoPE est censé encoder, une distorsion qui est invisible pour les pertes d'entraînement standard qui ne redérivent pas explicitement l'interaction RoPE.

2. Méthodologie

2.1 Dérivation théorique : La classe des commutants de RoPE

L'article dérive la classe spécifique de matrices $M$ pour lesquelles l'annulation $(Mq)^\top R(\Delta\theta) (M^{-\top}k) = q^\top R(\Delta\theta) k$ se vérifie exactement en présence de RoPE.

Condition : $M$ doit commuter avec la matrice de rotation RoPE $R(\Delta\theta)$ pour toutes les positions relatives $\Delta$ .
Résultat : Les matrices valides forment un sous-ensemble strict et de faible dimension des matrices inversibles. Spécifiquement, pour chaque paire de fréquences RoPE (un sous-espace 2D), $M$ doit être une rotation à échelle variable agissant indépendamment au sein de cette paire.
Structure : $M$ est une matrice diagonale par blocs où chaque bloc $2\times2$ prend la forme $aI + bJ$ (où $J$ est la rotation de $\pi/2$ ). Cela réduit l'espace de recherche de $d^2$ paramètres par tête à $d$ paramètres (une échelle et un angle de rotation par paire de fréquences).
Propriétés :
- Sécurité : L'application d'une telle transformation à un seul modèle est une opération nulle exacte (Corollaire 1).
- Stabilité : Ces matrices ont toujours un nombre de condition de exactement 1, évitant les problèmes de mauvais conditionnement courants dans l'apprentissage de matrices non contraintes (Corollaire 2).

2.2 L'algorithme MeRoTune

S'appuyant sur cette classe, l'auteur propose MeRoTune (Merging + RoPE + Tunable) :

Alignement bilatéral : Deux modèles affinés ( $A$ et $B$ ) apprennent chacun leurs propres matrices de correction conformes à RoPE ( $M_a$ et $M_b$ ).
Opérateur de fusion : Les poids fusionnés à un ratio de mélange $\alpha$ $α$ sont calculés comme suit :
- $W_k^{merge}(\alpha) = (1-\alpha) M_a^{-\top} W_k^A + \alpha M_b^{-\top} W_k^B$
- $W_q^{merge}(\alpha) = (1-\alpha) M_a W_q^A + \alpha M_b W_q^B$
- Les autres poids (MLP, embeddings, etc.) subissent une interpolation linéaire.
Curseur réglable : La méthode permet d'ajuster le ratio de mélange final $\alpha$ a posteriori. L'objectif d'entraînement minimise la perte sur une plage de $\alpha$ choisie (par défaut un $\alpha$ fixe de 0,5, similaire à l'échelle fixe de LoRA), permettant au modèle fusionné d'être ajusté vers différents points de fonctionnement sans réentraînement.
Validation par pré-entraînement : L'article introduit une condition mathématique (Éq. 7) pour vérifier si une paire de fine-tunes mérite réellement d'être alignée. Une paire n'est une cible valide que si chaque modèle s'améliore par rapport au modèle de base dans sa propre spécialité ( $\Delta > 0$ ) mais est moins performant ou égal sur la spécialité de l'autre ( $\Gamma \le 0$ ). Si ce "écart de capacité bidirectionnel authentique" n'existe pas, le processus d'alignement ajoute du bruit sans bénéfice.

3. Contributions clés

Preuve de corrections sécurisées pour RoPE : Une preuve autonome identifiant la classe exacte de matrices (rotations à échelle variable au sein des paires de fréquences) qui préservent la structure de position relative de RoPE lors de la fusion.
Méthode MeRoTune : Un algorithme de fusion bilatéral qui entraîne ces corrections contraintes pour agir comme un curseur au moment de l'exécution, permettant un ajustement a posteriori du ratio de mélange.
Condition de validation : Une condition mathématique à forme fermée pour vérifier empiriquement l'existence d'un véritable écart de capacité entre deux fine-tunes avant de s'engager dans l'entraînement, évitant ainsi de gaspiller des calculs sur des paires invalides.
Évaluation complète : Une évaluation contre TIES et DARE-TIES sur une paire vérifiée de fine-tunes de Qwen2.5-1.5B-Instruct (Indonésien/Code vs Japonais), démontrant une robustesse à travers différents ratios de mélange.

4. Résultats expérimentaux

La méthode a été testée sur une paire de modèles Qwen2.5-1.5B-Instruct : l'un spécialisé en indonésien et code, l'autre en japonais.

Performance par rapport aux bases de référence :
- MeRoTune n'a jamais perdu face aux implémentations officielles de mergekit de TIES ou DARE-TIES à n'importe quel ratio de mélange testé.
- DARE-TIES a été nettement moins performant que le modèle de base non fusionné sur au moins un axe de benchmark.
- MeRoTune a dépassé le seuil de bruit statistique sur la plupart des benchmarks (MMLU, Indonésien, Japonais), alors que TIES est tombé en dessous du modèle de base sur trois des quatre benchmarks.
Comportement du ratio de mélange :
- Le ratio de mélange $\alpha$ a fonctionné efficacement comme un curseur. Les métriques ont généralement évolué de manière monotone vers le modèle le plus fort pour une tâche spécifique à mesure que $\alpha$ changeait.
- L'entraînement avec un ratio de mélange fixe ( $\alpha=0,5$ ) a généralement surpassé ou égalé une variante où $\alpha$ était rééchantillonné aléatoirement à chaque étape.
Ablation du découplage :
- L'article a testé l'assouplissement de la contrainte de ratio de mélange lié ( $\alpha$ ) en deux facteurs d'échelle indépendants ( $s_a, s_b$ ).
- Résultat : Le découplage a provoqué une dégradation fiable des performances sur tous les benchmarks. Pousser les deux facteurs simultanément de manière élevée a amplifié des deltas incontrôlés, menant à des performances pires qu'un choix aléatoire dans certains cas. Cela confirme que la contrainte convexe liée est nécessaire à la stabilité.
Transformations apprises :
- Les corrections apprises étaient principalement de petites rotations (médiane $\approx 10^\circ$ ) avec des échelles proches de 1.
- Une petite queue de blocs a présenté des rotations plus importantes ( $>45^\circ$ ) accompagnées d'une mise à l'échelle significative (réduction), suggérant que bien que la méthode soit théoriquement sûre, l'optimiseur a occasionnellement utilisé la capacité de remodeler le comportement au-delà du simple réalignement géométrique.

5. Signification et affirmations

L'article affirme que les plongements de position rotatifs ne sont pas un détail mineur mais une contrainte fondamentale qui dicte quelles corrections de fusion sont mathématiquement sûres. En dérivant la classe des "commutants de RoPE", MeRoTune fournit une méthode qui :

Garantit la sécurité : Contrairement aux méthodes non contraintes, elle ne peut pas corrompre silencieusement la logique de position relative du modèle.
Offre de la flexibilité : Elle produit un modèle qui peut être ajusté a posteriori comme un curseur, plutôt que de se verrouiller sur un seul mélange fixe.
Évite le gaspillage : La condition de pré-entraînement garantit que les ressources ne sont dépensées que pour des paires présentant des spécialisations conflictuelles authentiques.

L'auteur souligne la modestie de ses affirmations : les résultats sont spécifiques à l'architecture Qwen2.5-1.5B et à la paire vérifiée testée. Il note que bien que la méthode soit robuste, les marges de performance spécifiques dépendent du seuil de bruit statistique des benchmarks utilisés, et que la "taxe d'alignement" (où les fine-tunes régressent en dessous du modèle de base) reste un filtre critique pour l'applicabilité. Le code, les données et les scripts sont disponibles publiquement.