Signature-Guided Capacity Occupancy for Dense Expert Merging

Résumé Technique : SigMerge (Signature-Guided Capacity Occupancy)

Énoncé du Problème
La fusion d'experts denses vise à combiner plusieurs modèles de langage spécialisés par domaine en un seul checkpoint sans entraînement supplémentaire, généralement en opérant sur les vecteurs de tâches dans l'espace des poids. Cependant, les méthodes existantes font face à une limitation fondamentale : un ensemble unique de paramètres partagés doit encoder des compétences acquises de manière isolée, ce qui entraîne une « interférence d'experts » où les mises à jour pour un domaine effacent les capacités apprises par un autre.

Bien que les stratégies existantes traitent partiellement ce problème, elles ne parviennent pas à répondre à trois questions critiques concernant l'admission du support des vecteurs de tâches :

1. Où : Dans quelles couches la capacité doit-elle être ouverte, et à quel point ?
2. Qui : Quels domaines devraient occuper cette capacité en fonction de la demande ?
3. Comment : Comment le support doit-il être admis sans dépendre d'une recherche coûteuse de recettes de fusion ?

L'analyse empirique révèle que les fusions denses laissent un « écart d'expert résiduel » significatif (une moyenne de 12,13 points de pourcentage à travers diverses configurations), indiquant que les capacités spécialisées ne sont pas pleinement conservées. Les méthodes actuelles appliquent souvent des règles uniformes ou s'appuient sur des proxys basés sur la recherche qui peuvent ne pas capturer la performance réelle des spécialistes, échouant ainsi à diriger la capacité vers les domaines qui en ont le plus besoin.

Méthodologie : SigMerge
Les auteurs proposent SigMerge, un opérateur sans entraînement qui récupère la capacité de spécialiste en allouant un nombre borné de coordonnées de vecteurs de tâches à travers les couches et les domaines. La méthode opère au-dessus d'une fusion de base dense (l'« ancre ») et se compose de trois composantes clés :

1. Conflit-vers-Capacité (Où) :
   SigMerge détermine la capacité de chaque couche ($C_i$) en fonction du désaccord entre experts. Il agrège trois vues complémentaires du conflit à chaque couche :

• Géométrie de l'état caché : Mesurée via l'alignement de noyau centré (CKA) des états cachés agrégés.
• Direction du vecteur de tâche : Mesurée via la similitude cosinus entre les mises à jour des experts.
• Demande de coordonnées signées : Mesurée par la fréquence des signes opposés sur les poids individuels.
  Ces signaux sont normalisés et moyennés pour former un score de conflit ($\bar{S}_i$). La capacité de la couche est ensuite dérivée linéairement : les couches présentant un conflit élevé reçoivent moins de capacité (pour éviter l'interférence), tandis que les couches présentant un faible conflit reçoivent plus de capacité.

2. Déficit-vers-Allocation (Qui) :
   La méthode alloue la capacité ouverte entre les domaines en fonction des « déficits d'experts résiduels ». Pour chaque domaine $d$, le déficit $g_d$ est défini comme l'écart de performance entre le modèle fusionné de base et le meilleur expert du pool pour ce domaine spécifique. La part de capacité ($\rho_d$) assignée à chaque domaine est proportionnelle à son déficit. Les domaines que la fusion de base égale déjà parfaitement reçoivent une capacité nulle, garantissant que la réparation cible uniquement les capacités manquantes.

3. Occupation Séquentielle (Comment) :
   Pour remplir le budget couche-domaine sans recherche, SigMerge utilise une règle de réclamation séquentielle. Les domaines sont ordonnés par magnitude de déficit (le plus grand déficit en premier). Chaque domaine réclame sa part de quota de coordonnées à partir de l'ensemble des coordonnées encore non réclamées au sein d'une couche, en sélectionnant celles ayant la plus grande magnitude dans son vecteur de tâche ($\Delta_{d,i}$). Cela empêche plusieurs domaines de rivaliser pour les mêmes coordonnées de haute magnitude et garantit que les domaines les moins desservis ont un accès prioritaire aux mises à jour les plus impactantes.

Le modèle fusionné final est construit comme $\hat{\theta} = \theta_{base} + \sum_d V_d$, où $V_d$ représente l'incrément borné admis par la règle d'occupation séquentielle.

Principales Contributions

1. Caractérisation Empirique : Les auteurs démontrent que les déficits des spécialistes dans la fusion dense sont importants et hétérogènes selon les modèles, les domaines et les familles de fusion, arguant que la réparation nécessite une allocation de coordonnées plutôt que de simples meilleures règles de moyenne.
2. Cadre Sans Entraînement : SigMerge résout les trois défis de l'assignation de capacité (où, qui, comment) sans entraînement ni recherche. Il utilise des signaux mesurables (signatures de conflit et déficits de performance) pour construire une matrice de budget de rang un ($B = C\rho^\top$).
3. Garanties Théoriques et Algorithmiques : Le papier fournit une preuve (Théorème 1) que la règle d'occupation séquentielle est optimalité par étapes pour maximiser la masse de vecteur de tâche admise compte tenu de quotas fixes et d'un ordre de précédence.
4. Évaluation Complète : La méthode est évaluée à travers 21 configurations appariées (7 ancres $\times$ 3 pools de modèles) et comparée à six baselines, incluant des méthodes sensibles au conflit, par couche et basées sur la recherche.

Résultats

• Amélioration de la Performance : SigMerge améliore chacune des 21 configurations appariées, atteignant une amélioration relative moyenne de 15,0 % dans les scores Macro-5.
• Réduction de l'Écart : L'écart d'expert résiduel moyen est réduit de 12,13 à 5,77 points de pourcentage.
• Classement : SigMerge obtient le meilleur rang moyen (1,67) parmi six méthodes de fusion, surpassant toutes les baselines dans trois catégories (sensibles au conflit, par couche et basées sur la recherche).
• Études d'Ablation : Supprimer soit la capacité dérivée du conflit, soit l'allocation pilotée par le déficit provoque des chutes de performance significatives (comparables au gain total), confirmant que les deux signaux sont essentiels. Le choix spécifique des coordonnées (occupation séquentielle) explique environ 80 % du gain à un budget fixe.
• Efficacité : La méthode ajoute environ 0,6 heure de GPU au coût de l'ancre, la plaçant parmi les baselines sans recherche et la rendant nettement plus rapide que les méthodes basées sur la recherche comme MERGE3 (qui prend environ 26,8 heures).

Signification et Revendications
Le papier affirme que SigMerge offre une approche structurée et sans entraînement à la fusion d'experts denses qui traite explicitement l'hétérogénéité des déficits de domaine et des conflits par couche. En fondant les décisions de capacité sur des signaux mesurables plutôt que sur la recherche ou des heuristiques uniformes, SigMerge récupère efficacement les capacités spécialisées perdues dans les fusions denses standards.

Les auteurs notent modestement que la méthode ne détermine pas l'ancre ni le pool d'experts ; elle opère dans l'intervalle défini par eux. De plus, l'évaluation actuelle est limitée à cinq domaines, et la scalabilité à des pools plus larges ou la nécessité de matrices de budget de rang plus élevé restent des questions ouvertes. Cependant, les résultats suggèrent que mesurer et diriger en fonction des déficits de performance réels est une stratégie plus efficace que de s'appuyer uniquement sur la géométrie des vecteurs de tâches ou sur des procédures de recherche coûteuses.