Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging

Résumé technique : Les ensembles d'accès comptent : lectures d'experts en budgétisation pour la fusion de modèles à espace de poids évolutif

1. Énoncé du problème

Alors que le développement des grands modèles de langage (LLM) repose de plus en plus sur des familles de points de contrôle — incluant des modèles de base, des variantes ajustées par instruction, des experts de domaine et des mises à jour delta — la tâche de les consolider en un seul modèle déployable via la fusion dans l'espace des poids est devenue critique. Bien que les recherches existantes se concentrent sur comment combiner les poids (par exemple, par moyenne, TIES ou DARE), un goulot d'étranglement d'exécution significatif est apparu à grande échelle : le coût de lecture des paramètres des experts.

Dans les scripts de fusion naïfs, le système traite les points de contrôle comme des fichiers opaques, en scannant tous les paramètres des experts indépendamment de leur contribution réelle à la fusion finale. À mesure que le nombre d'experts ($K$) augmente, l'E/S de lecture des experts évolue presque linéairement, rendant le processus de fusion limité par l'E/S plutôt que par le calcul. Cela limite l'évolutivité des flux de travail de fusion itérative, en particulier lors de la gestion de vastes pools d'experts sur un stockage résident sur disque.

2. Méthodologie : MergePipe

Les auteurs introduisent MergePipe, une couche d'exécution consciente du budget qui reformule la fusion de modèles comme un problème d'ensemble d'accès aux experts. Au lieu de traiter la règle de fusion comme la contrainte principale, MergePipe découple la combinaison logique des poids de l'accès physique à ces poids.

Abstraction centrale :
MergePipe opère sous l'hypothèse que les experts sont alignés dans un système de coordonnées de poids partagé (par exemple, affinés à partir d'une base commune). Il introduit un masque d'accès ($A$) qui détermine quels blocs delta d'experts sont physiquement lus.

• Fusion en lecture intégrale : $A = 1$ (tous les experts sont lus).
• Fusion budgétisée : Sélectionner un masque $A$ tel que le coût de lecture des experts $C_{expert}(A) \leq B$, où $B$ est un budget d'E/S défini par l'utilisateur.
• Exécution : Le système exécute un opérateur conscient du masque $\Psi_{op}$. Les entrées omises sont représentées par le masque lui-même et ne déclenchent pas de lectures de stockage.

Composants du système :

1. Catalogue : Expose les points de contrôle comme des données structurées en blocs plutôt que comme des fichiers opaques. Il stocke des métadonnées (taille, disposition, hachages, esquisses, indices de couverture) pour permettre une estimation des coûts sans scanner les points de contrôle complets.
2. Planificateur : Construit un masque d'accès déterministe $A$ satisfaisant la contrainte de budget. Il classe les deltas d'experts candidats en utilisant les statistiques du catalogue (par exemple, normes, esquisses) et emploie des heuristiques de type « gain par octet » ou « score par octet » pour sélectionner les blocs. Il ne modifie pas la logique de l'opérateur de fusion, mais décide quels deltas sont matérialisés.
3. Exécuteur : Diffuse les blocs de base et utilise un DeltaIterator pour matérialiser uniquement les deltas d'experts sélectionnés. Il applique l'opérateur conscient du masque et enregistre un manifeste rejouable contenant le masque d'accès, le hachage du plan et la lignée.

Garanties théoriques :

• Sûreté budgétaire : La trace d'exécution est garantie pour rester dans le budget spécifié $B$ par construction.
• Cohérence du budget intégral : Si le budget est défini pour couvrir tous les experts ($A=1$), le système récupère exactement la fusion standard en lecture intégrale.
• Bornes d'erreur : Pour les opérateurs additifs à coefficients fixes, l'erreur d'omission de mise à jour est bornée par la norme des deltas omis. Pour les opérateurs non additifs (comme TIES ou DARE), le système fournit la même abstraction, la fidélité étant évaluée empiriquement.

3. Contributions clés

1. Ensembles d'accès aux experts comme objet budgétisé : L'article propose de traiter l'accès aux experts comme une ressource de première classe et budgétisée, séparant le « quoi » (l'accès) du « comment » (la combinaison).
2. Analyse théorique : Les auteurs prouvent la sûreté budgétaire, la cohérence du budget intégral et dérivent une borne d'omission de mise à jour pour les fusions additives, justifiant l'utilisation de scores d'accès basés sur la norme.
3. Implémentation de MergePipe : Un système concret qui implémente cette abstraction, réalisant des réductions d'un ordre de grandeur dans l'E/S de lecture des experts et des accélérations significatives sans nécessiter de modifications des opérateurs de fusion sous-jacents.

4. Résultats expérimentaux

Les auteurs ont évalué MergePipe sur des familles de points de contrôle Qwen et Llama (allant de 0,6 milliard à 8 milliards de paramètres) avec jusqu'à 25 experts.

• E/S et vitesse : MergePipe réduit l'E/S de lecture des experts d'un ordre de grandeur. Dans des scénarios spécifiques (par exemple, fusion TIES avec 20 experts), il atteint des accélérations allant jusqu'à 11× par rapport aux bases de référence en lecture intégrale naïve.
• Évolutivité : Alors que la fusion naïve montre une croissance quasi linéaire de l'E/S et du temps réel à mesure que le nombre d'experts augmente, MergePipe maintient les lectures d'experts presque stables en imposant le plafond budgétaire.
• Généralité des opérateurs : L'approche est compatible avec divers opérateurs (AVG, TIES, DARE). Les méthodes éparses comme TIES en bénéficient le plus, avec une chute de l'E/S d'environ 174 Go à 3,5 Go dans des scénarios à haut nombre d'experts.
• Fidélité :
  • Déviation des paramètres : À 50 % du budget de lecture intégrale, la déviation relative $\ell_2$ par rapport à la fusion en lecture intégrale reste de l'ordre de $O(10^{-3})$.
  • Performance en aval : Les benchmarks (HumanEval, IFEval, DROP) ne montrent aucune dégradation monotone. Dans certains cas, la performance fluctue même légèrement au-dessus de la base de référence en lecture intégrale, indiquant une frontière favorable vitesse-fidélité.
• Surcharge : La surcharge système est minimale ; le temps de planification représente environ 1 % du temps d'exécution, et le stockage des métadonnées ne constitue qu'une petite fraction de l'E/S totale.

5. Signification et revendications

L'article revendique que pour les familles de points de contrôle à l'échelle des LLM, la ressource limitante dans la fusion est souvent l'ensemble des poids d'experts qui doivent être lus, et non le calcul requis pour les combiner.

• Changement de paradigme : Les auteurs soutiennent que la fusion à l'échelle des LLM nécessite une abstraction d'accès aux poids, et non simplement de meilleures règles de fusion. En traitant les poids comme des données structurées et budgétisées plutôt que comme des fichiers opaques, MergePipe expose une frontière pratique vitesse-fidélité.
• Complémentarité : MergePipe est présenté comme complémentaire aux méthodes existantes d'alignement par symétrie ou permutation. Une fois les poids alignés, MergePipe optimise l'exécution physique.
• Implication future : À mesure que les familles de modèles continuent de croître, les auteurs suggèrent que les méthodes dans l'espace des poids doivent être associées à des couches d'exécution qui gèrent explicitement les motifs d'E/S des paramètres pour rester évolutives.

L'œuvre ne prétend pas inventer de nouveaux algorithmes de fusion, mais fournit plutôt l'infrastructure d'exécution nécessaire pour rendre les algorithmes de fusion existants évolutifs à l'ère des vastes pools d'experts.