💬 NLP

Can Model Merging Improve Aggregation in DiLoCo?

Cet article comble le fossé entre la fusion de modèles et l'apprentissage distribué en démontrant que l'adaptation de la technique de fusion Iso-C avec le momentum de Nesterov (IsoLoCo) surpasse considérablement les méthodes DiLoCo existantes dans l'entraînement distribué à faible communication, particulièrement à mesure que le nombre de travailleurs locaux augmente.

Auteurs originaux : Stefan Horoi, Benjamin Thérien, Guy Wolf, Eugene Belilovsky

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Stefan Horoi, Benjamin Thérien, Guy Wolf, Eugene Belilovsky

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'entraîner un cerveau d'IA géant et super intelligent. Pour ce faire, vous avez besoin d'une puissance de calcul massive. Habituellement, les entreprises utilisent une approche de « parallélisme de données » : elles alignent des centaines d'ordinateurs côte à côte, travaillant tous exactement sur la même tâche au même moment, s'échangeant constamment des mises à jour. C'est rapide, mais cela nécessite des câbles coûteux et à haute vitesse reliant chaque ordinateur. Si un ordinateur est lent ou si le câble est faible, toute la ligne doit attendre.

Le Problème : L'approche par « Îles »
Pour économiser de l'argent et utiliser des connexions plus faibles, des chercheurs ont développé une méthode appelée DiLoCo. Imaginez qu'au lieu d'une seule ligne, vous ayez de nombreuses « îles » d'ordinateurs distinctes.

Chaque île entraîne sa propre version du cerveau de l'IA de manière indépendante pendant un certain temps (disons 30 étapes).
Elles ne communiquent pas pendant ces 30 étapes.
Après 30 étapes, elles envoient un résumé de ce qu'elles ont appris (un « pseudo-gradient ») à un hub central.
Le hub fait la moyenne de ces résumés et met à jour le cerveau principal.

Le Bug :
L'article a découvert une faille dans cette approche par « Îles » : à mesure que vous ajoutez des îles (travailleurs) ou que vous laissez ces dernières s'entraîner plus longtemps avant de communiquer, l'IA commence à s'embrouiller. C'est comme un groupe de personnes essayant de dessiner un tableau ensemble sans se parler : si elles travaillent trop longtemps seules, elles commencent à dessiner des choses différentes, et lorsqu'elles essaient de combiner leur travail, le résultat est désordonné. En termes techniques, les « mises à jour » des différentes îles commencent à entrer en conflit les unes avec les autres, dégradant les performances de l'IA.

L'Inspiration : Fusionner des Modèles Experts
Séparément, un autre groupe de chercheurs travaillait sur la Fusion de Modèles (Model Merging). Imaginez que vous avez un chef expert qui a appris la cuisine italienne et un autre qui a appris la cuisine japonaise. Vous voulez un seul chef capable de faire les deux.

L'ancienne méthode : Il suffit de faire la moyenne de leurs recettes. Cela échoue souvent car les ingrédients s'entrechoquent (par exemple, mélanger de la sauce soja et de la crème épaisse).
La nouvelle méthode (Arithmétique des Tâches) : Au lieu de faire la moyenne de toute la recette, vous regardez la différence entre la recette finale de l'expert et la recette de base originale. Vous combinez ensuite soigneusement seulement ces différences.

Le grand moment de révélation (« Aha! ») de l'article fut de réaliser que DiLoCo fait en réalité la même chose que la Fusion de Modèles, mais en boucle.

Le « Modèle de Base » est le cerveau de l'IA de la dernière fois que tout le monde s'est parlé.
Les « Îles » sont les experts qui se sont entraînés seuls.
Les « Mises à jour » qu'elles renvoient sont les « différences » (ou vecteurs de tâches).

L'article soutient que la raison pour laquelle DiLoCo devient désordonné avec de nombreuses îles est la même que la raison pour laquelle la fusion de recettes devient désordonnée : l'Interférence. Les mises à jour de différentes îles se battent entre elles.

La Solution : IsoLoCo
Les auteurs ont décidé d'emprunter la « meilleure recette » du monde de la Fusion de Modèles pour corriger DiLoCo. Ils ont testé plusieurs techniques de fusion et ont découvert que l'une d'entre elles, appelée Iso-C (fusion isotrope), fonctionnait le mieux.

Considérez Iso-C comme un « harmoniseur » pour les mises à jour. Lorsque les îles renvoient leurs mises à jour :

L'harmoniseur examine la « forme » des mises à jour.
Si une île crie trop fort dans une direction spécifique (une direction mathématique spécifique), l'harmoniseur baisse son volume pour correspondre à la moyenne.
Cela empêche une seule île de dominer ou de heurter les autres, créant une mise à jour combinée plus fluide et plus équilibrée.

Ils ont pris cet « harmoniseur » et y ont ajouté une fonctionnalité de « momentum » (comme un coureur qui maintient sa vitesse même quand la route devient accidentée) pour créer une nouvelle méthode qu'ils appellent IsoLoCo.

Les Résultats
L'article a testé cette méthode sur différentes tailles de modèles d'IA et avec différents nombres d'îles (de 1 à 128).

Le Gagnant : IsoLoCo a systématiquement battu la méthode DiLoCo originale.
L'Écart : Plus vous ajoutiez d'îles, plus l'avantage d'IsoLoCo était grand. Avec 128 îles, la méthode originale devenait très désordonnée, mais IsoLoCo restait propre et efficace.
La Vitesse : Ils ont également créé un « mode rapide » pour IsoLoCo en utilisant un raccourci mathématique (itérations de Newton-Schulz) qui rend le processus beaucoup plus rapide sans perdre en qualité.

En Résumé
L'article démontre qu'en traitant l'entraînement distribué de l'IA comme un problème de « fusion d'experts », nous pouvons utiliser des astuces mathématiques avancées pour empêcher les ordinateurs de se battre entre eux. Cela nous permet d'entraîner des modèles d'IA massifs sur de nombreux ordinateurs faiblement connectés sans perdre de performance, rendant l'entraînement de l'IA à grande échelle moins coûteux et plus évolutif.

Résumé technique : Fusion de modèles pour l'agrégation dans DiLoCo

Énoncé du problème

L'entraînement distribué à faible communication (DiLoCo) est apparu comme une méthode pour entraîner de grands modèles de langage sur des clusters de calcul mal connectés (« îles ») en minimisant la synchronisation globale. Dans DiLoCo, les travailleurs effectuent plusieurs étapes d'optimisation locales (étapes internes) avant d'agréger leurs mises à jour de paramètres (pseudo-gradients) via un optimiseur global. Bien qu'efficace pour réduire les coûts de communication, DiLoCo souffre d'une dégradation des performances à mesure que le nombre de travailleurs ( $R$ ) ou le nombre d'étapes locales ( $H$ ) augmente. Cette dégradation se produit car les répliques locales divergent considérablement, provoquant un désalignement des pseudo-gradients moyennés par rapport aux mises à jour produites par un entraînement en parallèle de données étroitement synchronisé.

Parallèlement, les techniques de fusion de modèles (Model Merging) ont été développées pour combiner des modèles affinés indépendamment en un seul modèle. Un défi central de la fusion est l'« interférence de tâches », où les mises à jour de paramètres provenant de différentes tâches entrent en conflit, entraînant des chutes de performance, surtout lorsque le nombre de modèles à fusionner augmente.

Les auteurs identifient une analogie structurelle entre ces deux domaines : l'étape d'agrégation des pseudo-gradients dans DiLoCo (avec un optimiseur externe SGD) est mathématiquement équivalente à la fusion par arithmétique de tâches (Task Arithmetic). Dans cette analogie :

Le modèle global partagé au début d'une étape externe correspond à l'initialisation pré-entraînée.
Les répliques locales des travailleurs correspondent à des modèles « experts » affinés.
Les mises à jour locales (pseudo-gradients) correspondent à des « vecteurs de tâches ».
Le nombre de travailleurs correspond au nombre de tâches.

Le problème central abordé est de savoir si les techniques de fusion de modèles avancées, conçues spécifiquement pour atténuer l'interférence de tâches, peuvent être détournées pour améliorer l'étape d'agrégation dans DiLoCo, rétablissant ainsi la performance à mesure que le nombre de travailleurs ou d'étapes locales augmente.

Méthodologie

Pont théorique

L'article établit que la mise à jour externe de DiLoCo avec SGD est une application directe de l'arithmétique de tâches. En considérant l'agrégation des pseudo-gradients comme un problème de fusion de modèles, les auteurs proposent de substituer l'opération de moyennage standard par des algorithmes de fusion sophistiqués conçus pour réduire l'interférence négative.

Évaluation expérimentale des méthodes de fusion

Les auteurs ont testé systématiquement plusieurs méthodes de fusion de pointe comme remplacements directs de l'étape d'agrégation de DiLoCo. Les méthodes évaluées comprenaient :

Basées sur la parcimonie (Sparsity) : TIES (TrIm, Elect Sign) et DARE (Drop And REscale).
Basées sur l'orthogonalisation : TSV (Task Singular Vector), Iso-C (Isotropic merging in Common subspace), et Iso-CTS.

Résultats sur les méthodes de fusion :

Méthodes de parcimonie (TIES, DARE) : Ont performé de manière similaire au SGD standard de DiLoCo uniquement à de très bas niveaux de parcimonie. La performance s'est dégradée à mesure que la parcimonie augmentait, suggérant qu'elles n'offraient pas d'avantage distinct par rapport à une simple moyenne dans ce contexte.
TSV : A mal performé (perte de validation plus élevée) et était trop coûteux en calcul, nécessitant plusieurs décompositions en valeurs singulières (SVD) par étape.
Iso-CTS : A surpassé la référence mais était coûteux en calcul et n'offrait aucun avantage significatif par rapport à Iso-C dans le cadre de DiLoCo (où les tâches locales sont courtes et similaires).
Iso-C : Est apparue comme le candidat le plus prometteur. Elle améliore la performance en remplaçant le spectre des valeurs singulières du pseudo-gradient agrégé par sa moyenne, aplatissant ainsi les directions de haute énergie pour obtenir un sous-espace commun équilibré. Elle ne nécessite qu'une seule SVD par matrice de paramètres, offrant un rapport coût-performance favorable.

Algorithme proposé : IsoLoCo

S'appuyant sur le succès d'Iso-C, les auteurs proposent IsoLoCo (Isotropic Distributed Low-Communication). IsoLoCo adapte Iso-C pour l'entraînement distribué en :

Correction isotrope : Pour les matrices de paramètres 2D (couches de poids), il calcule la SVD du pseudo-gradient moyen, remplace les valeurs singulières par leur moyenne, et reconstruit la mise à jour. Cela régularise le spectre tout en préservant la structure du sous-espace.
Momentum de Nesterov : Contra à l'Iso-C standard, IsoLoCo incorpore le momentum de Nesterov dans l'optimiseur externe. Cela est motivé par des travaux antérieurs montrant le bénéfice du momentum dans les contextes FedOpt/DiLoCo. Le pseudo-gradient corrigé est injecté dans un tampon de momentum pour générer la mise à jour finale.

Optimisation de l'implémentation

Pour répondre au coût de calcul de la SVD, les auteurs ont développé une implémentation rapide d'IsoLoCo utilisant les itérations de Newton–Schulz. Cela remplace la SVD standard par une orthogonalisation itérative et utilise un proxy RMS pour la moyenne des valeurs singulières. Cette optimisation permet d'accélérer l'orthogonalisation jusqu'à deux ordres de grandeur avec une perte de performance négligeable.

Résultats clés

Performance selon le nombre de travailleurs

Des expériences ont été menées sur des modèles de type Llama (178M, 512M et 1B de paramètres) utilisant le jeu de données DCLM.

Évolutivité avec les travailleurs : IsoLoCo surpasse significativement le DiLoCo standard à mesure que le nombre de travailleurs augmente.
- À l'échelle 178M avec $R=128$ , IsoLoCo a réduit l'écart de perte de validation par rapport à la référence en parallèle de données de 5,8 % par rapport à DiLoCo.
- À $R=128$ , IsoLoCo a montré une dégradation de 9,7 % par rapport à l'entraînement en parallèle de données, tandis que DiLoCo a montré une dégradation de 16,5 %.
- IsoLoCo a même surpassé la référence en parallèle de données à de faibles nombres de travailleurs ( $R \le 4$ ).
Taille du modèle : L'avantage d'IsoLoCo sur DiLoCo persiste à travers les tailles de modèles (178M à 1B), bien que l'amélioration relative soit légèrement plus faible pour les modèles plus grands (1,2 % à 1B contre ~2,4 % à 178M), probablement parce que les modèles plus grands passent naturellement mieux à l'échelle avec le nombre de travailleurs.

Impact des étapes internes

IsoLoCo a été évalué avec des intervalles de synchronisation croissants ( $H = 30$ à $240$). Il a systématiquement surpassé DiLoCo sur tous les intervalles, démontant une robustesse face aux périodes de divergence locale plus longues.

Comparaison avec le DiLoCo basé sur le momentum

Notamment, la combinaison de l'agrégation Iso-C avec le SGD de DiLoCo (sans momentum) a déjà surpassé le DiLoCo standard (qui utilise le momentum de Nesterov). L'ajout du momentum de Nesterov à l'Iso-C (créant IsoLoCo) a davantage creusé l'écart de performance, indiquant que l'agrégation par fusion et les mécanismes de momentum sont complémentaires.

Compatibilité avec Muon

L'article note qu'IsoLoCo peut être composé avec l'optimiseur interne Muon (MuLoCo). Dans cette configuration, IsoLoCo a obtenu la perte de validation la plus basse parmi toutes les méthodes pour $R \ge 32$ , tandis qu'IsoLoCo avec un optimiseur interne AdamW égalait ou surpassait MuLoCo à des nombres de travailleurs élevés avec des coûts d'orthogonalisation nettement inférieurs.

Signification et revendications

L'article affirme que considérer l'entraînement distribué à faible communication sous l'angle de la fusion de modèles offre un cadre puissant pour améliorer l'évolutivité. Les principales contributions sont :

Unification théorique : Établir une analogie directe entre l'agrégation de pseudo-gradients de DiLoCo et la fusion de modèles par arithmétique de tâches.
Validation empirique : Démontrer que les techniques de fusion de modèles, spécifiquement Iso-C, peuvent servir de règles d'agrégation supérieures pour l'entraînement distribué, surpassant la simple moyenne et même le DiLoCo basé sur le momentum.
IsoLoCo : Proposer un algorithme pratique, amélioré par le momentum, qui réduit considérablement l'écart de performance entre l'entraînement à faible communication et les standards de référence en parallèle de données, particulièrement dans les régimes avec de nombreux travailleurs ou de longs intervalles de synchronisation.
Efficacité : Fournir une implémentation basée sur Newton-Schulz qui rend le processus de fusion, gourmand en SVD, techniquement faisable pour l'entraînement distribué itératif.

Les auteurs concluent que l'agrégation inspirée par la fusion est une stratégie efficace pour l'entraînement distribué à faible communication, offrant une voie pour mettre à l'échelle l'entraînement à travers des clusters géographiquement distribués ou mal connectés sans sacrifier la qualité du modèle.