Trade-offs in Ensembling, Merging and Routing Among Parameter-Efficient Experts

Cette étude évalue les compromis entre l'assemblage, la fusion et le routage d'experts paramétriquement efficaces pour l'apprentissage multi-tâches, démontrant que le routage offre les meilleurs gains de performance tout en montrant que des techniques de sélection d'experts comme le clustering peuvent en réduire le coût computationnel.

L'essentiel

Imaginez que vous avez une grosse bibliothèque remplie de 1000 livres de cuisine (ce sont nos modèles d'IA, ou "experts"). Chaque livre a été écrit par un chef différent et est spécialisé dans un domaine précis : l'un est le roi des pâtes, l'autre des desserts, un troisième des plats végétariens, etc.

Maintenant, imaginez que vous avez faim et que vous voulez préparer un repas, mais vous ne savez pas exactement quel type de plat vous voulez (vous ne connaissez pas la "tâche"). Vous avez trois façons d'utiliser cette bibliothèque pour trouver la meilleure recette :

1. Les trois stratégies (Ensemble, Fusion, Routage)

L'article compare trois méthodes pour combiner ces chefs :

• L'Ensemble (Le Conseil des Chefs) :

  • L'idée : Vous appelez tous les chefs en même temps. Chacun vous donne sa recette pour le plat que vous demandez. Ensuite, vous prenez la moyenne de toutes leurs suggestions pour décider de la vôtre.
  • Avantage : C'est souvent très précis car on combine les meilleures idées de tout le monde.
  • Inconvénient : C'est très lent et coûteux. Il faut que 1000 chefs cuisinent en même temps pour un seul repas ! C'est comme si vous deviez payer 1000 salaires pour un seul dîner.

• La Fusion / Merging (La Recette Moyenne) :

  • L'idée : Au lieu de faire cuisiner tout le monde, vous prenez les carnets de notes de tous les chefs, vous les mélangez dans un grand saladier et vous créez un seul nouveau livre de cuisine. Ce nouveau livre contient une moyenne de toutes les techniques.
  • Avantage : Une fois le livre créé, cuisiner est très rapide et peu coûteux.
  • Inconvénient : Le résultat est souvent moyen. Si vous mélangez une recette de pizza et une recette de sushi, vous obtenez peut-être une pizza-sushi bizarre qui ne plaît à personne. Les auteurs ont découvert que cette méthode "moyenne" fonctionne mal quand les tâches sont trop différentes.

• Le Routage (Le Chef de Cuisine Intelligent) :

  • L'idée : C'est un peu comme un maître d'hôtel très intelligent. Quand vous arrivez, il regarde ce que vous voulez manger (l'entrée, le plat, le dessert) et il choisit instantanément le chef le plus adapté pour chaque étape. Il ne fait pas cuisiner tout le monde, ni ne mélange les recettes. Il sait exactement qui appeler pour faire les pâtes et qui appeler pour le dessert.
  • Avantage : C'est le meilleur des deux mondes. C'est aussi précis que de faire appel à tous les chefs, mais c'est aussi rapide que d'avoir un seul livre, car on n'utilise que les bons experts au bon moment.
  • Inconvénient : C'est un peu plus complexe à mettre en place (il faut entraîner ce maître d'hôtel).

2. Ce que les auteurs ont découvert

Les chercheurs ont testé ces méthodes sur une grande bibliothèque de modèles (des "LoRA", qui sont comme des petits ajustements rapides aux modèles d'IA). Voici leurs conclusions principales :

• La moyenne simple ne suffit pas : Si vous faites juste la moyenne des chefs (Fusion), le résultat est souvent décevant. Les modèles d'IA spécialisés sont trop différents pour être simplement mélangés sans perdre en qualité.
• L'Ensemble est puissant mais cher : Faire travailler tout le monde ensemble donne d'excellents résultats, mais c'est trop lourd pour être utilisé partout.
• Le Routage est le gagnant : La méthode du "maître d'hôtel" (Routage) est la championne. Elle donne des résultats presque parfaits (aussi bons que si on savait exactement quel chef appeler à l'avance) tout en restant efficace.
• On peut simplifier : On n'a pas besoin de tous les 1000 chefs. Les auteurs ont montré qu'en regroupant les chefs similaires (par exemple, tous ceux qui font des desserts) et en n'en gardant qu'une poignée, on peut obtenir un résultat presque aussi bon, mais avec beaucoup moins de travail. C'est comme passer d'une bibliothèque de 1000 livres à une bibliothèque de 10 livres très bien choisis.

En résumé

Si vous voulez construire un super assistant IA capable de faire plein de choses différentes :

1. Ne vous contentez pas de mélanger les modèles (Fusion), ça ne marche pas bien.
2. Évitez de faire travailler tout le monde en même temps (Ensemble), c'est trop lent.
3. Utilisez un système intelligent qui choisit le bon expert selon la situation (Routage). C'est la méthode la plus efficace pour allier performance et rapidité.

C'est un peu comme si, au lieu de construire une usine géante qui fait tout (Fusion) ou d'engager 1000 ouvriers pour chaque tâche (Ensemble), vous aviez un chef d'équipe génial qui sait exactement quel ouvrier spécialisé envoyer sur chaque chantier au bon moment (Routage).

Résumé technique

1. Problématique

L'article aborde le défi de l'intégration de multiples modèles de langage (LLM) finement ajustés (fine-tuned) pour l'apprentissage multi-tâches, sans connaître l'identité de la tâche lors de l'inférence (approche agnostique).

• Contexte : De nombreuses plateformes hébergent des milliers de modèles "experts" légers, souvent ajustés via des méthodes efficaces en paramètres comme LoRA (Low-Rank Adaptation). Ces experts sont spécialisés sur des tâches spécifiques mais partagent la même initialisation pré-entraînée (ex: Phi-2).
• Le Défi : Comment fusionner ces $N$ experts pour obtenir une performance robuste sur un ensemble de tâches variées, tout en minimisant les coûts computationnels ?
• Les Trois Stratégies Existantes :
  1. Ensembling (Ensemble) : Combinaison des sorties (probabilités) de $N$ modèles. Très performant mais coûteux en inférence ($N$ passes forward).
  2. Merging (Fusion) : Combinaison des poids (paramètres) des modèles en un seul modèle via une moyenne pondérée. Peu coûteux en inférence (1 passe), mais repose sur l'hypothèse de connectivité des modes (mode connectivity).
  3. Routing (Acheminement) : Combinaison des poids de manière dépendante de l'entrée (input-dependent). Plus flexible mais complexe à optimiser.

L'article cherche à évaluer les compromis (trade-offs) entre ces approches, en particulier la pertinence des techniques sophistiquées par rapport aux méthodes uniformes simples.

2. Méthodologie

Les auteurs utilisent une bibliothèque de 256 experts LoRA finement ajustés indépendamment sur des tâches du jeu de données Flan v2, à partir du modèle pré-entraîné Phi-2 (2,8 milliards de paramètres).

Pour évaluer les méthodes, ils comparent trois approches principales :

• Ensembling :
  • Uniforme : Moyenne égale des probabilités de sortie ($\lambda_i = 1/N$).
  • Appris (Learned) : Optimisation des coefficients $\lambda_i$ via descente de gradient stochastique (SGD) ou distillation de connaissances pour minimiser la perte multi-tâches.
• Merging (Fusion de poids) :
  • Uniforme : Moyenne simple des matrices LoRA ($A$ et $B$).
  • Appris : Optimisation des coefficients de fusion $\lambda_i$ (globaux ou par couche) via SGD.
  • Analyse de connectivité : Les auteurs vérifient si les experts finissent dans des bassins de perte connectés (hypothèse de connectivité des modes) en interpolant linéairement entre les poids de deux experts et en évaluant la perte sur les tâches combinées.
• Routing :
  • Extension du merging où les coefficients $\lambda_i$ dépendent de l'entrée $x$.
  • Comparaison entre un routage optimisé par SGD (end-to-end) et des méthodes de référence comme Arrow (mécanisme de routage zero-shot basé sur la décomposition en valeurs singulières des matrices LoRA).

Réduction de complexité : Pour gérer le coût computationnel, les auteurs testent également des stratégies de réduction du nombre d'experts, notamment via le Model-Based Clustering (MBC) qui regroupe les tâches similaires et entraîne un expert par cluster (réduisant 256 experts à 10), et des méthodes de sélection hiérarchique.

3. Contributions Clés

1. Évaluation comparative approfondie : Une analyse systématique de l'ensembling, du merging et du routing dans un cadre multi-tâches agnostique, montrant que les approches uniformes ne sont pas optimales.
2. Validation de la connectivité des modes en multi-tâches : L'étude démontre que l'hypothèse de connectivité des modes (qui suggère que les modèles peuvent être interpolés sans perte) est souvent violée dans des scénarios multi-tâches complexes, limitant l'efficacité du merging simple.
3. Supériorité du Routage Optimisé : Démonstration que le routage dépendant de l'entrée, optimisé par SGD, surpasse significativement le merging et l'ensembling (non-oracle), se rapprochant de la performance d'un oracle qui connaît la tâche.
4. Stratégies de sélection d'experts : Analyse montrant qu'une sélection intelligente (clustering, sélection gloutonne) permet de réduire drastiquement le nombre d'experts (de 256 à ~10-15) tout en maintenant des performances élevées, atténuant ainsi le coût du routage.

4. Résultats Principaux

• Ensembling vs Merging :
  • L'ensembling (même uniforme) surpasse le merging uniforme. Cela suggère que les experts, bien qu'issus de la même initialisation, ne résident pas dans un espace de paramètres facilement fusionnable pour toutes les tâches simultanément.
  • L'optimisation des coefficients d'ensembling par SGD améliore encore les résultats, mais le coût d'inférence reste élevé ($N$ passes).
• Le Routing est la solution optimale (hors Oracle) :
  • Le routage optimisé par SGD obtient les meilleures performances parmi toutes les méthodes non-oracles, surpassant à la fois le merging et l'ensembling.
  • Il comble presque l'écart avec l'Oracle (qui connaît la tâche ID), prouvant que l'adaptabilité à l'entrée est cruciale.
• Limites du Merging :
  • Le merging uniforme sous-performe fortement.
  • Le merging optimisé par SGD s'améliore mais reste inférieur à l'ensembling et au routing, confirmant que la connectivité linéaire simple est insuffisante pour des tâches hétérogènes.
• Impact du Clustering (MBC) :
  • L'utilisation d'experts de clusters (MBC) améliore les performances de l'ensembling et du merging par rapport aux experts privés, car ils sont intrinsèquement plus généralisables.
  • Cependant, pour le routage (comme Arrow), les experts privés (spécialisés) sont parfois préférés car le routage peut sélectionner finement les experts les plus pertinents.
• Réduction des coûts :
  • Il est possible de réduire le nombre d'experts à environ 10-15 (via clustering ou sélection gloutonne) sans perte significative de performance, rendant le routage plus viable économiquement.
  • La distillation permet de compresser un ensemble en un seul modèle, réduisant le coût d'inférence, mais au prix d'un surcoût d'entraînement significatif.

5. Signification et Conclusion

Cet article apporte des éclairages cruciaux pour la communauté du Machine Learning concernant la fusion de modèles :

• Le compromis Coût/Performance : Bien que l'ensembling soit performant, son coût d'inférence le rend peu pratique pour les déploiements à grande échelle. Le merging est efficace mais souvent sous-optimal pour des tâches hétérogènes.
• L'avenir du Routage : Le routage dépendant de l'entrée, lorsqu'il est correctement optimisé (SGD), représente le meilleur compromis, offrant une flexibilité quasi-oracle avec un coût d'inférence comparable à celui d'un seul modèle (une seule passe forward).
• Importance de la sélection : La qualité de la fusion dépend fortement de la diversité et de la pertinence des experts. Des techniques de clustering et de sélection permettent de construire des bibliothèques d'experts plus compactes et efficaces.

En résumé, pour l'apprentissage multi-tâches agnostique avec des experts LoRA, le routage optimisé est la stratégie recommandée pour maximiser les performances, tandis que le clustering d'experts est essentiel pour maîtriser la complexité computationnelle.