Résumé Technique : MetaMoE

Énoncé du Problème

Les grands modèles de base sont de plus en plus affinés sur des données privées et spécifiques à un domaine au sein de diverses organisations, aboutissant à une collection de modèles « experts » spécialisés. Bien que l'unification de ces experts en un seul modèle de type Mélange d'Experts (MoE) puisse théoriquement fournir des capacités multi-domaines, ce processus est entravé par des contraintes de confidentialité strictes empêchant le partage de données brutes d'entraînement. Les approches existantes présentent des limitations significatives :

• Apprentissage Fédéré (FL) : Nécessite une optimisation synchronisée coûteuse et souffre souvent d'une dégradation des performances sous des distributions de données hétérogènes.
• Fusion de Modèles (ex. Model Soup) : Moyenne directement les poids, ce qui est fragile lorsque les experts divergent considérablement dans l'espace des fonctions.
• Ensemble (ex. BTM) : Combine les prédictions au moment de l'inférence mais échoue à produire un modèle unique déployable pour des tâches en aval telles que l'affinement ou le RLHF.
• Unification par Proxy (ex. FlexOlmo) : Utilise des données publiques comme proxies pour entraîner un routeur, mais repose sur une sélection basée sur la similarité, conduisant souvent à des proxies redondants et trop concentrés qui échouent à couvrir la variété des données privées. De plus, l'entraînement des experts uniquement sur des données privées crée un décalage d'« isolement de domaine » où les experts ne sont jamais exposés aux données proxies utilisées pour le routage.

Le défi central est l'Unification de Mélange d'Experts préservant la confidentialité : comment unifier des experts entraînés indépendamment en un modèle MoE déployable sans partager de données privées, tout en assurant une coordination efficace entre des experts hétérogènes.

Méthodologie : MetaMoE

MetaMoE est un cadre qui unifie des experts entraînés indépendamment en utilisant des données proxies publiques comme substituts aux données privées inaccessibles. Le cadre fonctionne en trois étapes principales :

1. Sélection de Proxies Sensible à la Diversité

Pour approximer les distributions de données privées sans les partager, MetaMoE sélectionne des échantillons de proxy à partir d'un ensemble de données public ($D_0$) pour chaque client.

• Processus Ponctuel Déterminant (DPP) Pondéré par la Pertinence : Contrairement aux méthodes précédentes qui sélectionnent des proxies uniquement sur la base de la similarité (pertinence), MetaMoE emploie un DPP pondéré par la pertinence. Cette méthode enrichit le noyau DPP standard avec des scores de pertinence spécifiques au client ($g(x, D_p)$).
• Mécanisme : La probabilité de sélection maximise un terme de log-déterminant qui équilibre deux objectifs :
  1. Pertinence : Favoriser des échantillons similaires au domaine privé du client.
  2. Diversité : Imposer des interactions négatives entre les échantillons sélectionnés pour éviter la redondance et assurer une couverture large de la variété des données privées.
• Optimisation : La sélection est effectuée via une inférence MAP gloutonne efficace avec des mises à jour de Cholesky, réduisant la complexité computationnelle de $O(nm^3)$ à $O(nm)$.

2. Entraînement d'Experts Aligné sur les Proxies

Pour atténuer le décalage entre le comportement de l'expert et la supervision du routeur, MetaMoE introduit une stratégie d'entraînement alignée sur les proxies.

• Processus : Chaque client affine les sous-couches du Réseau de Neurones à Propagation Avant (FFN) de son modèle expert en utilisant une combinaison de ses données privées ($D_p$) et de ses données de proxy spécifiques au client ($\hat{D}_p$).
• Alignement : En exposant les experts aux mêmes données proxies utilisées ultérieurement pour l'entraînement du routeur, les représentations des experts sont calibrées sur la distribution que rencontrera le routeur. Cela prévient l'« isolement de domaine » et permet une coordination efficace au moment de l'unification.

3. Routeur Sensible au Contexte et Unification

• Initialisation du Routeur : Le routeur est initialisé avec des vecteurs sensibles au domaine dérivés des moyennes d'encodage des données privées et des données de proxy.
• Routage Sensible au Contexte : Au lieu de se fier uniquement aux caractéristiques au niveau du token, le routeur utilise une représentation mélangée $\tilde{z}_t = (1-\lambda)z_t + \lambda z_x$, où $z_x$ est un encodage au niveau de la séquence capturant le contexte global. Cela améliore la fiabilité de l'affectation des experts, en particulier lorsque les tokens ont des formes de surface similaires mais appartiennent à des domaines différents.
• Unification Finale : Les sous-couches FFN de tous les experts sont fusionnées en couches MoE. Le modèle unifié est ensuite affiné conjointement sur l'union de tous les ensembles de données de proxy pour affiner le routeur et assurer une opération cohésive des experts.

Garanties de Confidentialité

MetaMoE adhère à un modèle strict de résidence des données. Les clients ne communiquent que :

1. Les indices des échantillons de proxy publics sélectionnés (fonctions déterministes des données publiques).
2. Les poids finaux des experts (sous-couches FFN).
3. Les vecteurs de routage (moyennes d'encodage).

L'article fournit une analyse formelle de la confidentialité montrant que les vecteurs de routage ont une sensibilité par échantillon bornée ($O(1/m)$) et que l'encodage moyen privé est irrécupérable sans connaissance de la taille de l'ensemble de données privé ($N$), qui n'est jamais communiquée. Cela offre des garanties de confidentialité strictement supérieures à celles de méthodes comme FlexOlmo, qui partagent des moyennes d'encodage dérivées uniquement de données privées.

Contributions Clés

1. Proposition de Cadre : MetaMoE est proposé comme un cadre préservant la confidentialité pour unifier des experts affinés indépendamment sans partager de données privées, avec des garanties de confidentialité formelles.
2. Sélection de Proxies Sensible à la Diversité : L'introduction d'un DPP pondéré par la pertinence adresse les limites de l'échantillonnage basé uniquement sur la similarité, garantissant que les ensembles de données de proxy sont à la fois représentatifs du domaine du client et suffisamment diversifiés pour couvrir la variété des données.
3. Entraînement Aligné sur les Proxies et Routage Sensible au Contexte : La conception d'une stratégie d'entraînement d'experts alignée sur les proxies et d'un routeur sensible au contexte démontre que l'alignement de l'entraînement des experts avec la supervision du routage améliore considérablement la coordination et les performances.

Résultats Expérimentaux

MetaMoE a été évalué sur des benchmarks de Vision par Ordinateur (CV) et de Traitement du Langage Naturel (NLP).

• Tâches CV : En utilisant CLIP ViT-B/32 et ViT-B/16 comme modèles de départ sur les ensembles de données Pets, Flowers et EuroSAT. MetaMoE a atteint des précisions moyennes de 94,52 % et 96,24 %, respectivement. Cela surpasse la meilleure ligne de base, FlexOlmo, d'environ 1,6 à 2,7 points de pourcentage.
• Tâches NLP : En utilisant LLaMA-3.2-3B et LLaMA-3.1-8B comme modèles de départ sur CommonsenseQA, CosmosQA et SocialIQA. MetaMoE a atteint des précisions moyennes de 74,42 % et 81,59 %, surpassant constamment toutes les lignes de base préservant la confidentialité (BTM, Model Soup, BTX, FlexOlmo).
• Études d'Ablation :
  • Supprimer le composant de diversité (n'utilisant que la pertinence) a considérablement dégradé les performances, confirmant la nécessité d'une sélection basée sur le DPP.
  • Entraîner les experts uniquement sur des données privées (sans alignement sur les proxies) a conduit à une mauvaise coordination du routeur.
  • Entraîner les experts uniquement sur des données de proxy (sans données privées) a entraîné des baisses de précision substantielles, prouvant que les données privées sont essentielles pour l'expertise de domaine tandis que les proxies servent principalement à l'alignement et au routage.
  • La méthode est restée robuste même lorsque l'ensemble de données public n'avait aucun recouvrement sémantique avec les domaines des clients.

Importance et Revendications

L'article revendique que MetaMoE résout avec succès le compromis fondamental entre la confidentialité des données et l'unification des modèles. En tirant parti de la sélection de proxies sensible à la diversité et de l'entraînement aligné sur les proxies, il permet la création d'un modèle MoE unique et déployable qui généralise à travers des domaines de clients hétérogènes sans violer les contraintes de résidence des données.

Les auteurs soulignent que MetaMoE offre une alternative principée à l'Apprentissage Fédéré (évitant les goulots d'étranglement de synchronisation) et à la fusion simple de modèles (préservant la spécialisation des experts). L'analyse formelle de la confidentialité démontre que les artefacts partagés révèlent une information privée négligeable, offrant une garantie plus forte que les méthodes existantes basées sur des proxies. Les résultats suggèrent que la diversité dans la sélection des proxies est un facteur critique, précédemment sous-utilisé, dans l'unification de MoE préservant la confidentialité.