Résumé Technique : Routage de Modèles Continu dans des Hubs de Modèles Évoluant

1. Définition du Problème

L'expansion rapide des hubs de modèles d'IA (par exemple, Hugging Face) a déplacé le défi central de la construction de modèles vers la sélection du modèle pré-entraîné approprié pour une requête spécifique. Bien que les architectures de Mélange d'Experts (MoE) et les pipelines d'orchestration aient démontré la valeur du routage, les approches existantes font face à deux limitations fondamentales lorsqu'elles sont appliquées à des hubs réels et évolutifs :

1. Évolutivité : Le routage doit s'adapter à des milliers d'experts candidats, rendant l'évaluation exhaustive post-inférence ou le classement naïf inenvisageables.
2. Non-stationnarité : Les hubs de modèles sont dynamiques ; de nouveaux experts sont ajoutés, les existants sont mis à jour, et d'autres deviennent obsolètes. Les méthodes de récupération statiques (par exemple, le classement par similarité de fiche modèle) sont fragiles dans de grands espaces évolutifs, et l'entraînement augmenté par récupération (RAT) standard n'assure pas des performances de routage stables lorsque l'espace cible évolue.

Les auteurs formalisent ce cadre comme un Routage de Modèles Continu (CMR), traitant la sélection de modèle pré-inférence comme une tâche de classification continue où l'espace des étiquettes (l'ensemble des modèles disponibles) croît au fil du temps. L'objectif est de concevoir un routeur capable de s'adapter de manière incrémentielle aux nouveaux modèles tout en conservant sa compétence sur ceux déjà vus, sans réentraînement à partir de zéro.

2. Méthodologie : CARvE

Pour répondre au CMR, les auteurs proposent CARvE (Routeur Ancré Continu avec Embeddings Contrastifs). Contrairement aux bases de référence qui s'appuient sur des fiches modèles (descriptions en langage naturel) ou exécutent des modèles candidats, CARvE effectue le routage basé sur la similarité des embeddings entre une requête utilisateur et un registre appris d'embeddings de modèles.

Composants Principaux

• Routeur Basé sur Embeddings : Le routeur utilise un modèle de langage de base figé (par exemple, LLaMA2-7B) avec des adaptateurs LoRA entraînés à chaque expérience. Il projette les requêtes tokenisées dans un espace d'embeddings de dimension fixe ($\mathbb{R}^d$) et les compare à un registre d'embeddings de modèles appris en utilisant une similarité cosinus mise à l'échelle par température.
• Ancrage Asymétrique : Pour atténuer l'oubli catastrophique, CARvE emploie un mécanisme d'ancrage basé sur des points de contrôle. Au début de chaque expérience $t$, un instantané des paramètres du routeur (tête de projection et embeddings de modèles) de $t-1$ est pris. Pendant l'entraînement sur $E_t$, la fonction de perte pénalise la dérive pour les embeddings des identifiants de modèles déjà vus, tandis que les embeddings pour les modèles nouvellement introduits restent non ancrés et libres de s'adapter. Cela préserve la stabilité géométrique du registre existant.
• Entraînement sur Ensemble de Candidats : Pour éviter le coût computationnel d'un softmax complet sur des milliers de modèles, l'entraînement est effectué sur des ensembles de candidats de taille fixe ($K$). Ces ensembles incluent le modèle vérité terrain, des négatifs difficiles (extraits du pool actuel), des négatifs sémantiques (même domaine) et des négatifs lointains (domaines différents).
• Rejeu Structuré : La méthode utilise un tampon de rejeu de co-noyau domaine-modèle. Au lieu d'un échantillonnage aléatoire, elle alloue des quotas de rejeu par domaine et utilise l'échantillonnage du point le plus éloigné (FPS) au sein des domaines pour sélectionner des exemples diversifiés, assurant ainsi une couverture de la distribution à longue traîne des modèles.

3. Benchmark : CMRBench

Les auteurs introduisent CMRBench, le premier benchmark spécifiquement conçu pour le routage de modèles continu.

• Structure : Il simule une expansion réaliste du hub à travers quatre expériences séquentielles, intégrant APIBench, ToolMMBench et un nouveau dataset, HuggingBench.
• Échelle : Le benchmark couvre plus de 2 000 modèles candidats répartis sur plusieurs domaines.
• Métriques : En plus de la précision standard d'ID de modèle et de domaine, les auteurs introduisent la Précision de Famille de Modèles. Cette métrique de granularité intermédiaire regroupe des variantes fonctionnellement similaires (par exemple, différents niveaux de quantification d'une même architecture) pour mieux capturer la qualité du routage sémantique sans être excessivement stricte sur les identifiants de modèles exacts.

4. Résultats Expérimentaux

Des expériences extensives comparent CARvE à des bases de référence solides, incluant le fine-tuning zero-shot, des méthodes de récupération uniquement (BM25, BGE-M3), la fusion de modèles (TIES, DARE) et diverses stratégies d'apprentissage continu (EWC, LwF, rejeu aléatoire).

• Performance : CARvE surpasse nettement toutes les bases de référence. Avec un budget de rejeu de 10 %, CARvE atteint 80,7 % de Précision de Domaine avec seulement 5,9 % d'Oubli, contre 75,9 % de précision et 13,1 % d'oubli pour un rejeu aléatoire standard. À 20 % de rejeu, il atteint 82,9 % de précision avec 3,0 % d'oubli.
• Comparaison aux Bornes Supérieures : CARvE réduit l'écart avec l'entraînement conjoint (entraînement sur toutes les données simultanément) et, dans certaines métriques au niveau du domaine, le dépasse tout en opérant sous la contrainte continue plus stricte.
• Études d'Ablation :
  • Ancrage : La désactivation de l'ancrage de projection provoque une baisse significative de la précision et un pic d'oubli, confirmant son rôle critique dans la stabilisation de l'espace d'embeddings.
  • Stratégie de Rejeu : Le rejeu de co-noyau stratifié par domaine surpasse le rejeu aléatoire, particulièrement à des budgets de rejeu plus faibles (5-10 %).
  • Initialisation : L'initialisation aléatoire des embeddings de modèles surpasse le démarrage à chaud à partir d'embeddings de fiches modèles, car le texte des fiches encode une similarité linguistique plutôt qu'une discriminabilité de routage.
• Efficacité : CARvE réduit les coûts computationnels (TFLOPs et heures GPU) d'environ 45 à 60 % par rapport à un réentraînement cumulatif ou à partir de zéro, le rendant viable pour un déploiement à grande échelle.

5. Importance et Revendications

L'article revendique être le premier travail à démontrer empiriquement le rôle central de l'apprentissage continu dans le routage de modèles grâce à des benchmarks et des analyses à grande échelle. Ses contributions principales sont :

1. Formalisation : Définir le CMR comme un problème d'apprentissage incrémental de classes où le routeur doit s'adapter à des milliers d'experts et s'ajuster à des pools non stationnaires.
2. Étalonnage : Fournir CMRBench comme point de référence reproductible pour la communauté, dépassant les pools de candidats statiques.
3. Méthodologie : Démontrer que CARvE, grâce à l'embedding contrastif, au rejeu structuré et à l'ancrage asymétrique, permet une sélection d'experts évolutive et robuste.

Les auteurs soulignent que leur approche répond à un goulot d'étranglement pratique des systèmes : sélectionner un modèle spécialiste avant l'inférence pour réduire la latence et les coûts. Ils notent que, bien que CARvE réduise la dépendance au stockage des historiques bruts des utilisateurs, il n'élimine pas les risques de confidentialité, et un meilleur routage pourrait involontairement amplifier les biais s'il n'est pas couplé à des politiques de sécurité. Le travail suggère que l'avenir de la sélection de modèles ne réside pas dans des modèles monolithiques, mais dans des écosystèmes de modèles évolutifs et interactifs gérés par des systèmes d'apprentissage continu.