RouteProfile: Elucidating the Design Space of LLM Profiles for Routing

1. Énoncé du problème

À mesure que l'écosystème des modèles de langage de grande taille (LLM) s'étend, les modèles individuels présentent des capacités hétérogènes selon les requêtes, les tâches et les domaines. Cela rend nécessaire le routage de LLM, un mécanisme permettant de sélectionner le modèle le plus approprié pour une requête donnée.

Cependant, les recherches existantes se concentrent principalement sur l'optimisation des mécanismes de routage (par exemple, les routeurs basés sur l'apprentissage, sur les graphes ou contrastifs) tout en négligeant largement la conception des profils de LLM. Les profils de LLM sont des représentations des capacités d'un modèle dérivées des historiques d'interaction. Les approches de profilage actuelles sont souvent :

• Hétérogènes et imbriquées : Mélangées avec des stratégies de routage, ce qui rend difficile l'isolement de la source des gains de performance.
• Limitées en granularité : Allant de simples vecteurs one-hot basés sur des index (sémantiquement appauvris) à des résumés de benchmarks grossiers (éliminant les signaux fins) ou à du texte généré par un LLM (souvent de couverture étroite).
• Non structurées : Échouant à intégrer les relations complexes et interdépendantes entre les modèles, les tâches, les domaines et les instances spécifiques de requêtes.

La question de recherche centrale est : Comment la conception des profils de LLM affecte-t-elle les performances de routage à travers différents routeurs ?

2. Méthodologie : Le cadre RouteProfile

Les auteurs proposent RouteProfile, un cadre général qui traite le profilage de LLM comme un problème d'intégration d'informations structurées sur des historiques d'interaction hétérogènes. Ils formalisent les sources de données comme un Graphe d'Interaction Hétérogène ($G$) et définissent un espace de conception caractérisé par quatre dimensions clés.

A. Représentation des données : Le graphe d'interaction

Le graphe $G = (V, E)$ intègre quatre sources de données principales :

1. Famille de modèles : Lignée architecturale et priors des développeurs.
2. Couverture de domaine : Zones de spécialisation (par exemple, Mathématiques, Codage).
3. Évaluation des tâches : Scores de benchmarks standardisés (par exemple, MMLU, HumanEval).
4. Instances au niveau de la requête : Instances de problèmes spécifiques associées aux tâches.

Nœuds : Modèle, Famille de modèles, Domaine, Tâche, Requête.
Arêtes : Modèle-Famille, Modèle-Tâche, Tâche-Domaine, Tâche-Requête.
Caractéristiques : Descriptions textuelles (générées par des LLM comme GPT-4o) pour les nœuds et scores de performance pour les arêtes.

B. Les quatre dimensions de conception

Le cadre caractérise la construction de profils via la fonction d'agrégation $f(\omega, \gamma, K, \ell)$ :

1. Forme organisationnelle ($\omega$) :
   • Plate : Concaténation directe des données en texte ou en vecteurs sans structure de graphe.
   • Structurée : Utilisation de la topologie du graphe (par exemple, via des Réseaux de Neurones à Graphes) pour modéliser les informations relationnelles.
2. Type de représentation ($\gamma$) :
   • Texte : Profils exprimés sous forme de résumés en langage naturel (souvent via l'incitation de LLM).
   • Embedding : Profils exprimés sous forme de vecteurs denses (via des PLM ou des GNN).
3. Profondeur d'agrégation ($K$) :
   • Le nombre de sauts dans le graphe utilisé pour la propagation de l'information (de 0 à 4). Détermine si le profil repose sur des voisins directs ou un contexte d'ordre supérieur.
4. Configuration d'apprentissage ($\ell$) :
   • Sans entraînement : Agrégation statique (par exemple, incitation d'un LLM ou GCN fixe).
   • Apprenable : Optimisée via un apprentissage auto-supervisé (par exemple, reconstruction masquée) sur le graphe d'interaction.

C. Configuration expérimentale

• Ensembles de données : 15 ensembles de données pour la construction du graphe (Connaissances, Raisonnement, Mathématiques, Codage) et 12 pour l'évaluation en aval.
• Modèles : 25 LLM au total (8 candidats pour le routage, 17 auxiliaires pour le contexte du graphe).
• Routeurs évalués :
  1. SimRouter : Basé sur la similarité, non paramétrique (référence).
  2. MLPRouter : Basé sur l'apprentissage (projection MLP).
  3. GraphRouter : Routeur GNN structuré en graphe.
• Paramètres : Routage standard et Démarrage à froid (généralisation à un nouveau LLM non vu).

3. Contributions clés

1. Espace de conception systématique : Introduction de RouteProfile, le premier cadre complet pour découpler la conception du profil de la conception du routeur, définissant quatre dimensions orthogonales pour le profilage.
2. Intégration d'informations structurées : Formalisation du profilage de LLM comme un problème de graphe hétérogène, allant au-delà de l'extraction de caractéristiques plates vers une intégration relationnelle.
3. Démêlage empirique : Réalisation d'une évaluation systématique à grande échelle sur trois architectures de routeurs distinctes pour isoler l'impact des choix de conception de profil.

4. Résultats et découvertes clés

RQ1 : Impact de la conception du profil sur la qualité du routage

• Structuré > Plate : Les profils structurés (utilisant la topologie du graphe) surpassent systématiquement les références plates à travers tous les routeurs et types de représentation. Cela indique que le maintien des relations structurelles est crucial pour des profils informatifs.
• La profondeur compte (dépendante du contexte) : L'augmentation de la profondeur d'agrégation (sauts) aide généralement dans les paramètres sans entraînement. Cependant, dans les paramètres apprenables, une profondeur excessive peut entraîner un lissage excessif, dégradant les performances dans MLPRouter et GraphRouter, bien qu'elle bénéficie à SimRouter.

RQ2 : Efficacité des sources de données

• Niveau requête > Niveau domaine : Les signaux au niveau de la requête (instances d'interaction fines) sont nettement plus fiables et informatifs que les résumés au niveau du domaine grossiers.
• Bruit dans les domaines : L'ajout de nœuds de domaine échoue souvent à améliorer les performances et peut introduire du bruit, affaiblissant des profils par ailleurs solides.

RQ3 : Généralisation aux nouveaux LLM (Démarrage à froid)

• Structuré + Apprenable est critique : La généralisation aux modèles nouvellement introduits (Démarrage à froid) est presque impossible avec des profils plats (succès proche de zéro).
• Synergie : Les meilleures performances de démarrage à froid sont obtenues en combinant des profils structurés avec des configurations apprenables. Cette combinaison permet au routeur de tirer parti de la structure relationnelle et de l'intégration apprise pour inférer les capacités des modèles non vus.
• Co-conception : Les gains de généralisation ne sont pas uniformes ; ils dépendent de la co-conception du profil et du routeur (par exemple, GraphRouter bénéficie le plus des profils structurés).

5. Importance et conclusion

Ce travail déplace le paradigme de la recherche sur le routage de LLM d'un focus exclusif sur la conception des mécanismes de routage vers une vision équilibrée qui privilégie la conception des profils de LLM.

• Insight théorique : Il démontre que la qualité de la représentation d'entrée (le profil) est un goulot d'étranglement pour les performances de routage, souvent plus que l'architecture du routeur elle-même.
• Conseils pratiques :
  • Éviter les profils plats, basés sur des index ou limités aux domaines grossiers.
  • Privilégier l'intégration de données structurées au niveau de la requête.
  • Pour une généralisation robuste aux nouveaux modèles, employer une construction de profil structurée et apprenable.
• Orientation future : L'article établit le profilage de LLM comme une direction de recherche critique et sous-explorée, offrant une base fondée sur des principes pour développer des systèmes de routage multi-LLM plus efficaces et généralisables.