Résumé Technique : Capture des Capacités des LLM via un Regroupement de Requêtes Calibré par des Preuves

Énoncé du Problème

Les Grands Modèles de Langage (LLM) présentent des capacités diverses à travers différents domaines et types de tâches. Une évaluation précise de ces forces est cruciale pour un déploiement fiable dans des contextes personnalisés. Cependant, les méthodes existantes d'évaluation des LLM reposent souvent sur des ensembles de données ou des groupes de requêtes à granularité grossière, produisant des preuves bruitées et échouant à caractériser efficacement les exigences de capacités latentes.

Les approches actuelles de regroupement de requêtes tombent généralement dans deux catégories :

1. Taxonomies statiques étiquetées par des humains : Les méthodes utilisant des catégories prédéfinies (par exemple, « Mathématiques », « Chimie ») échouent souvent car une seule étiquette peut englober des requêtes nécessitant des capacités sous-jacentes radicalement différentes (par exemple, rappel par cœur versus déduction multi-étapes).
2. Embeddings sémantiques non supervisés : Le regroupement basé uniquement sur des embeddings sémantiques de surface est souvent désaligné par rapport aux performances réelles du modèle. Des requêtes avec des thèmes sémantiques similaires peuvent nécessiter des capacités différentes, tandis que des requêtes avec des thèmes différents peuvent partager les mêmes exigences de capacités latentes.

Ce désalignement entre les sémantiques de surface et les exigences de capacités latentes limite la généralisabilité des estimations de capacités des modèles, en particulier pour les requêtes non vues. De plus, les approches existantes de « LLM-comme-juge » qui extraient des étiquettes de compétences aboutissent souvent à des partitions dures et discrètes, incapables d'accueillir des requêtes aux exigences de capacités mixtes et entraînant des coûts de calcul élevés.

Méthodologie : Regroupement Calibré par des Preuves (ECC)

Les auteurs proposent ECC, un algorithme novateur qui comble le fossé entre les sémantiques de surface et les exigences de capacités latentes en intégrant des embeddings sémantiques a priori avec des comparaisons de modèles a posteriori limitées.

Composants Principaux

1. Paramètres Système ($\Theta$) : ECC caractérise chaque cluster $k$ en utilisant deux composantes :
   • Centroïde Sémantique ($c_k$) : Capture les signaux sémantiques a priori dans l'espace d'embedding.
   • Profil de Capacité ($\theta^{(k)}$) : Un vecteur de forces latentes pour $M$ LLM sur les requêtes associées au cluster $k$, paramétré par un modèle de Bradley-Terry (BT).
2. Responsabilités Douces ($P$) : Pour accommoder les requêtes nécessitant des capacités mixtes, ECC introduit des affectations douces entraînables $r_{qk}$. Ces poids mesurent dans quelle mesure une requête $q$ s'aligne avec le profil de capacité du cluster $k$, permettant à une seule requête de contribuer à plusieurs clusters.

Procédure d'Optimisation

ECC emploie une procédure d'optimisation alternée pour apprendre conjointement les paramètres système et les responsabilités douces :

• Fonction Objectif : L'algorithme minimise une perte attendue régularisée par l'entropie combinant :
  • Perte de Capacité ($\ell_{comp}$) : Mesure la qualité de l'ajustement du profil BT du cluster aux comparaisons de modèles par paires observées pour la requête.
  • Perte d'Embedding ($\ell_{emb}$) : Mesure le désaccord sémantique entre l'embedding de la requête et le centroïde du cluster.
  • Régularisation par l'Entropie : Encourage des affectations diversifiées et prévient les solutions dégénérées.
• Mises à Jour Alternées :
  1. Mise à jour de $\Theta$ : Étant donné des responsabilités fixes, mettre à jour les centroïdes (en tant que moyennes pondérées normalisées des embeddings) et les profils de capacité (en minimisant la perte BT pondérée).
  2. Mise à jour de $P$ : Étant donné des paramètres fixes, mettre à jour les responsabilités en utilisant une distribution de Boltzmann sous forme fermée dérivée de la perte combinée et du paramètre de température $T$.

Inférence : Inférence de Mélange Informée par une Sonde

Pour les requêtes non vues, ECC emploie une stratégie d'inférence légère :

1. Signal de Sonde : Une seule comparaison de modèles par paires est collectée pour la nouvelle requête.
2. Calibration : Cette sonde est utilisée pour calibrer les responsabilités douces de la requête ($r_q$) à travers les clusters, réconciliant le signal d'embedding avec la preuve a posteriori.
3. Classement : Le classement final conscient des capacités est dérivé comme un mélange pondéré des profils BT spécifiques aux clusters :
   $$P(m_j \succ m_i | q) = \sum_{k=1}^K r_{qk} \sigma(\theta^{(k)}_j - \theta^{(k)}_i)$$

Contributions Clés

1. Algorithme Novateur : ECC intègre les comparaisons de modèles a posteriori avec des embeddings a priori pour surmonter le désalignement entre les sémantiques de surface et les exigences de capacités latentes.
2. Estimation Économe en Échantillons : En caractérisant les clusters avec des profils de capacité Bradley-Terry, ECC permet l'estimation des forces relatives des modèles à partir de comparaisons par paires limitées.
3. Structure Flexible : L'introduction de responsabilités douces entraînables permet au modèle de capturer des exigences de capacités mixtes, produisant une structure de regroupement flexible et consciente des capacités.
4. Validation Empirique : Des évaluations extensives démontrent qu'ECC produit des clusters plus cohérents en termes de capacités et améliore significativement la qualité du classement par rapport aux lignes de base.

Résultats Expérimentaux

Les auteurs ont évalué ECC sur trois benchmarks : SPROUT, RouterBench et Open LLM Leaderboard v2, couvrant des ensembles de données tels que MMLU, MMLU-Pro et MATH.

• Qualité du Classement : ECC a nettement surpassé le regroupement étiqueté par des humains et le regroupement basé uniquement sur les embeddings.
  • Sur des requêtes non vues, ECC a amélioré la qualité du classement d'une moyenne de 17,64 points de pourcentage (pp) par rapport au regroupement étiqueté par des humains et de 18,02 pp par rapport au regroupement basé uniquement sur les embeddings.
  • ECC a constamment obtenu les meilleures performances à travers différents signaux d'inférence (uniquement embeddings, uniquement sonde, et combiné).
• Cohérence des Clusters : L'analyse qualitative a montré que les clusters ECC sont plus cohérents en interne (cohérence plus élevée du profil BT au sein du cluster) et mieux séparés (similarité inter-cluster plus faible) que les lignes de base.
• Tâches en Aval :
  • Routage de Requêtes : ECC a amélioré la qualité de réponse des requêtes routées de 16,6 % en moyenne par rapport au regroupement basé uniquement sur les embeddings.
  • Classement Économe en Échantillons : Dans les tâches impliquant le classement de nouveaux modèles avec des budgets de comparaison limités, ECC a atteint une qualité de classement 16,3 pp supérieure aux lignes de base basées uniquement sur les embeddings.
• Robustesse : ECC a démontré une robustesse face aux variations du nombre de clusters, de la sélection de la sonde, des modèles d'embedding et des comparaisons à égalité.

Importance et Revendications

L'article revendique qu'ECC adresse une limitation fondamentale dans l'évaluation actuelle des LLM : la dépendance aux sémantiques de surface qui ne reflètent pas les véritables distributions de capacités. En calibrant les priors sémantiques avec des preuves a posteriori, ECC fournit un cadre plus précis, interprétable et flexible pour une évaluation consciente des capacités.

Les auteurs soulignent qu'ECC est sans entraînement (ne nécessitant aucune optimisation basée sur le gradient de composants neuronaux) et computationalement efficace, le rendant adapté aux environnements contraints en ressources. La méthode permet une adaptation fine à travers des requêtes hétérogènes et soutient des applications en aval telles que le routage optimal des requêtes et le classement efficace de nouveaux modèles sans nécessiter de benchmarking exhaustif.

L'article conclut que bien qu'il se concentre actuellement sur des requêtes textuelles uniquement, le cadre est agnostique à la modalité et pourrait théoriquement accommoder des entrées multimodales. Il note également que des travaux futurs pourraient étendre la méthode à des contextes conscients du contexte impliquant un historique de conversation.