Résumé technique : Révéler les lacunes de compétence des grands modèles de langage et de leurs benchmarks

1. Énoncé du problème

L'évaluation des grands modèles de langage (LLM) repose actuellement largement sur des benchmarks standardisés qui rapportent des scores agrégés (par exemple, la précision, le pass@k). Bien qu'utiles, cette agrégation occulte deux problèmes critiques :

1. Lacunes des modèles (Model Gaps) : Des sous-domaines ou concepts spécifiques où les modèles sous-performent systématiquement, ce qui est masqué par les scores agrégés de haut niveau.
2. Lacunes des benchmarks (Benchmark Gaps) : Des déséquilibres dans la couverture des concepts au sein des benchmarks eux-mêmes. Les annotations sémantiques existantes (par exemple, les sujets curatés manuellement) sont souvent à grain grossier, nécessitant une curation manuelle et difficiles à mettre à l'échelle, ce qui entraîne un manque de compréhension fine des capacités des modèles et des distributions des benchmarks.

Les méthodes actuelles échouent souvent à fournir une vue fine et scalable de la manière dont les concepts, les contextes et les schémas de raisonnement se rapportent à l'usage réel, risquant ainsi de tester systématiquement certains concepts tout en en négligeant d'autres.

2. Méthodologie : Lacunes de Compétence (Competency Gaps - CG)

Les auteurs proposent les Lacunes de Compétence (CG), une méthode automatisée et non supervisée pour identifier à la fois les lacunes des modèles et des benchmarks en utilisant des Autoencodeurs Creux (Sparse Autoencoders - SAE).

Mécanisme central

La méthode exploite les SAE pour décomposer les représentations internes d'un LLM en vecteurs de caractéristiques (features) creux et interprétables (activations de concepts par SAE).

• Dictionnaire de concepts : Chaque dimension du vecteur SAE correspond à un concept distinct (par exemple, « syntaxe de codage », « rejet poli »). Ces concepts se voient assigner des étiquettes textuelles via des méthodes d'auto-interprétabilité, formant un « dictionnaire de concepts » fixe (contenant souvent des milliers à des millions de concepts).
• Score d'activation : Pour un point de données donné (séquence de tokens $x_i$), l'activation d'un concept $c$ est calculée en sommant les scores d'activation SAE sur tous les tokens et en normalisant par la longueur de la séquence pour éviter le biais de verbosité.

Métriques

La méthode définit deux métriques primaires fondées sur l'espace conceptuel des SAE :

1. Lacunes de Benchmark (Couverture) :

   • Couverture par benchmark ($\chi^{(b,c)}_{bench}$) : Mesure l'activation du concept $c$ dans le benchmark $b$ par rapport à l'activation moyenne de tous les concepts dans ce benchmark.
   • Couverture inter-benchmarks ($\bar{\chi}^{(c)}_{bench}$) : La couverture moyenne du concept $c$ à travers une suite de benchmarks.
   • Identification des lacunes : Les concepts dont la couverture est inférieure à un seuil (par exemple, le décile inférieur ou proche de zéro) sont signalés comme sous-représentés ou manquants.

2. Lacunes de Modèle (Performance) :

   • Performance du modèle par benchmark ($\chi^{(b,c)}_{model}$) : Une moyenne pondérée de la performance du modèle sur les points de données où le concept $c$ est actif.
   • Performance inter-benchmarks ($\bar{\chi}^{(c)}_{model}$) : La performance moyenne à travers les benchmarks pour le concept $c$.
   • Identification des lacunes : Les concepts où le modèle performe mal (faible $\bar{\chi}^{(c)}_{model}$) sont identifiés comme des lacunes de modèle.

Flux de travail (Workflow)

Le flux de travail proposé comprend :

1. Sélection d'une suite de benchmarks.
2. Calcul des scores CG (couverture et performance) pour tous les concepts du dictionnaire SAE.
3. Identification des lacunes (faible couverture ou faible performance).
4. Utilisation d'un LLM pour regrouper ces concepts et interpréter les résultats (par exemple, regrouper les concepts liés au « temps » ou à la « fixation de limites »).

3. Contributions clés

• Identification automatisée des lacunes : Une méthode systématique et scalable pour découvrir à la fois les faiblesses des modèles et les lacunes de couverture des benchmarks sans annotation manuelle.
• Évaluation ancrée : En utilisant les représentations internes du modèle (SAE), la méthode garantit que les lacunes identifiées reflètent l'état interne réel du modèle plutôt que des plongements (embeddings) externes potentiellement désalignés.
• Applicabilité inter-modèles et inter-benchmarks : La méthode a été démontrée sur cinq modèles open-source populaires (Gemma2, Llama3.1, Mistral, Qwen3, DeepSeek-R1) et plus d'une douzaine de benchmarks divers (incluant MATH, GSM8K, MMLU, GPQA et des benchmarks de type arena).
• Outils Open-Source : Publication du code de la méthode et d'une application web interactive pour explorer les capacités des modèles et l'équilibre des benchmarks.

4. Résultats

Les auteurs ont appliqué CG à cinq modèles et dix benchmarks statiques, produisant plusieurs conclusions clés :

Lacunes de Benchmark

• Représentation asymétrique : Les suites de benchmarks présentent des distributions de couverture fortement asymétriques (right-skewed). Un petit nombre de concepts (ex: « discussions sur la Premier League anglaise », « nouvelles limites de conversation ») sont sur-représentés, tandis que beaucoup d'autres sont sous-testés.
• Concepts fondamentaux manquants : L'analyse a identifié 314 concepts (1 % du dictionnaire) entièrement absents de la suite de benchmarks. Ceux-ci incluaient des concepts méta-cognitifs critiques (ex: « assistant expliquant ses limitations », « conformité réglementaire ») et des concepts juridiques.
• Déficiences spécifiques aux benchmarks : Il a été constaté que certains benchmarks manquent de concepts centraux à leurs objectifs déclarés. Par exemple, AGI Eval manquait de concepts liés à une « évaluation approfondie et objective des preuves », et Social IQA manquait de concepts concernant les « instructions sur la manière dont quelqu'un devrait se comporter ».

Lacunes de Modèle

• Distribution de la performance : Les modèles présentent une forte variance de performance à travers les concepts.
• Forces : Les modèles performent le mieux sur les tâches STEM (codage, manipulation de données) et les comportations d'aide (sentiment positif, engagement à aider).
• Faiblesses (Validées) : La méthode a récupéré des faiblesses connues, telles qu'une faible performance sur les concepts liés au temps (ex: « durées de cuisson »), les instructions de manipulation d'images et le raisonnement sur les palindromes.
• Faiblesses (Nouvelles) : La méthode a identifié des lacunes auparavant non étudiées, telles que les « appels à l'intuition dans le raisonnement » et la « compréhension intuitive profonde (grokking/deep intuitive understanding) ».
• Sycophantie vs Limites : Un thème récurrent est que les modèles performent bien sur les concepts de sycophantie/d'aide, mais mal sur les concepts exigeant un rejet poli ou le maintien de limites professionnelles.

Robustesse

• Indépendance vis-à-vis du SAE : La méthode a produit des résultats qualitativement similaires lorsqu'un SAE entraîné sur un autre modèle était utilisé (ex: utiliser le SAE de Gemma pour analyser Llama), suggérant que l'approche est robuste au SAE spécifique utilisé, bien que les SAE spécifiques au modèle offrent une plus grande précision.
• Stabilité : Les scores sont restés stables sous échantillonnage aléatoire de données (faible écart-type) et ont répondu de manière prévisible aux perturbations adverses (le retrait de points de données à haute/basse performance a déplacé les scores agrégés comme prévu).

5. Signification et Revendications

L'article affirme que la méthode des Lacunes de Compétence fournit un complément nécessaire aux benchmarks existants en offrant une décomposition au niveau des concepts du comportement des modèles.

• Pour les développeurs de benchmarks : La méthode aide à identifier les « lacunes de benchmark » — des concepts fondamentaux qui devraient figurer dans le champ d'un benchmark mais qui sont actuellement absents. Cela permet l'amélioration itérative de la conception des benchmarks pour assurer une couverture équilibrée.
• Pour les développeurs de modèles : Elle fait émerger des « lacunes de modèle » spécifiques (faiblesses) qui peuvent être négligées par les scores agrégés, particulièrement celles liées à la sécurité, aux limites et à la méta-cognition.
• Aperçu systémique : Les auteurs soulignent l'enchevêtrement entre les lacunes de benchmark et de modèle : les benchmarks qui sur-représentent certains concepts (ex: le respect des instructions) peuvent par inadvertance inciter les modèles à optimiser ces concepts spécifiques tout en négligeant d'autres aspects (ex: le refus calibré), créant une boucle de rétroaction de compétence étroite.

Les auteurs soulignent que, bien que la méthode soit puissante, elle est limitée à l'espace conceptuel du SAE ; elle ne peut pas détecter des lacunes pour des concepts que le modèle ne représente pas en interne. De plus, ils notent que l'activation d'un concept n'équivaut pas à une capacité ; la méthode repose sur le diagnostic conjoint de l'activation et des scores de performance du benchmark.

Le travail conclut en offrant un outil à la communauté pour passer au-delà des scores agrégés vers une compréhension plus transparente, interprétable et fine des compétences des LLM.