Benchmarking the Benchmarks: Testing the Predictive Validity of Commonsense Benchmarks

Résumé Technique : Évaluer les Évaluations (Benchmarking the Benchmarks)

Énoncé du Problème
Les configurations d'évaluation standardisées, particulièrement les benchmarks de bon sens statiques à choix multiples, sont largement utilisées pour inférer les capacités des grands modèles de langage (LLM). Cependant, la mesure dans laquelle la performance sur ces benchmarks prédit le comportement en aval dans des tâches réelles reste mal spécifiée. Bien que les défauts des benchmarks existants (ex. : artefacts, contamination, annotations instables) soient bien documentés, la question critique a évolné : les scores des benchmarks constituent-ils des indicateurs valides de la compétence des modèles en aval ? Plus précisément, il n'est pas clair si les benchmarks « retravaillés » — conçus pour atténuer les défauts connus — améliorent réellement la validité de critère (prédire les résultats externes) ou s'ils se contentent de préserver le classement relatif des modèles sans améliorer leur utilité pour l'inférence de capacité.

Méthodologie
L'étude évalue 23 LLM en poids ouverts issus de six familles (Llama 3, Gemma 2, Pythia, OPT, Qwen 2.5, Mistral) allant de 1B à 72B de paramètres. Le design expérimental implique une comparaison exhaustive à travers quatre dimensions :

1. Paires de Benchmarks : Les auteurs évaluent les modèles sur quatre benchmarks de bon sens établis et leurs variantes retravaillées :
   • WinoGrande vs. WinoWhat (paraphrasé)
   • HellaSwag vs. GoldenSwag (filtré)
   • Social IQA vs. Social IQA filtered
   • Physical IQA vs. Physical IQA-RUP (paraphrasé)
2. Tâches en Aval : Les modèles sont testés sur huit tâches en aval nécessitant un raisonnement implicite, catégorisées en trois axes conceptuels :
   • Social/Émotionnel : CEI, SARC7, False Beliefs.
   • Pragmatique : Implicature, Présupposition, Requêtes Indirectes.
   • Événementiel/Physique : TimeDial, TRIP.
3. Benchmarks de Contrôle : Pour distinguer la capacité spécifique au bon sens de la capacité générale du modèle, l'étude inclut des contrôles non liés au bon sens : BLiMP, GPQA-Diamond, et MMLU-Redux.
4. Protocole d'Évaluation : Toutes les tâches utilisent une configuration à choix multiples basée sur la log-vraisemblance (log-likelihood) pour assurer l'uniformité. L'analyse emploie :
   • Des corrélations de Spearman par paires pour évaluer le classement des modèles.
   • Des corrélations de Spearman partielles contrôlant la taille du modèle, la famille et la performance des benchmarks de contrôle.
   • Une validation croisée de type "leave-one-family-out" (LOFOCV) utilisant la régression Ridge pour tester la validité prédictive pour des familles de modèles non vues.
   • Des transformations Fisher-z et des bootstrapping non paramétriques pour estimer les intervalles de confiance.

Contributions Clés et Résultats

• Préservation du Classement vs Validité : L'étude montre que les benchmarks retravaillés préservent largement le classement des modèles de leurs homologues originaux. L'exception est WinoWhat, qui est moins fortement corrélé à WinoGrande et aux autres benchmarks, suggérant qu'il capture des comportements de modèles différents. Cependant, ces révisions n'améliorent pas systématiquement la validité prédictive en aval. Dans la plupart des cas, la différence de corrélation entre les benchmarks originaux et retravaillés concernant les tâches en aval est négligeable. Notamment, l'original WinoGrande est substantiellement plus prédictif de la tâche False Beliefs que sa variante retravaillée WinoWhat.
• Transfert Étroit vers les Tâches en Aval : Les benchmarks de bon sens ne montrent une validité prédictive inter-familles cohérente que pour un sous-ensemble étroit de tâches en aval.
  • Prédicteurs les plus Forts : False Beliefs et TRIP présentent les associations les plus fortes et les plus constantes avec les scores des benchmarks de bon sens.
  • Gains Spécifiques aux Métriques : Implicature, Indirect Requests et TimeDial ne montrent des gains que pour des métriques spécifiques (ex. : macro-F1 ou précision), mais pas pour les deux.
  • Faibles Prédicteurs : CEI (Inférence Émotionnelle) et SARC7 (Sarcasme) restent mal prédits par les benchmarks de bon sens.
• Absence de Spécificité de Domaine : L'hypothèse selon laquelle les benchmarks transfèrent mieux vers les tâches en aval au sein du même axe conceptuel (ex. : Social IQA prédisant les tâches sociales) n'est pas soutenue. Bien que les benchmarks Événementiel/Physique montrent une certaine convergence avec les tâches de plausibilité physique, l'axe pragmatique présente le schéma opposé. Globalement, les paires correspondantes sont souvent plus faibles que les paires non correspondantes, indiquant que les étiquettes des benchmarks ne se rapportent pas de manière fiable à des capacités fines en aval.
• Capacité Générale vs Compétence Spécifique : En contrôlant la taille du modèle, la famille et la performance sur les contrôles non liés au bon sens, la signification statistique de la plupart des corrélations diminue. Cela suggère que les transferts observés reflètent souvent une capacité de modèle large plutôt qu'un raisonnement distinct lié au bon sens. Cependant, les résultats LOFOCV indiquent que les scores de bon sens conservent une certaine information incrémentale et inter-familles pour False Beliefs et TRIP.

Signification et Revendications
L'article soutient que les benchmarks de bon sens standardisés fournissent des preuves dépendantes de la tâche plutôt que des preuves larges de la compétence en bon sens en aval. Les auteurs affirment que :

1. Les révisions ne garantissent pas la validité : Nettoyer les jeux de données pour éliminer les artefacts ou l'ambiguïté améliore la qualité interne mais ne se traduit pas automatiquement par une meilleure validité de critère ou des indicateurs plus utiles pour la sélection de modèles.
2. Généralisabilité Limitée : La performance sur des benchmarks comme HellaSwag, Social IQA ou Physical IQA ne doit pas être interprétée comme une preuve large de capacités de raisonnement pragmatique, social ou contextuel. La relation entre les scores des benchmarks et les tâches en aval est inégale et s'aligne rarement sur les sous-domaines impliqués par les métadonnées des benchmarks.
3. Changement de Priorités d'Évaluation : L'étude appelle à un changement de paradigme dans l'évaluation. Plutôt que de raffiner répétitivement des jeux de données statiques isolés, la communauté devrait prioriser la construction de suites d'évaluation où les scores sont démontrablement informatifs sur des comportements et des applications spécifiques. Les affirmations sur les capacités des modèles nécessitent des preuves de validité de critère : les scores doivent se généraliser à des tâches externes qui instancient la capacité visée dans différents contextes et formats, apportant une information au-delà de la capacité générale du modèle.

Les auteurs concluent que, bien que les benchmarks de bon sens soient informatifs pour des tâches spécifiques comme False Beliefs et TRIP, ils ne soutiennent pas de manière fiable des affirmations fines sur des sous-compétences distinctes du bon sens ou sur une compétence pragmatique large.