How Hard is it to Rig a Benchmark? A Social Choice Analysis of Leaderboard Robustness

Résumé technique : « Quelle difficulté présente la triche sur un benchmark ? Une analyse de choix social de la robustesse des classements »

Définition du problème
L'article aborde l'incitation croissante au « jeu des benchmarks » (benchmark gaming), spécifiquement l'inclusion stratégique de données de benchmark dans l'entraînement des modèles pour gonfler artificiellement les classements. Bien que la contamination des données et les fuites soient des phénomènes bien documentés, les auteurs soutiennent que l'étendue de la manipulation est difficile à vérifier en raison des données d'entraînement propriétaires des modèles à code source fermé. Au lieu de se concentrer sur la détection, l'article examine la robustesse des benchmarks face à une telle manipulation par construction. La question centrale est : étant donné une suite fixe de jeux de données et un ensemble de modèles en concurrence, combien de tâches un développeur doit-il inclure dans l'entraînement d'un modèle cible pour garantir que ce modèle devienne le premier du classement ?

Méthodologie : Choix social et complexité computationnelle
Les auteurs formalisent le benchmarking multi-tâches comme un problème de choix social, traitant les jeux de données comme des « électeurs » et les modèles comme des « candidats ». Dans ce cadre, l'entraînement spécifique au benchmark est identifié comme une forme de manipulation électorale, correspondant spécifiquement au pot-de-vin par déplacement (shift bribery) avec des prix tout-ou-rien. Dans cette analogie, un agent externe (le développeur du modèle) paie un coût pour déplacer un candidat préféré (le modèle cible) vers le haut dans les classements d'électeurs spécifiques (les jeux de données).

L'article exploite le choix social computationnel pour analyser la difficulté de cette manipulation :

1. Analyse de complexité : Les auteurs prouvent que pour tout opérateur de benchmark ordinal, le problème de sélection du sous-ensemble optimal de jeux de données pour l'entraînement est équivalent au pot-de-vin par déplacement. Par conséquent, ils démontrent que trouver le moyen le moins cher de truquer un benchmark est NP-difficile sous les règles d'agrégation comptage de Borda et taux de victoire moyen.
2. Robustesse au niveau de l'instance : Pour compléter l'analyse de complexité dans le pire des cas, les auteurs introduisent une métrique appelée robustesse au niveau de l'instance ($k_B$). Celle-ci est définie comme le nombre minimum de jeux de données qu'un développeur doit inclure dans l'entraînement pour qu'un modèle cible spécifique devienne le premier du classement. Ils dérivent des expressions mathématiques exactes pour $k_B$ sous quatre règles d'agrégation courantes :
   • Moyenne arithmétique : La robustesse est déterminée par le « déficit moyen » (l'écart entre la cible et le leader) et les gains maximaux possibles sur les tâches individuelles. La stratégie optimale est une sélection gloutonne des tâches offrant les plus grands gains potentiels.
   • Médiane : La robustesse dépend du nombre de tâches nécessaires pour pousser le score médian du modèle cible au-dessus de la médiane la plus élevée des modèles concurrents. Seules les tâches où la cible peut franchir un seuil spécifique contribuent à réduire le déficit.
   • Taux de victoire moyen : Cela nécessite de résoudre un programme linéaire en nombres entiers (PLNE) pour trouver l'ensemble minimum de tâches qui comble simultanément les déficits de taux de victoire par paire contre tous les modèles concurrents.
   • Majorité par paire : Similaire au taux de victoire moyen, cela implique un PLNE pour garantir que le modèle cible remporte la majorité des comparaisons par paires contre tous les autres modèles.

Évaluation expérimentale
Les auteurs évaluent ces expressions de robustesse sur deux suites de benchmarks majeures :

1. MMLU (Massive Multitask Language Understanding) : Évalué via le cadre HELM, impliquant 22 modèles répartis sur 57 jeux de données de sujets.
2. BIG-Bench Hard (BBH) : Évalué via le Open LLM Leaderboard, impliquant 4 507 modèles répartis sur 24 tâches de raisonnement.

Pour chaque suite, ils calculent la robustesse au niveau de l'instance pour chaque modèle de l'ensemble, en traitant chacun à tour de rôle comme la cible. Ils rapportent la robustesse médiane (le nombre de tâches requis pour truquer le classement pour un modèle cible « typique ») et la fraction de modèles qui peuvent être portés au premier rang en s'entraînant sur un petit nombre de tâches (par exemple, $K \le 5$).

Résultats clés
L'analyse empirique révèle des disparités significatives de robustesse entre les règles d'agrégation :

• Le taux de victoire moyen est le plus robuste : Sur les deux suites, la règle du taux de victoire moyen est systématiquement la plus difficile à manipuler.
  • Sur BBH, la robustesse médiane pour le taux de victoire moyen est de 22 tâches (92 %), ce qui signifie qu'un modèle cible typique doit être entraîné sur presque toute la suite pour atteindre le sommet du classement. En revanche, la moyenne arithmétique ne nécessite que 13 tâches (54 %), et la médiane/majorité par paire nécessitent 12 tâches (50 %).
  • Sur MMLU, la robustesse médiane pour le taux de victoire moyen est de 44,5 sujets (78 %), contre 16 (28 %) pour la moyenne arithmétique.
• Vulnérabilité de la moyenne arithmétique : La moyenne arithmétique est la règle la moins robuste. Un petit nombre de tâches à fort gain peut modifier considérablement le classement, permettant à une fraction substantielle de modèles d'être promus au sommet avec une manipulation minimale.
• Signification statistique : Les tests de rangs signés de Wilcoxon appariés confirment que ces différences de robustesse sont systématiques à travers les modèles cibles et ne sont pas dues à des valeurs aberrantes.
• Robustesse normalisée : Même après normalisation par rapport à la quantité de « marge de progression » disponible pour un modèle (en tenant compte du fait que les modèles plus faibles ont un potentiel de gain plus élevé), le taux de victoire moyen reste la règle la plus robuste.

Signification et affirmations
L'article affirme que les règles d'agrégation sont un déterminant principal de la vulnérabilité des benchmarks. Les auteurs soutiennent que la robustesse face à l'entraînement spécifique au benchmark devrait être traitée comme un critère central dans la conception des benchmarks.

• Arbitrages : Bien que le taux de victoire moyen offre une haute robustesse en exigeant une manipulation large sur toute la suite, il dépend de l'ensemble des modèles comparés (sensibilité au pool de modèles). À l'inverse, la majorité par paire est invariante à l'ensemble des modèles mais peut induire des classements cycliques (cycles de Condorcet), bien que les auteurs notent que des vainqueurs de Condorcet existent dans les rangs supérieurs des suites étudiées.
• Implications : Les résultats suggèrent que la dépendance actuelle à l'agrégation par moyenne arithmétique (courante dans des suites comme GLUE et SuperGLUE) crée une barrière à l'entrée faible pour la manipulation. Le passage à des règles plus robustes comme le taux de victoire moyen augmente le coût de la manipulation, obligeant les développeurs à améliorer leurs performances sur un ensemble beaucoup plus large de tâches pour atteindre un rang supérieur.
• Limites : Les auteurs reconnaissent que leur modèle de manipulation est favorable au développeur (en supposant que l'entraînement n'améliore que le modèle cible et ne dégrade jamais les performances ailleurs). En pratique, les fuites de données pourraient avoir des effets partiels ou négatifs. Cependant, même sous ces hypothèses fortes, le choix de la règle d'agrégation dicte nettement la difficulté de truquer le benchmark.

L'article conclut que bien qu'aucune règle d'agrégation ne soit immunisée contre la manipulation (selon le théorème de Gibbard-Satterthwaite), la difficulté computationnelle et structurelle de la manipulation varie considérablement, fournissant une base quantitative pour concevoir des classements plus fiables.