SafetyRepro: Configuration-Conditional Rank Instability on Alignment Benchmarks

Résumé technique : SafetyRepro : Instabilité des rangs conditionnelle à la configuration sur les benchmarks d'alignement

Énoncé du problème
L'article traite d'une lacune critique dans la reproductibilité des benchmarks d'alignement des modèles de langage de grande taille (LLM). Bien que les comparaisons par paires (par exemple, « Le modèle A est plus sûr que le modèle B ») soient traitées comme des verdicts quantitatifs dans la littérature, elles reposent sur des environnements d'évaluation qui sous-spécifient des choix de configuration critiques. Les évaluateurs doivent sélectionner des modèles de prompts, des paramètres de décodage, des niveaux de few-shot, des règles de notation et des schémas de quantification. Les auteurs soutiennent que ces choix sont souvent plausibles mais sous-spécifiés dans les articles de benchmark, conduisant à un manque de reproductibilité où la même paire de modèles peut produire des classements contradictoires selon la configuration de l'environnement d'évaluation.

Méthodologie
Les auteurs construisent un protocole d'évaluation « estampillé par commit » pour tester la stabilité des classements par paires sur un enveloppe de configuration finie.

• Grille expérimentale : L'étude évalue trois modèles de 7 à 9 milliards de paramètres, à poids ouverts et adaptés aux instructions (Qwen-2.5-7B-Instruct, Mistral-7B-Instruct-v0.3 et Yi-1.5-9B-Chat) sur cinq benchmarks liés à l'alignement : TruthfulQA, BBQ, ToxiGen, CrowS-Pairs et XSTest.
• Enveloppe de configuration : Une grille de 612 cellules est explorée, faisant varier quatre axes par paire (modèle, benchmark) :
  1. Modèle de prompt : Quatre niveaux (Minimal, Encadré par un rôle, Détaillé, Chaîne de pensée).
  2. Décodage : Trois niveaux (Gourmand, T=0.3, T=0.7).
  3. Few-shot : Trois niveaux (0, 3, 5 exemples).
  4. Notation : Deux niveaux (Extraction par regex libre vs argmax de logprob).
• Contraintes : La grille est fixée à la quantification NF4 (simulant un matériel grand public de 16 Go) et à un sous-ensemble d'éléments fixe par benchmark pour isoler la variance de l'environnement d'évaluation de la variance d'échantillonnage des données.
• Métriques :
  • Taux de désaccord par paires contrôlable par l'opérateur ($\rho_{flip}$) : Défini comme $\min(N_+, N_-) / |C_b|$, où $N_+$ et $N_-$ sont les nombres de configurations où Modèle A > Modèle B et Modèle B > Modèle A, respectivement. Cette métrique mesure l'existence de renversements stricts au sein de l'enveloppe.
  • Concordance des rangs ($\tau_R$) : Kendall $\tau$ moyen sur les classements à 3 modèles induits.
  • Attribution de la variance : Une ANOVA de type II à quatre voies pour partitionner la variance entre l'identité du modèle et les axes d'implémentation (modèle de prompt, décodage, few-shot).
• Étude de cas : Une analyse distincte réexécute une seule configuration d'ancrage nominale (Qwen2.5-7B-Instruct) sur trois packages d'évaluation courants (lm-evaluation-harness, HELM-lite, Inspect AI) pour démontrer la non-équivalence des implémentations.

Résultats clés

1. Instabilité universelle des rangs : Sur chaque benchmark testé, le choix de la configuration seul suffit à inverser le verdict par paires entre les modèles. La métrique $\rho_{flip}$ est non nulle pour tous les benchmarks, indiquant qu'un ordre strict n'est pas identifiable au sein de l'enveloppe testée.
2. Instabilité maximale :
   • XSTest : Le benchmark le plus volatil ; les six ordonnancements possibles des trois modèles sont accessibles au sein de l'enveloppe complète. Même dans un « niveau de base » (excluant le niveau de stress CoT et le décodage diversifié), 5 des 6 ordonnancements restent accessibles.
   • TruthfulQA : Présente le taux de désaccord par paires le plus élevé ($\rho_{flip} \approx 47,9\%$ sur l'enveloppe complète, $\approx 40,7\%$ sur le niveau de base).
   • BBQ et ToxiGen : Présentent également une instabilité significative, avec des valeurs de $\rho_{flip}$ d'environ 43,8 % et 35,4 % respectivement.
3. Dominance de l'implémentation vs du modèle : La partition de la variance révèle que les effets principaux d'implémentation expliquent autant ou plus de variance agrégée que l'identité du modèle sur trois des quatre benchmarks à format libre (BBQ, ToxiGen, XSTest). Seul TruthfulQA est dominé par le modèle. Les effets d'interaction sont importants (41–54 %), suggérant que la partition est une direction qualitative plutôt qu'un ratio précis.
4. Sensibilité du chemin de notation : Le passage de l'analyse par regex libre à la notation par argmax de logprob produit des scores matériellement différents (jusqu'à 22,7 points de pourcentage sur BBQ et 21,7 sur TruthfulQA dans l'étude inter-packages), confirmant que différents chemins de notation mesurent des objets candidats non équivalents.
5. Non-équivalence inter-packages : L'exécution de la même configuration nominale sur trois packages d'évaluation différents produit des écarts de scores allant jusqu'à 22,7 points de pourcentage. Cela est attribué à une non-équivalence d'implémentation (objets candidats différents, boilerplate de prompts et mappages de vérité terrain) plutôt qu'à un effet de package unidimensionnel.

Contributions

1. Métrique : L'introduction du taux de désaccord par paires contrôlable par l'opérateur ($\rho_{flip}$), une métrique conditionnelle à la configuration qui quantifie l'existence de renversements de rang stricts au sein d'une enveloppe dérivée de la pratique.
2. Données : Une grille d'évaluation de 612 cellules publiable couvrant 15 paires (modèle, benchmark) avec des règles de configuration estampillées par commit.
3. Preuve : Une étude de cas démontrant la non-équivalence des implémentations sur trois packages d'évaluation majeurs, montrant que la divulgation d'une configuration est insuffisante pour la reproductibilité des scores entre différents environnements d'évaluation.
4. Outils : Un modèle de divulgation de niveau recherche (carte GRID) pour enregistrer les configurations d'environnement d'évaluation parallèlement aux scores, reconnaissant que bien qu'il améliore la transparence, il ne résout pas le problème des demandeurs manipulant les voisinages de configuration.
5. Vérifications de robustesse : Analyse d'un sous-enveloppe conservateur de base (4 configurations) et d'une sonde d'échelle inter-familles (7B vs 32B/34B) qui écarte les confusions liées à une seule famille, mais ne revendique pas une loi d'échelle générale.

Signification et revendications
L'article affirme qu'un classement de score de benchmark plaçant le modèle A au-dessus du modèle B est une propriété de la paire (modèle, environnement d'évaluation), et non des modèles seuls. Les auteurs affirment que sans la divulgation à la fois du modèle et de la configuration spécifique de l'environnement d'évaluation, de tels classements ne peuvent être reproduits.

La signification réside dans la fermeture d'une « boucle théorie-benchmark » en fournissant un test en une ligne (Proposition 1) pour déterminer si un classement par paires est exempt de renversement strict sur une grille de configuration donnée. Les auteurs soulignent que leurs résultats sont bornés : ils ne prétendent pas avoir mesuré la « reproductibilité de l'évaluation des LLM » en tant que population, ni prétendent avoir résolu la reproductibilité. Au contraire, ils démontrent que, au sein d'une enveloppe délibérément bornée et dérivée de la pratique (matériel grand public, tailles de modèles spécifiques, sous-ensembles d'éléments fixes), le primitif « ordre strict » échoue à identifier une vérité stable. L'article conclut que certifier quels classements publiés sont identifiés ne nécessite ni nouvelle théorie ni nouveau calcul, mais plutôt l'application de ce test conditionnel à la configuration.