Résumé Technique : CapBencher

Problématique

La publication de benchmarks pour les grands modèles de langage (LLM), en particulier la divulgation des réponses de référence (ground-truth), pose un risque significatif de contamination des données et de surapprentissage (overfitting) des ensembles de test. Lorsque les benchmarks sont publics, les modèles peuvent être entraînés involontairement sur ceux-ci, ou les développeurs peuvent intentionnellement « manipuler » les classements en interrogeant de manière itérative des serveurs d'évaluation privés pour surapprendre leurs modèles. Bien que le maintien de la confidentialité des benchmarks via un protocole de type « soumission et évaluation » soit une atténuation courante, cela ne permet pas d'empêcher le surapprentissage par requêtes répétées (leaderboard hacking) et n'offre pas de méthode robuste pour détecter si un modèle a déjà rencontré les données de test. Les méthodes de détection existantes nécessitent souvent l'accès aux internes du modèle (probabilités de log) ou à du texte spécifique au benchmark (chaînes de caractères « canary »), ce qui les rend inadaptées aux modèles « boîte noire » ou aux scénarios où le texte du benchmark lui-même doit rester caché.

Méthodologie : CapBencher

Les auteurs proposent CapBencher, un protocole de publication de benchmarks qui occulte les réponses de référence tout en préservant la capacité d'évaluer et de classer les modèles. Le mécanisme central consiste à réduire intentionnellement la précision de Bayes (la précision théorique maximale atteignable par une règle de décision optimale) du benchmark.

Mécanisme Central

Au lieu de révéler une réponse unique correcte, CapBencher prépare un ensemble de plusieurs réponses logiquement correctes, $F(x)$, pour chaque question $x$. Le benchmark sélectionne ensuite une réponse réalisée $Y' \in F(x)$ pour servir de solution.

• Stratégie d'obscurcissement : La véritable réponse est cachée. Par exemple, dans une tâche de réponse directe telle que « Combien font 3 fois 6 ? », l'instruction pourrait être : « Ajoutez ou soustrayez aléatoirement 1 à votre solution. » La vraie réponse est 18, mais la réponse réalisée $Y'$ est choisie aléatoirement parmi $\{17, 19\}$. Si toutes les questions sont randomisées de cette manière, la précision de Bayes tombe à 50 %.
• Stratégie de divulgation autorisée : Dans les cas où la révélation de la vraie réponse est acceptable (par exemple, pour maintenir un classement privé), la méthode injecte tout de même du hasard pour rendre la contamination détectable. Par exemple, en ajoutant un mot aléatoire (ex. : « pomme » ou « orange ») à la réponse correcte.

Détection Statistique

La réduction de la précision de Bayes crée un « plafond » statistique. Si la performance d'un modèle sur le benchmark plafonné dépasse significativement ce plafond, cela constitue un signal fort de contamination des données (mémorisation des réponses randomisées spécifiques).

• Test Binomial : Les auteurs proposent d'utiliser un test binomial unilatéral pour déterminer si la précision observée est statistiquement plus élevée que la précision de Bayes $\alpha$ connue. L'hypothèse nulle suppose que la performance du modèle est égale ou inférieure à $\alpha$.
• Estimation Non Biaisée : Malgré le bruit introduit par la randomisation, l'article dérive un estimateur non biaisé pour reconstruire le score de précision original à partir du score plafonné, permettant ainsi le suivi de la progression des modèles. La relation entre les scores plafonnés et originaux est démontrée comme étant une application affine croissante sous certaines hypothèses (décalages uniformes, indépendance et permutations aléatoires des options).

Contributions Clés

1. Nouveau Protocole de Benchmark : Une méthode pour publier des benchmarks qui occulte les réponses de référence en plafonnant la précision de Bayes, empêchant ainsi les modèles d'obtenir des scores parfaits même s'ils résolvent le problème sous-jacent.
2. Alarme de Contamination Intégrée : Un cadre statistique (utilisant des tests binomiaux) qui détecte le surapprentissage des ensembles de test et la fuite de données sans nécessiter l'accès aux internes du modèle ou au texte original du benchmark.
3. Garanties Théoriques : L'article fournit des preuves théoriques montrant que :
   • Le score plafonné est une transformation affine du score original, préservant le classement des modèles.
   • Un estimateur non biaisé existe pour reconstruire la précision originale.
   • Le test binomial est le test le plus puissant (UMP) pour détecter la contamination dans ce contexte.
4. Validation Empirique : Expérimentations étendues sur divers benchmarks (MMLU, GSM8K, GPQA, HumanEval, etc.), familles de modèles (Llama, Qwen, DeepSeek) et méthodologies d'entraînement (pré-entraînement, pré-entraînement continu, fusion de modèles).

Résultats

• Suivi de la Progression : CapBencher suit avec succès l'amélioration des LLM. La corrélation entre la précision plafonnée et l'original est élevée (Kendall's $\tau \approx 0,92$ à travers les benchmarks), démontant que la méthode n'obscurcit pas le progrès des modèles.
• Détection de la Contamination : La méthode détecte de manière fiable la contamination des données. Dans les expériences où les modèles ont été soumis à un pré-entraînement continu sur des données de benchmark plafonnées, leur précision a systématiquement dépassé le plafond de la précision de Bayes (ex. : 50 %), déclenchant l'alarme du test binomial.
• Robustesse :
  • Contamination Profonde : La méthode détecte la contamination même lorsque les modèles sont entraînés sur des versions reformulées ou traduites des données (contamination translingue), bien que la détection soit plus difficile lorsque le raisonnement nécessite une langue autre que celle d'entraînement.
  • Rétro-ingénierie : Les expériences ont montré que même avec accès à la réponse randomisée et à la règle de randomisation, les modèles peinent à rétro-concevoir de manière fiable la vérité de terrain originale. Dans de nombreux cas, les modèles ne parviennent pas à suivre l'instruction de randomisation ou ne peuvent pas déduire la réponse originale, suggérant que l'indice « faible » laissé par la méthode est insuffisant pour des attaques sophistiquées.
  • Comparaison avec les Baselines : CapBencher a surpassé les méthodes de pointe comme Min-k% et les chaînes de caractères « canary ». Contrairement à Min-k%, il ne nécessite pas les logits du modèle (fonctionnant avec des modèles boîte noire) et ne repose pas sur des approximations asymptotiques. Contrairement aux chaînes « canary », il est résilient au retrait de chaînes spécifiques.

Signification et Revendications

L'article positionne CapBencher comme une étape vers une évaluation des LLM plus durable et fiable. En réduisant la précision de Bayes, les créateurs de benchmarks peuvent publier des questions tout en transformant toute performance statistiquement significative au-dessus du plafond en un « signal boîte noire » de fuite.

Les auteurs affirment que cette approche :

• Préserve l'Intégrité de l'Évaluation : Elle permet une évaluation ouverte des LLM sans divulguer entièrement les réponses de référence.
• Détecte le Surapprentissage : Elle fournit une méthode statistique fondée sur le principe pour détecter le surapprentissage des ensembles de test et la manipulation de classements, même dans des contextes d'évaluation privés où des requêtes répétées sont effectuées.
• Est Indépendante du Modèle : Elle fonctionne avec des modèles boîte noire et ne nécessite pas l'accès aux états internes du modèle.

L'article reconnaît des limites, notant que la méthode repose sur l'hypothèse que les modèles ne parviendront pas à rétro-concevoir parfaitement les réponses randomisées. Bien que les modèles de pointe actuels n'aient pas pu exploiter de manière fiable le signal laissé, les auteurs notent que de futurs modèles plus puissants pourraient y parvenir, suggérant des travaux futurs sur des stratégies d'obscurcissement plus fortes et des extensions cryptographiques (ex. : preuves à divulgation nulle de connaissance / zero-knowledge proofs). La méthode introduit également un compromis : une précision de Bayes plus faible (plafonds plus serrés) facilite la détection de la contamination mais augmente la variance de l'estimateur de précision, ce qui peut rendre plus difficile la distinction entre des modèles très similaires.