💬 NLP

Don't Pass@k: A Bayesian Framework for Large Language Model Evaluation

Ce papier propose un cadre d'évaluation bayésien qui remplace la métrique Pass@k par des estimations de probabilité de succès a posteriori et des intervalles de crédibilité, offrant ainsi des classements plus stables et une quantification explicite de l'incertitude pour les grands modèles de langage, même avec un nombre limité d'échantillons.

Auteurs originaux : Mohsen Hariri, Amirhossein Samandar, Michael Hinczewski, Vipin Chaudhary

Publié 2026-03-20

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Mohsen Hariri, Amirhossein Samandar, Michael Hinczewski, Vipin Chaudhary

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un juge dans un concours de cuisine très prestigieux. Vous avez 20 chefs (les modèles d'IA) et vous devez les classer du meilleur au moins bon. Pour cela, vous leur donnez 30 défis culinaires (des problèmes de mathématiques).

Le Problème : La méthode "Pass@k" (Le tir à l'aveugle)

Actuellement, pour évaluer ces chefs, on utilise une méthode appelée Pass@k.
C'est un peu comme si vous demandiez à chaque chef de préparer le même plat k fois (par exemple 4 fois). Si le plat est réussi au moins une fois sur les 4 tentatives, vous dites : "Bravo, ce chef a réussi le défi !"

Le souci ? C'est très instable.

Si un chef a de la chance et réussit son plat dès le premier essai, il est classé très haut.
Si un autre chef, pourtant meilleur, a juste eu un jour de "poulet" (ou un bug informatique) et rate ses 4 premières tentatives, il est classé très bas.
Pour obtenir un classement fiable, il faudrait que chaque chef cuisine des centaines de fois. Mais cela coûte une fortune en électricité et en temps (ressources de calcul).

C'est comme essayer de deviner si une pièce de monnaie est truquée en la lançant seulement 3 fois. Le résultat peut être totalement faux à cause du hasard.

La Solution : L'approche Bayésienne (Le détective statistique)

Les auteurs de ce papier proposent une nouvelle méthode, qu'ils appellent Bayes@N. Au lieu de simplement compter les "succès" ou les "échecs", ils utilisent les mathématiques pour faire de la déduction.

Voici comment ça marche avec une analogie :

1. La boule de cristal et la certitude (Les intervalles de crédibilité)

Imaginez que chaque chef a un niveau de compétence réel, mais invisible.

L'ancienne méthode vous dit : "Ce chef a réussi 3 plats sur 4, donc il est le meilleur." (C'est un chiffre brut).
La nouvelle méthode vous dit : "Ce chef a réussi 3 plats sur 4, mais avec cette petite quantité d'essais, nous sommes à 95 % sûrs que son vrai niveau se situe entre 'très bon' et 'excellent'."

C'est comme si le juge disait : "Je ne peux pas encore déclarer un gagnant car la marge d'erreur est trop grande." Cela évite de faire des classements qui changent à chaque fois qu'on ajoute un seul essai.

2. La recette de la probabilité (Le prior)

La méthode bayésienne permet d'utiliser ce que l'on sait déjà.

Si vous évaluez une nouvelle version d'un modèle (un "chef" qui a suivi une formation supplémentaire), vous pouvez utiliser les résultats de l'ancienne version comme point de départ.
C'est comme si vous saviez déjà que ce chef est très doué pour les gâteaux. Même s'il rate un gâteau sur ses 3 premiers essais, vous ne le punissez pas trop sévèrement car vous savez qu'il a de l'expérience. Vous avez besoin de moins d'essais pour confirmer qu'il est bon.

3. Au-delà du "Gagné/Perdu" (L'évaluation catégorielle)

L'ancienne méthode ne regarde que si le plat est bon ou mauvais (0 ou 1).
La nouvelle méthode regarde toutes les nuances :

Le plat était bon mais mal présenté ?
Le plat était mauvais mais le chef a essayé de l'expliquer ?
Le chef a refusé de cuisiner ?

C'est comme un jury de cuisine qui note non seulement le goût, mais aussi la présentation, la créativité et l'hygiène. Cela donne une image beaucoup plus riche et juste de la performance.

Les Résultats Concrets

En testant cette méthode sur des problèmes de mathématiques difficiles (comme les concours AIME ou HMMT), les auteurs ont découvert que :

On va plus vite : Avec la nouvelle méthode, on obtient un classement stable avec beaucoup moins d'essais (moins de "cuissons" coûteuses).
On évite les erreurs : On ne déclare plus de gagnants quand la différence est trop petite pour être certaine. On dit simplement : "Ils sont à égalité pour l'instant, il faut plus de données."
C'est plus juste : Cela permet de distinguer les vrais talents des "chanceux" beaucoup plus tôt.

En résumé

Ce papier dit : "Arrêtons de compter les points comme des enfants et commençons à raisonner comme des scientifiques."

Au lieu de se fier à un score brut qui change tout le temps à cause du hasard, utilisons les statistiques pour dire : "Voici notre meilleure estimation de la compétence, et voici à quel point nous sommes sûrs de ce chiffre." Cela permet d'économiser de l'argent, du temps et d'avoir un classement des intelligences artificielles beaucoup plus fiable.

1. Problématique

L'évaluation des modèles de langage (LLM), en particulier pour les tâches de raisonnement (mathématiques, code), repose actuellement sur des métriques comme Pass@k (la probabilité qu'au moins une réponse parmi $k$ échantillons soit correcte) ou la précision moyenne sur $N$ essais (avg@N).

Ces méthodes présentent des défauts majeurs :

Instabilité des classements : Avec un nombre limité d'essais (coûteux en calcul), les classements des modèles fluctuent considérablement.
Manque de quantification de l'incertitude : Pass@k ne fournit pas d'intervalles de confiance fiables, rendant difficile la distinction entre un écart de performance réel et du bruit statistique.
Inefficacité computationnelle : Pour obtenir des classements stables, il faut souvent un nombre d'essais $N$ très élevé, ce qui est prohibitif.
Binarisation excessive : La plupart des métriques réduisent la performance à un binaire (0/1), ignorant les nuances comme les erreurs de formatage, les refus ou les réponses partiellement correctes.

2. Méthodologie : Le Cadre Bayésien (Bayes@N)

Les auteurs proposent un cadre d'évaluation bayésien unifié qui remplace les estimations ponctuelles par des estimations a posteriori de la probabilité de succès sous-jacente d'un modèle.

A. Modélisation Catégorielle

Au lieu de traiter les résultats comme binaires, le cadre modélise les résultats de chaque question comme une variable catégorielle avec $C+1$ catégories (ex: correct, partiellement correct, erreur de formatage, refus).

Les résultats sont organisés dans une matrice $R$ de taille $M \times N$ (M questions, N essais).
Une distribution de Dirichlet est utilisée comme loi a priori conjuguée sur les vecteurs de probabilité $\pi_\alpha$ pour chaque question.

B. Estimateur et Incertitude

Le cadre calcule deux quantités clés de manière analytique (sans simulation de Monte Carlo coûteuse) :

La moyenne a posteriori ( $\mu$ ) : Une estimation optimale de la performance pondérée selon une règle de notation (rubric) définie par un vecteur de poids $w$ .
L'incertitude ( $\sigma^2$ ) : La variance de cette estimation, fournissant des intervalles de crédibilité (Credible Intervals - CI).

Algorithmes clés :

Bayes@N : Utilise un a priori uniforme (ou non uniforme si des données historiques sont disponibles) pour calculer $\mu$ et $\sigma$ via des formules en forme close.
Équivalence théorique : Sous un a priori uniforme, le classement basé sur $\mu$ (Bayes@N) est équivalent à l'ordre du classement basé sur la précision moyenne (avg@N). Cependant, Bayes@N ajoute une quantification d'incertitude rigoureuse que avg@N ne possède pas naturellement.

C. Décision et Convergence

Règle de décision : Deux modèles ne sont pas considérés comme différents de manière statistiquement significative si leurs intervalles de crédibilité se chevauchent. Cela réduit le "churn" (changement fréquent) des classements.
Utilisation de l'a priori : Le cadre permet d'intégrer des données de pré-évaluation (via une matrice $R_0$ ) pour accélérer la convergence, utile pour les versions mises à jour de modèles ou les tâches similaires.

3. Contributions Clés

Cadre d'évaluation bayésien unifié : Unification des évaluations binaires et graduelles (rubriques pondérées) avec des expressions en forme close pour la moyenne et l'incertitude.
Protocole efficace en calcul : Une méthode simple pour reporter les moyennes a posteriori avec des intervalles de crédibilité, permettant d'arrêter les essais dès que les intervalles atteignent une largeur souhaitée ou ne se chevauchent plus.
Preuve empirique de convergence : Démonstration que la méthode bayésienne converge vers le classement "vérité terrain" (gold standard) avec beaucoup moins d'essais que Pass@k et ses variantes (Pass^k, G-Pass@k, etc.).
Outil logiciel (Scorio) : Publication d'un package Python open-source implémentant ce cadre.

4. Résultats Expérimentaux

Les auteurs ont validé leur approche sur des simulations (pièces biaisées) et sur des benchmarks réels de raisonnement mathématique (AIME'24/25, HMMT'25, BrUMO'25) avec 11 à 20 modèles.

Convergence plus rapide : Sur les benchmarks mathématiques, Bayes@N atteint une corrélation de Kendall ( $\tau$ $τ$ ) élevée avec le classement de référence (basé sur 80 essais) beaucoup plus tôt que Pass@k.
- Exemple : Sur HMMT'25, Bayes@N converge en moyenne à ~44 essais, contre ~69 pour les meilleures variantes de Pass@k.
- Sur AIME'25, les méthodes Pass@k échouent souvent à converger même avec 80 essais, tandis que Bayes@N le fait.
Stabilité des classements : L'introduction des intervalles de crédibilité révèle que de nombreuses différences de classement observées avec des méthodes ponctuelles sont statistiquement non significatives (les intervalles se chevauchent).
Évaluation Catégorielle : La méthode permet de créer des classements sensibles aux rubriques (ex: pénaliser les réponses "confiantes mais fausses", récompenser le formatage). Les résultats montrent que le choix de la rubrique affecte les modèles du milieu du classement, mais que les extrêmes restent stables.
Impact du nombre de modèles : Lorsque le nombre de modèles comparés augmente (de 11 à 20), les méthodes traditionnelles (avg@N, Pass@k) deviennent extrêmement instables et ne convergent souvent pas dans les limites de budget de calcul, alors que l'approche bayésienne avec intervalles de crédibilité reste applicable.

5. Signification et Impact

Cet article propose un changement de paradigme fondamental dans l'évaluation des LLM :

Fin de la dépendance à Pass@k : Il démontre que Pass@k est intrinsèquement instable et inefficace pour les ressources limitées, et propose une alternative théoriquement fondée.
Transparence et rigueur : En rendant l'incertitude explicite via des intervalles de crédibilité, les chercheurs peuvent éviter de déclarer des "victoires" basées sur du bruit statistique.
Efficacité des ressources : En permettant des comparaisons fiables avec beaucoup moins d'essais (réduisant le coût GPU), cette méthode est cruciale pour l'évaluation à grande échelle des modèles de plus en plus complexes.
Flexibilité : Le cadre s'adapte naturellement aux évaluations subjectives ou complexes (sécurité, alignement) via des schémas catégoriels, au-delà de la simple exactitude binaire.

En résumé, "Don't Pass@k" recommande de remplacer les métriques de succès ponctuelles par un protocole bayésien qui quantifie l'incertitude, unifie les types d'évaluation et offre une convergence plus rapide et plus fiable pour le classement des modèles.