Résumé technique : Évaluation efficace des performances des LLM avec garanties statistiques

Énoncé du problème

La prolifération rapide des grands modèles de langage (LLM), avec des centaines de milliers de variantes disponibles sur des plateformes comme HuggingFace, a créé un goulot d'étranglement dans l'évaluation. Tester exhaustivement les modèles candidats sur de grandes suites de benchmarks curatés (par exemple, MMLU-Pro avec 12 000 questions) est prohibitivement coûteux en termes de coûts d'API, de temps d'exécution et d'annotation par des experts. Bien que les organisations s'appuient souvent sur des jugements basés sur des « impressions » (« vibes ») sur des sous-ensembles ad hoc, cela manque de rigueur statistique.

L'article présente ce défi comme un problème d'inférence sur population finie. Étant donné une banque fixe de $N_q$ questions et un nouveau modèle, l'objectif est d'estimer la précision du modèle $\theta$ (la proportion de réponses correctes sur l'ensemble de la banque) en utilisant un budget de requêtes limité $n_b$. La contrainte critique est que l'intervalle de confiance (IC) résultant doit maintenir une couverture fréquentiste valide (par exemple, 95 % du temps, le vrai $\theta$ se situe dans l'intervalle rapporté). Cette garantie est essentielle pour une sélection et une surveillance fiables des modèles, en particulier lorsque des stratégies d'évaluation adaptatives pourraient autrement invalider les hypothèses i.i.d. standard.

Méthodologie : Interrogation active factorisée (FAQ)

Les auteurs proposent l'Interrogation active factorisée (FAQ), une méthode qui combine des données historiques avec un échantillonnage adaptatif pour construire des IC serrés avec une couverture valide. FAQ se compose de trois composants principaux :

1. Modèle factoriel bayésien pour l'information historique

Pour exploiter les données de performance historiques (une matrice de résultats modèle-question provenant de modèles antérieurs), FAQ emploie un modèle factoriel probabiliste.

• Facteurs latents : Chaque modèle historique $i$ se voit attribuer un facteur latent $u_i \in \mathbb{R}^k$, et chaque question $j$ se voit attribuer un facteur latent $v_j \in \mathbb{R}^k$.
• Vraisemblance : La probabilité d'une réponse correcte est modélisée via une fonction de liaison logistique : $P(H_{ij}=1) = \sigma(u_i^\top v_j)$.
• Rôle : Ce modèle est utilisé uniquement pour guider la sélection adaptative des requêtes et fournir des prédictions initiales. Il n'est pas utilisé pour dériver les intervalles de confiance finaux, garantissant ainsi que la validité de la méthode ne dépend pas de la spécification parfaite du modèle factoriel.
• Déploiement : Pour un nouveau modèle, son facteur latent $u$ est initialisé à partir de la moyenne empirique et de la covariance des facteurs des modèles historiques. Au fur et à mesure que le modèle est interrogé, $u$ est mis à jour en ligne en utilisant des approximations de Laplace.

2. Estimateur d'inférence proactive (PAI)

Pour garantir une couverture fréquentiste valide sans dépendre de la fidélité du modèle factoriel, FAQ utilise l'inférence proactive (PAI), une extension de l'inférence statistique active à la population finie.

• Mécanisme : Contrairement à l'inférence active séquentielle, qui traite les questions dans un « ordre naturel » fixe et décide de les étiqueter ou de les sauter, PAI sélectionne de manière proactive la prochaine question à interroger dans l'ensemble de la banque en fonction des informations actuelles.
• Estimateur : L'estimateur $\hat{\theta}_{n_b}$ est un estimateur non biaisé pondéré par l'inverse de la probabilité :
  $$\hat{\theta}_{n_b} = \frac{1}{n_b} \sum_{t=1}^{n_b} \phi_t, \quad \text{où } \phi_t = \frac{1}{N_q} \sum_{j=1}^{N_q} \hat{p}^{(t-1)}_j + \frac{1}{N_q} \frac{z_{I_t} - \hat{p}^{(t-1)}_{I_t}}{q_t(I_t)}$$
  Ici, $\hat{p}^{(t-1)}_j$ est la probabilité prédite par le modèle factoriel, $z_{I_t}$ est l'étiquette observée, et $q_t(I_t)$ est la probabilité de sélectionner la question $I_t$.
• Garantie théorique : Sous de légères conditions de régularité, les auteurs prouvent via un théorème central limite (TCL) de martingale que $\hat{\theta}_{n_b}$ est non biaisé et asymptotiquement normal, permettant la construction d'IC valides : $[\hat{\theta}_{n_b} \pm z_{1-\alpha/2} \frac{\hat{\sigma}_{n_b}}{\sqrt{n_b}}]$.

3. Politique d'échantillonnage hybride

Pour minimiser la largeur de l'IC, FAQ emploie une politique d'échantillonnage hybride variant dans le temps $q_t(\cdot)$ qui équilibre l'exploitation (réduction de la variance) et l'exploration (apprentissage du facteur latent du nouveau modèle).

• Réduction de variance par oracle : Inspirée d'un cadre d'oracle, les questions avec des probabilités prédites proches de 0,5 (forte incertitude) sont surpondérées pour réduire la variance.
• Apprentissage actif : Les questions susceptibles de réduire au maximum la variance a posteriori du facteur latent $u$ du modèle sont surpondérées pour améliorer les prédictions futures.
• Mélange : La politique combine ces scores avec un exposant de tempérage et un terme de mélange uniforme $\tau$ pour garantir que toutes les questions conservent une probabilité de sélection non nulle, satisfaisant ainsi les conditions de régularité requises pour le TCL.

Contributions clés

1. Cadre : Introduction de FAQ, une méthode de benchmarking des LLM qui atteint une couverture fréquentiste valide sous des budgets fixes tout en exploitant les données historiques.
2. Inférence proactive : Une extension novatrice de l'inférence active permettant une sélection directe et adaptative des questions à partir d'une banque finie, plutôt qu'un traitement séquentiel de flux, tout en préservant la validité statistique.
3. Efficacité : La méthode offre jusqu'à 5× de gains de taille d'échantillon effective (ESS) par rapport à l'échantillonnage uniforme et des gains de 1,8 à 2,4× par rapport à des bases de comparaison solides (y compris des variantes d'inférence active sélectionnées a posteriori). Cela se traduit par une largeur d'IC équivalente à celle de l'échantillonnage uniforme tout en utilisant jusqu'à 5 fois moins de requêtes.
4. Robustesse : La méthode maintient une couverture valide même en présence d'une absence significative de données historiques (par exemple, seulement 0,1 % des entrées historiques observées) et dans des scénarios de démarrage à froid où l'historique de la suite cible est indisponible (en utilisant un transfert inter-suites).

Résultats expérimentaux

Les auteurs ont évalué FAQ sur deux suites de benchmarks : MMLU-Pro (12 000 questions) et une suite composite (BBH+GPQA+IFEval+MATH+MuSR, 9 500 questions) en utilisant 2 200 modèles de test et 100 graines aléatoires par modèle.

• Historique entièrement observé : FAQ a atteint un ESS 4 à 5 fois supérieur à l'échantillonnage uniforme et 1,8 à 2,4 fois supérieur à la base de comparaison post-hoc la plus forte. La couverture empirique est restée proche de l'objectif de 95 %.
• Historique épars : Même avec seulement 12 à 42 % des données historiques observées, FAQ a largement surpassé les bases de comparaison. Avec seulement 0,1 % observé, elle a conservé un avantage ESS cohérent, bien que les performances aient légèrement diminué à des budgets très élevés en raison d'estimations factorielles bruyantes.
• Transfert de démarrage à froid : Dans un cadre sans historique de la suite cible, FAQ (initialisée via un transfert MMLU-Pro) a atteint jusqu'à 1,32× d'ESS par rapport à l'échantillonnage uniforme, surpassant les bases de comparaison ayant accès à 0,1 % d'historique de la suite cible sur 8 budgets sur 10.
• Stabilité de la couverture : La couverture était stable à travers les dates de publication des modèles et les niveaux de précision, indiquant aucune sous-couverture systématique pour des types de modèles spécifiques.
• Ablation : La comparaison de FAQ avec une ablation « traditionnelle » d'inférence active séquentielle (qui utilise le même modèle factoriel mais suit l'ordre naturel) a révélé que FAQ est supérieure dans le régime de faible budget (la cible principale pour les économies de coûts), tandis que la méthode séquentielle peut rattraper son retard à des budgets très élevés.

Signification et affirmations

L'article affirme que FAQ fournit un cadre statistiquement rigoureux pour la surveillance continue des LLM. En exploitant les données historiques accumulées et en ajoutant de nouveaux résultats, elle rend l'évaluation quantifiée par l'incertitude progressivement plus rentable. Les auteurs soulignent que cela est particulièrement précieux pour les organisations comparant régulièrement des variantes de modèles (par exemple, points de contrôle, affinages, modèles quantifiés) dans le cadre de budgets de requêtes ou d'adjudication limités.

La signification réside dans la capacité à réduire les coûts d'évaluation (crédits API, latence, temps d'experts) jusqu'à 5 fois sans sacrifier les garanties statistiques requises pour des décisions de déploiement à haut risque. La méthode est sans modèle concernant l'inférence finale, ce qui signifie que sa validité ne repose pas sur la correction du modèle factoriel sous-jacent, mais uniquement sur la régularité de la politique d'échantillonnage. Les auteurs publient leurs ensembles de données curatés (plus de 4 400 modèles, plus de 21 500 questions) et leur code source pour soutenir une évaluation reproductible.