Efficient Sequential Evaluation of Large Language Models

Énoncé du Problème
L'article traite du défi consistant à évaluer efficacement un nouveau Grand Modèle de Langage (LLM) sur un benchmark fixe composé de $N$ questions. L'objectif est d'estimer le taux de correction moyen (capacité) du modèle avec une incertitude acceptable tout en minimisant le nombre de requêtes (questions répondues). Contraなる aux intervalles de confiance classiques à temps fixe, les auteurs visent à construire une Séquence de Confiance (SC) — une séquence d'ensembles de confiance qui maintient une couverture valide de manière uniforme dans le temps (valide à tout moment). Cela permet à l'évaluateur d'arrêter les requêtes dès que l'estimation est suffisamment précise, en adaptant le temps d'arrêt à la force des preuves. Le cadre exploite les données de performance historiques de LLM précédents sur le même benchmark pour prédire la probabilité qu'un nouveau modèle réponde correctement à chaque question, guidant ainsi une stratégie de requête active et adaptative.

Méthodologie
Les auteurs proposent un cadre qui conçoit conjointement une règle de requête adaptative et une construction de SC basée sur des supermartingales de test.

1. Construction de la SC via des supermartingales de test :
   Les auteurs inversent une famille de supermartingales de test pour former la SC. Pour une valeur candidate $m$ (un taux de correction moyen potentiel), une supermartingale de test accumule des preuves contre $m$ si $m \neq \theta^*$ (la moyenne réelle). La SC à l'instant $t$ consiste en toutes les valeurs $m$ dont les valeurs de supermartingale n'ont pas franchi un seuil de rejet ($1/\alpha$).
   Deux constructions spécifiques pour les supermartingales de test sont étudiées :

   • Projection d'Information Inverse (RIPr) : Cette approche identifie la distribution la plus « défavorable » au sein de la classe nulle (distributions ayant une moyenne $m$) qui est la plus proche de la distribution réelle en divergence de Kullback-Leibler (KL). Le rapport de vraisemblance entre la distribution réelle et cette projection sert d'e-valeur. Dans un cadre oracle (où les probabilités de correction réelles sont connues), cette méthode est démontrée comme étant optimale pour la croissance.
   • Test par Pari (Testing-by-Betting) : Cette approche cadre le problème comme un jeu de pari où un pari est placé sur un estimateur du paramètre cible. Le processus de richesse croît si le candidat $m$ est incorrect. Les auteurs proposent une variante plus légère sur le plan computationnel utilisant une borne inférieure quadratique sur la croissance du logarithme de la richesse.

2. Règles de Requête Actives :
   Pour réduire rapidement la largeur de la SC, les auteurs conçoivent des règles de requête qui maximisent l'espérance du logarithme de l'incrément (critère de Kelly) de la supermartingale de test.

   • Cadre Oracle : En supposant les probabilités réelles connues, ils proposent un critère maxmin orienté vers la croissance. Cette règle sélectionne la distribution de requête qui maximise l'espérance du pire cas de l'incrément logarithmique d'une étape sur les extrémités actuelles de la SC (les bornes inférieure et supérieure de l'intervalle).
   • Cadre Pratique : Puisque les probabilités réelles sont inconnues, les auteurs utilisent des prédictions dérivées d'un modèle de facteurs bayésien ajusté sur des données historiques. Ils remplacent les paramètres réels par ces prédictions (approche par substitution ou plug-in) dans la construction de l'e-valeur et dans la règle de requête.

3. Stratégies de Requête par Mélange :
   Reconnaissant qu'une requête purement orientée vers la croissance peut être sensible aux erreurs de prédiction et à la « pointe » (faible probabilité minimale) de la distribution de requête, les auteurs proposent des règles de requête par mélange. Celles-ci combinent :

   • L'échantillonnage orienté vers la croissance (pour rétrécir la SC).
   • Le raffinement de la prédiction (pour améliorer la précision des prédictions par substitution).
   • L'exploration uniforme (pour garantir une borne inférieure sur les probabilités de requête et atténuer la pointe).
     Ces mélanges peuvent être programmés dans le temps ou dépendants des données (en adaptant les poids en fonction de l'incertitude et de la stabilité de la prédiction).

Contributions Clés

• Optimalité Oracle : Dans un cadre oracle, les auteurs démontrent que la construction basée sur la RIPr atteint l'optimalité de croissance oracle parmi les e-valeurs conditionnelles valides. Ils montrent également que pour l'approche de test par pari, une règle d'échantillonnage spécifique orientée vers la croissance coïncide avec la règle d'échantillonnage de réduction de la variance issue de travaux antérieurs.
• Analyse Théorique du Rétrécissement : L'article analyse le comportement de rétrécissement des SC résultantes dans le cadre pratique (par substitution). Il identifie deux facteurs clés qui ralentissent le rétrécissement de la SC :
  1. Écart de Prédiction Accumulé : Quantifié par un terme de divergence KL pour la RIPr et un terme d'erreur quadratique moyenne (MSE) pour le test par pari. L'analyse suggère que la RIPr est plus sensible au décalage de prédiction que l'approche par pari.
  2. Pointe de la Distribution de Requête : Une borne inférieure faible sur les probabilités de requête ($h$) entrave considérablement la croissance de la SC basée sur le pari en restreignant la plage de pari valide, tandis que la RIPr est moins directement affectée par cette contrainte spécifique.
• Résultats Empiriques : À travers des expériences sur des ensembles de données synthétiques avec des régimes de capacité variables (ex: modèles similaires aux données historiques vs modèles hors famille), les auteurs constatent que :
  • Il n'existe pas de règle de requête universellement meilleure ; la performance dépend de la structure de l'ensemble de données et de la qualité des prédictions.
  • L'approche de test par pari est généralement plus robuste au décalage de prédiction que la RIPr.
  • De manière surprenante, la règle la plus simple, l'échantillonnage uniforme, est souvent compétitive face à des règles adaptatives plus complexes, particulièrement lorsque le raffinement de la prédiction est difficile ou que le modèle est significativement différent des données historiques.

Signification et Revendications
L'article prétend fournir une méthode fondée sur des principes pour l'évaluation séquentielle de LLM avec des garanties d'incertitude valides à tout moment. En exploitant les données historiques, il vise à réduire le coût de l'évaluation (nombre de requêtes) tout en maintenant une validité statistique rigoureuse.

Les auteurs présentent modestement leurs bornes théoriques comme étant « diagnostiques » plutôt que des caractérisations précises de conceptions optimales, notant qu'elles capturent les effets du décalage de prédiction et des probabilités de requête minimales mais peuvent ne pas refléter pleinement les propriétés plus fines des règles d'échantillonnage. Ils soulignent que leur travail met en évidence les compromis entre la requête orientée vers la croissance, le raffinement de la prédiction et l'exploration uniforme. L'observation selon laquelle l'échantillonnage uniforme peut surpasser les règles adaptatives dans certains régimes suggère que la complexité de la requête adaptative ne produit pas toujours des bénéfices proportionnels, une conclusion qui remet en question l'hypothèse selon laquelle l'adaptativité est toujours supérieure dans ce contexte.

Le travail se positionne comme un pendant séquentiel de travaux antérieurs sur l'inférence assistée par prédiction (prediction-powered inference), étendant la portée à la requête active à partir d'un benchmark fixe plutôt qu'à un échantillonnage passif à partir d'un flux. Des travaux futurs sont suggérés, notamment le développement de règles de requête plus efficaces (potentiellement via l'apprentissage par renforcement) et l'exploration de méthodes de prédiction alternatives au-delà du modèle de facteurs bayésien.