🤖 machine learning

CELEUS: Certifiable and Efficient LLM Evaluation via E-Processes

Cet article introduit CELEUS, un cadre qui exploite les processus-E pour fournir des intervalles de confiance certifiables et valides à tout instant pour l'évaluation des LLM, tout en réduisant considérablement le nombre d'échantillons requis grâce à l'échantillonnage guidé par l'incertitude et aux approximations assistées par substitut.

Auteurs originaux : Zhijian Zhou, Zesheng Ye, Zhaorun Chen, Bo Li, Feng Liu

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhijian Zhou, Zesheng Ye, Zhaorun Chen, Bo Li, Feng Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un bocal géant contenant 100 000 billes. Certaines sont rouges (représentant une erreur commise par l'IA), et d'autres sont bleues (représentant une réponse correcte). Vous voulez connaître le pourcentage exact de billes rouges dans tout le bocal pour décider si l'IA est assez bonne pour être utilisée dans le monde réel.

Le problème ? Vérifier chaque bille est lent, coûteux et nécessite parfois l'intervention d'un humain pour les examiner. Si vous vous contentez de prendre une poignée au hasard et de deviner, vous pourriez avoir de la chance ou de la malchance, et vous ne saurez pas à quel point votre estimation est proche de la vérité.

Ce document présente CELEUS, une méthode intelligente et mathématiquement garantie pour déterminer ce pourcentage rapidement et en toute sécurité.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : « Stop ou Encore » vs « Continuer de vérifier »

Traditionnellement, pour être sûr de votre réponse, vous pourriez vérifier un nombre fixe de billes (disons 1 000) et vous arrêter là. Mais qu'en est-il si les 1 000 premières étaient toutes bleues ? Vous penseriez que le bocal est parfait, mais vous avez peut-être simplement eu de la chance.

Certaines méthodes plus récentes tentent de vérifier les billes une par une et de s'arrêter dès qu'elles sont « assez sûres ». Cependant, le document soutient que ces méthodes ont un défaut : si vous continuez à vérifier vos progrès et que vous décidez de vous arrêter en fonction de ce que vous voyez en ce moment même, vous pourriez accidentellement vous tromper en pensant être plus certain que vous ne l'êtes réellement. C'est comme un joueur qui change constamment de stratégie de pari en fonction de ses dernières victoires ; il finit par penser qu'il possède un système « garanti », alors qu'il a simplement de la chance.

CELEUS corrige cela. Il fournit une garantie « certifiable ». Peu importe le moment où vous décidez de vous arrêter, les mathématiques garantissent que votre réponse se situe dans une plage spécifique de la vérité (comme dire : « Nous sommes sûrs à 95 % que le nombre de billes rouges se situe entre 10 % et 12 % »).

2. La Recette Secrète : La « Boule de Cristal » (Les Substituts)

Vérifier une bille est coûteux (comme demander à un humain de corriger une dissertation). CELEUS utilise une astuce pour économiser de l'argent.

Imaginez que vous avez une Boule de Cristal (appelée « modèle substitut » ou surrogate model). C'est une IA plus petite et moins coûteuse qui examine une bille et devine si elle est rouge ou bleue.

Le revers de la médaille : La Boule de Cristal n'est pas parfaite. Parfois, elle se trompe.
La stratégie de CELEUS : Au lieu de vérifier chaque bille avec l'humain coûteux, CELEUS demande d'abord à la Boule de Cristal de deviner pour toutes les billes.
- Si la Boule de Cristal est très confiante et cohérente, CELEUS lui fait confiance et ne prend pas la peine de vérifier cette bille avec l'humain.
- Si la Boule de Cristal est confuse ou si sa supposition semble risquée, CELEUS dit : « Hé, je dois vérifier celle-ci avec l'humain pour en être sûr. »

C'est ce qu'on appelle l'Approximation Assistée par Substitut (Surrogate-Assisted Approximation). Cela permet au système de sauter les vérifications coûteuses sur les billes faciles et de se concentrer uniquement sur les plus délicates.

3. Le « Détective de l'Incertitude » (L'Échantillonnage)

CELEUS ne choisit pas les billes au hasard. Il agit comme un détective à la recherche des indices les plus déroutants.

Il utilise l'Échantillonnage Guidé par l'Incertitude (Uncertainty-Guided Sampling). Si la Boule de Cristal dit qu'une bille est « Rouge » mais que les mathématiques suggèrent qu'elle pourrait en réalité être « Bleue » (un grand désaccord), CELEUS donne la priorité à la vérification de cette bille spécifique avec l'humain. Il ignore les billes où tout le monde est d'accord. C'est comme un professeur corrigeant une pile de copies : il passe le plus de temps sur les dissertations difficiles à noter, et non sur celles qui sont évidemment parfaites ou évidemment médiocres.

4. Le « Grand Livre Magique » (Les E-Processes)

Comment CELEUS sait-il qu'il n'a pas triché en regardant les suppositions de la Boule de Cristal ?

Il utilise un outil mathématique appelé E-Process. Considérez cela comme un grand livre magique ou un « compteur de loyauté ».

Chaque fois que CELEUS vérifie une bille, il met à jour le grand livre.
Le grand livre est conçu de telle sorte que si le système ment ou triche (en s'arrêtant trop tôt ou en utilisant de mauvais calculs), le « compteur de loyauté » sifflera l'alerte et affichera un drapeau rouge.
Parce que le grand livre est construit ainsi, le système peut mettre à jour son intervalle de confiance de manière continue sans jamais enfreindre les règles. C'est comme un juge qui peut interrompre un procès à tout moment, regarder les preuves rassemblées jusqu'à présent et dire : « Nous avons assez d'éléments pour être sûrs à 95 % », sans que le procès ne devienne jamais injuste.

Les Résultats : Plus Rapide et Moins Cher

Le document a testé cela sur de vrais modèles d'IA (comme Llama et DeepSeek) en utilisant des tests standards (comme l'analyse de sentiment et les questions de culture générale).

L'affirmation : CELEUS a atteint le même niveau de certitude que les anciennes méthodes, mais en utilisant 54 % à 62 % de vérifications humaines en moins.
L'analogie : Si une ancienne méthode nécessitait de demander à un humain de corriger 10 000 dissertations pour être sûr, CELEUS n'en a eu besoin que d'environ 4 000, car il a utilisé la « Boule de Cristal » pour gérer le reste.
La Garantie : Même s'il a vérifié moins de dissertations, le document prouve mathématiquement que le score final est fiable et ne « cassera » pas simplement parce qu'ils ont décidé de s'arrêter plus tôt.

Résumé

CELEUS est une nouvelle façon de tester l'IA qui :

Économise de l'argent en utilisant une « Boule de Cristal » (substitut) peu coûteuse pour deviner les réponses pour la plupart des éléments.
Concentre l'effort en ne demandant aux humains de vérifier que les éléments où la Boule de Cristal est confuse.
Garantit la sécurité en utilisant un « Grand Livre » mathématique spécial (E-Process) qui assure que les résultats sont précis, peu importe le moment où l'on décide d'arrêter les vérifications.

Cela permet aux chercheurs de dire : « Nous sommes statistiquement sûrs que cette IA est bonne », sans avoir à perdre du temps et de l'argent à vérifier chaque exemple.

Résumé Technique : CELEUS

Problématique

L'évaluation des modèles de langage de grande taille (LLM) repose de plus en plus sur le curage séquentiel d'échantillons pour estimer les mesures de performance. Cependant, les pratiques d'évaluation standard font face à un écart critique entre la rigueur théorique et l'application pratique. Les méthodes existantes qui mettent à jour les intervalles de confiance (IC) de manière séquentielle échouent souvent à être valides à tout instant (anytime-valid). Cela signifie que lorsqu'un évaluateur met à jour les IC de manière répétée et les utilise pour décider quand s'arrêter (par exemple, lorsque la largeur de l'intervalle atteint une précision cible), la probabilité de couverture revendiquée (par exemple, 95 %) peut échouer en raison du « double comptage » (double dipping) : utiliser les mêmes données à la fois pour sélectionner la stratégie d'évaluation et pour quantifier l'incertitude. De plus, la simple collecte de plus d'échantillons ne certifie pas que l'estimation est suffisamment précise pour la prise de décision, laissant ainsi sans critère d'arrêt statistiquement fondé.

Les approches actuelles comme Cer-Eval tentent de remédier à cela via un partitionnement adaptatif, mais reposent sur des hypothèses de partitions fixes qui ne tiennent pas lorsque les partitions sont apprises de manière adaptative à partir des données, entraînant une perte potentielle de couverture. De plus, l'évaluation efficace est entravée par le coût élevé de l'obtention de labels de vérité de terrain ou de jugements humains, nécessitant des stratégies qui minimisent le nombre d'échantillons évalués tout en maintenant la validité statistique.

Méthodologie

Le papier propose CELEUS (Certifiable and Efficient LLM Evaluation via E-Processes), un cadre qui comble l'écart entre les garanties théoriques et l'efficacité pratique en exploitant les E-processes.

Cadre Fondamental

Intervalles de Confiance Valides à Tout Instant : CELEUS construit des IC en utilisant des E-processes, qui fournissent des garanties valables à tout instant d'arrêt. Contrairement aux méthodes traditionnelles, les E-processes reposent uniquement sur l'hypothèse que les scores d'évaluation sont bornés (assuré via la normalisation ou le tronquage), ce qui les rend robustes aux règles d'arrêt adaptatives.
Procédure Séquentielle : La méthode opère sur un ensemble de données fini $D_N$ . À chaque tour $t$ , elle sélectionne un échantillon non évalué, observe son risque réel et met à jour l'IC. Le processus s'arrête lorsque la largeur de l'IC atteint une précision cible $\epsilon$ .

Composants Techniques Clés

Pour assurer l'efficacité et la validité sous un échantillonnage non uniforme, CELEUS construit des signaux inférentiels en utilisant deux ingrédients principaux :

Échantillonnage Guidé par l'Incertitude : Au lieu d'un échantillonnage aléatoire uniforme, CELEUS donne la priorité aux échantillons qui sont censés réduire la variance de l'estimation. La probabilité d'échantillonnage $q_t$ est conçue pour être proportionnelle à l'ampleur de la divergence entre le risque observé et un score de substitution. Cela s'aligne sur la règle d'échantillonnage optimale en termes de variance dérivée théoriquement.
Approximations Assistées par Substitution : Pour les échantillons non évalués, CELEUS utilise les scores d'un modèle de substitution plus petit (par exemple, un modèle de 7–8B) pour approximer le risque réel. Cela permet au cadre d'extraire des informations de l'ensemble du pool sans évaluer chaque échantillon avec le modèle cible.

Construction du Signal

Le cadre construit un signal par tour $\hat{S}_t$ qui est conditionnellement non biaisé pour le risque du pool fini $R_N$ . Le signal combine :

Une estimation complétée par substitution du risque du pool (utilisant les risques observés pour les échantillons évalués et les scores de substitution pour le reste).
Une correction par pondération inverse de la probabilité pour le résidu du nouvel échantillon évalué (la différence entre son risque réel et son score de substitution).

Cette non-biaissabilité conditionnelle est le mécanisme central permettant la construction de E-processes valides. Le cadre élève ensuite l'IC du risque du pool fini $R_N$ vers le risque de la population $R$ en utilisant une correction de type Hoeffding, qui dépend de la taille totale du pool $N$ .

Garanties Théoriques

Couverture Valide à Tout Instant : Les IC résultants couvrent le risque réel de la population avec une probabilité d'au moins $1-\alpha$ à tout instant d'arrêt.
Taux de Rétrécissement : La largeur des IC se réduit à un taux quasi-paramétrique de $O(\sqrt{\log t \log \log t / t})$ , à des facteurs logarithmiques près.
Réduction de la Variance : Le papier prouve que l'échantillonnage guidé par l'incertitude et l'assistance par substitution proposés réduisent la variance conditionnelle des signaux, accélérant directement le rétrécissement des intervalles de confiance.

Contributions Clés

Combler l'Écart entre Rigueur et Pratique : CELEUS fournit le premier cadre d'évaluation de LLM qui est à la fois statistiquement rigoureux (valide à tout instant) et pratiquement efficace, résolvant les échecs de couverture des méthodes adaptatives existantes comme Cer-Eval.
Nouvelle Construction de Signal : Le papier introduit un signal conditionnellement non biaisé qui intègre les approximations assistées par substitution avec la pondération inverse de la probabilité, permettant une construction de E-process valide sous un échantillonnage non uniforme et adaptatif.
Analyse Théorique : Les auteurs fournissent des preuves pour la non-biaissabilité de l'estimateur, la validité des IC valides à tout instant, et les propriétés de variance optimale de leur stratégie d'échantillonnage. Ils caractérisent le taux de convergence de la largeur de l'IC.
Validation Empirique : Des expériences approfondies démontrent que CELEUS atteint la précision cible avec 54 à 62 % d'échantillons évalués en moins que les bases de référence (telles que l'échantillonnage uniforme avec des E-processes) tout en préservant la couverture nominale. L'utilisation de petits modèles de substitution (7–8 milliards de paramètres) sans ajustement spécifique à la tâche améliore davantage l'efficacité de 10 à 23 % par rapport à la variante sans substitution.

Résultats

Les expériences ont été menées sur trois benchmarks (SST-2, AG News, MMLU) avec divers modèles cibles (par exemple, Llama-3-70B, DeepSeek-67B, Mixtral-8×7B) et des paires cible-substitution.

Couverture : Dans les contextes de diagnostic où Cer-Eval a échoué à maintenir la couverture (taux de sous-couverture de 16,1 % contre un nominal de 5 %), CELEUS et d'autres méthodes basées sur les E-processes ont maintenu des taux de sous-couverture inférieurs au niveau nominal (0,021–0,030).
Efficacité : CELEUS a atteint la précision cible ( $\epsilon=0,05$ ) avec nettement moins de labels. Par exemple, sur MMLU, il a nécessité 3 242 échantillons contre 8 144 pour la base de référence (EVALUE), soit une réduction de 60 %.
Impact de la Substitution : La variante assistée par substitution a systématiquement surpassé la version sans substitution, démontrant que l'exploitation de modèles plus petits pré-entraînés réduit efficacement la variance du signal d'estimation.

Signification et Revendications

Le papier affirme que CELEUS offre un critère statistiquement fondé pour décider quand suffisamment d'échantillons ont été évalués, allant au-delà des simples estimations ponctuelles pour proposer des intervalles de confiance certifiés. En assurant la validité à tout instant, il permet aux évaluateurs de surveiller la progression et de s'arrêter tôt sans gonfler les taux d'erreur de type I.

Les auteurs soulignent que leur méthode est particulièrement précieuse dans les scénarios où l'évaluation repose sur une annotation humaine coûteuse ou des juges LLM puissants, car elle réduit considérablement le nombre de ces évaluations requises. Ils notent que bien que la méthode traite l'incertitude statistique de l'évaluation, elle ne résout pas les autres risques de déploiement (par exemple, la sécurité, le biais) et ne garantit pas non plus que le benchmark lui-même est représentatif des conditions réelles. Le coût computationnel de la notation par substitution est reconnu mais jugé négligeable par rapport aux économies réalisées sur le nombre d'évaluations du modèle cible.

Les travaux futurs suggérés par les auteurs incluent l'extension du cadre à des scénarios d'évaluation sensibles aux changements de distribution.