Industrializing Prediction-Powered Inference: The GLIDE Library for Reliable GenAI and Agentic Systems Evaluation

Résumé Technique : Industrialiser l'Inférence par Prédiction avec GLIDE

Énoncé du Problème
L'évaluation fiable des systèmes agentiques (par exemple, le support à la décision clinique, le conseil financier) fait face à un compromis fondamental. L'annotation humaine complète fournit une vérité terrain non biaisée et fiable, mais elle est excessivement lente et coûteuse, en particulier pour les trajectoires multi-étapes. À l'inverse, l'utilisation de Grands Modèles de Langage (LLM) comme juges est rapide et peu coûteuse, mais introduit un biais significatif, notamment dans les tâches exigeant des connaissances approfondies ou spécifiques à un domaine. La littérature existante sur l'Inférence par Prédiction (PPI — un cadre combinant un petit ensemble d'étiquettes humaines avec un grand ensemble de prédictions par procuration pour produire des estimations non biaisées avec des intervalles de confiance valides) a progressé rapidement. Cependant, ces méthodes (incluant PPI++, Stratified PPI, Predict-Then-Debias et Active Statistical Inference) restent dispersées dans des articles académiques aux notations hétérogènes et aux implémentations partielles. Les praticiens manquent d'un outil unifié pour appliquer ces méthodes à l'évaluation agentique, où l'asymétrie des coûts est extrême, où la stratification naturelle existe et où une quantification de l'incertitude valide est critique pour le déploiement.

Méthodologie : Le Cadre GLIDE
Les auteurs introduisent GLIDE (Generated Label Inference and Debiasing Engine), une bibliothèque Python open-source conçue pour unifier les estimateurs et les échantillonneurs de pointe de la PPI sous une API de style scipy spécialisée pour l'estimation de la moyenne. Le cadre décompose l'évaluation en trois étapes séquentielles :

1. Échantillonnage : GLIDE implémente quatre stratégies d'échantillonnage distinctes pour sélectionner un sous-ensemble de trajectoires pour l'annotation humaine à partir d'un ensemble plus large de données étiquetées par procuration :

   • UniformSampler : Échantillonnage aléatoire standard (ligne de base).
   • StratifiedSampler : Répartit les échantillons entre des strates définies par l'utilisateur (ex: type de requête, outils utilisés) en utilisant une allocation proportionnelle ou de Neyman pour gérer l'hétérogénéité de la qualité de la procuration.
   • ActiveSampler : Échantillonne en fonction de l'incertitude de la procuration par échantillon (ex: confiance verbalisée), concentrant l'effort humain là où la procuration est la moins fiable.
   • CostOptimalSampler : Optimise les probabilités d'échantillonnage en fonction des ratios de coût connus entre la procuration et l'annotation, minimisant ainsi le coût total d'évaluation.

2. Annotation : Des experts du domaine fournissent les étiquettes de vérité terrain pour le sous-ensemble sélectionné. GLIDE traite cela comme une étape externe et spécifique à la tâche, ne nécessitant qu'une sortie lisible par machine.

3. Estimation : La bibliothèque combine les étiquettes humaines et les prédictions par procuration pour produire une estimation ponctuelle débiaisée et un intervalle de confiance. Elle implémente plusieurs estimateurs adaptés à différents régimes statistiques :

   • PPI++ & Stratified PPI++ : Utilisent le réglage de puissance (power tuning) pour minimiser la variance asymptotique, garantissant une performance non pire que l'estimateur classique basé uniquement sur les étiquettes.
   • Predict-Then-Debias (PTD) & Stratified PTD : Fournissent des intervalles de confiance basés sur le bootstrap, spécifiquement conçus pour les régimes à petits échantillons où l'approximation par le Théorème Central Limite (TCL) se dégrade.
   • Active Statistical Inference (ASI) : Utilise la pondération par l'inverse de la propension (IPW) pour débiaiser les échantillons prélevés via l'échantillonnage actif.
   • Baselines Classiques : Incluent les moyennes d'échantillons standards (avec et sans stratification) pour servir de références pour les calculs de taille d'échantillon effective.

Un arbre de décision guide les utilisateurs dans le choix de l'échantillonneur et de l'estimateur appropriés en fonction de la disponibilité des estimations de coût, des signaux d'incertitude de la procuration, des strates naturelles et du nombre d'étiquettes humaines disponibles (spécifiquement, si $n \ge 50$ pour les méthodes basées sur le TCL).

Contributions Clés

1. Bibliothèque Unifiée : GLIDE est la première bibliothèque qui intègre une suite complète d'estimateurs PPI (PPI++, Stratified PPI, PTD, ASI) et d'échantillonneurs (uniforme, stratifié, actif, coût-optimal) sous une API unique et cohérente.
2. Suite de Validation Reproductible : Le package inclut une suite de validation par Monte Carlo qui vérifie empiriquement trois propriétés pour tous les estimateurs : (i) la couverture empirique correspond au niveau nominal à travers diverses qualités de procuration, (ii) les intervalles ne sont pas plus larges que la ligne de base classique (étiquettes seules), et (iii) la taille d'échantillon effective croît avec la corrélation entre la procuration et la vérité terrain.
3. Étude de Cas d'Évaluation Agentique : Les auteurs démontrent l'utilité de la bibliothèque sur le benchmark R-Judge (568 trajectoires agentiques). Ils montrent que GLIDE atteint une précision équivalente à l'échantillonnage classique avec nettement moins d'annotations humaines. Spécifiquement, combiner 100 étiquettes humaines avec des signaux de procuration a produit des tailles d'échantillon effectives de ~143–157 (un gain de 1,4x–1,5x) par rapport à l'utilisation de 100 étiquettes humaines seules, tout en maintenant une couverture valide malgré un biais d'environ 13 % du proxy LLM-as-judge.

Résultats
La validation empirique confirme que les méthodes PPI dans GLIDE fournissent une validité inconditionnelle vis-à-vis de la procuration : même avec un proxy biaisé ou faiblement corrélé, les intervalles de confiance résultants restent valides (bien que potentiellement plus larges). La "Taille d'Échantillon Effective" ($n_{eff}$) sert de métrique principale de retour sur investissement, quantifiant combien d'échantillons entièrement étiquetés par l'humain un estimateur PPI est statistiquement équivalent. Dans l'étude de cas R-Judge, les protocoles d'échantillonnage stratifié et actif ont réduit la largeur des intervalles de confiance de 16 % à 20 % par rapport à l'échantillonnage uniforme avec le même budget humain. L'étude souligne que si l'échantillonnage actif est compétitif, la stratification sur des axes sémantiquement significatifs (comme les domaines d'application) peut produire des gains comparables avec un coût d'ingénierie nul.

Signification et Revendications
L'article positionne GLIDE comme un pont pratique entre les avancées théoriques de la PPI et l'application industrielle. Sa revendication principale est que l'investissement dans un LLM-as-judge de meilleure qualité se traduit directement par un budget d'annotation effective plus large. Les auteurs soulignent qu'un meilleur proxy n'est pas un substitut à l'annotation humaine, mais un multiplicateur de celle-ci. En fournissant une interface unifiée, validée et facile à utiliser, GLIDE permet aux praticiens de dépasser le choix binaire entre l'évaluation "humaine seule, coûteuse" ou "proxy seul, biaisé", facilitant le déploiement de pipelines d'évaluation auditables et statistiquement rigoureux pour les systèmes d'IA à enjeux importants. La bibliothèque limite explicitement son champ d'application à l'estimation de la moyenne (couvrant la précision, les taux de toxicité, etc.), laissant l'estimation de M-plus large et l'estimation de quantiles à la bibliothèque fondamentale ppi_py.