Who Drifted: the System or the Judge? Anytime-Valid Attribution in LLM Evaluation Pipelines

Résumé Technique : Qui a dérivé ? L'attribution valide à tout instant dans les pipelines d'évaluation de LLM

1. Le Problème

L'évaluation continue des produits basés sur les modèles de langage (LLM) repose de plus en plus sur des pipelines de type « LLM-as-judge » (le LLM comme juge), où un modèle puissant score les interactions pour déclencher des alertes en cas de dégradation des performances. L'hypothèse fondamentale de ces systèmes est que le juge agit comme une règle de mesure fixe ; ainsi, une baisse des scores implique une régression du produit. Cependant, le juge lui-même est un modèle basé sur une API, sujet à des mises à jour silencieuses de version, des changements de prompts ou des évolutions de politiques.

Lorsqu'un système de surveillance déclenche une alarme, il fait face à une ambiguïté : la qualité du produit s'est-elle dégradée, ou le comportement de notation du juge a-t-il changé ? Agir sur une mauvaise attribution est coûteux : les équipes peuvent revenir en arrière sur un produit sain ou déployer une régression en rejetant l'alarme comme étant une « dérive du juge ». Les méthodes statistiques classiques, telles que les tests z glissants, échouent dans ce contexte de surveillance continue car elles manquent de validité à tout instant (anytime-validity) ; réexécuter un test à $\alpha$ fixe à chaque étape gonfle le taux de fausses alarmes, entraînant des détections spéculatives sur des flux sans dérive.

2. Méthodologie

Le papier propose un cadre pour démêler la dérive du système de la dérive du juge en utilisant des e-processus valides à tout instant et une règle d'attribution ancrée sur l'humain.

A. Le Moniteur Principal Budgétisé (Détection de la Dérive du Système)
Le système utilise un moniteur stratifié basé sur la prédiction de puissance (suivant Csillag et al., 2025b ; Angelopoulos et al., 2023) pour détecter les régressions de qualité :

• Architecture : Un juge peu coûteux ($\mu$) score chaque élément, tandis qu'un juge fort et coûteux ($y$) score un sous-ensemble échantillonné sous un budget fixe.
• Mécanisme : Pour chaque cellule (rubrique $\times$ strate), un e-processus de prédiction de puissance accumule de la « richesse » pour tester l'hypothèse nulle selon laquelle la moyenne des scores n'est pas tombée en dessous d'une base saine.
• Efficacité des coûts : Le système utilise un déclencheur d'escalade de richesse de l'e-processus. À mesure que les preuves de dérive s'accumulent, la probabilité d'échantillonnage pour le juge fort augmente. Cela permet au système de détecter des régressions localisées dans des zones d'ombre à environ un tiers du coût d'une évaluation complète, tout en maintenant la validité à tout instant (garantissant que le taux de fausses alarmes reste borné à tout moment d'arrêt).

B. La Construction de l'Ancre (Détection de la Dérive du Juge)
Pour résoudre l'ambiguïté d'attribution, les auteurs introduisent un second e-processus indépendant, ancré à des étiquettes humaines fixes :

• Ensemble d'Ancre ($A$) : Une collection fixe d'éléments avec des étiquettes humaines gelées ($h$), extraite avant le début de la surveillance.
• Entrelacement : À un rythme constant (par exemple, tous les $1/\rho$ éléments), le juge fort actuel re-score un élément de l'ancre sélectionné aléatoirement.
• L'E-Processus : Un e-processus de pari suit l'écart entre le score actuel du juge sur l'ancre et l'étiquette humaine gelée.
• Asymétrie : Comme les éléments de l'ancre et les étiquettes humaines sont fixes, seul un changement de juge peut modifier la distribution de l'écart. La dérive du système affecte les éléments entrants mais laisse l'écart de l'ancre inchangé. Cela crée un « miroir sans tain » qui détecte exclusivement la dérive du juge.

C. La Règle d'Attribution (Fenêtre de Garde)
Le système combine les temps d'arrêt du processus principal ($\tau_{sys}$) et du processus d'ancre ($\tau_{anc}$) en utilisant une fenêtre de garde ($W$) pour émettre un verdict dans $\{aucun, système, juge\}$ :

• Verdict Juge : Si le processus d'ancre se déclenche en premier ($\tau_{anc} < \infty$) et que le processus principal se déclenche dans la fenêtre de garde ($\tau_{sys} \le \tau_{anc} + W$), le verdict est juge. La logique est qu'un juge contaminé invalide l'alarme principale.
• Verdict Système : Si le processus principal se déclenche en premier et que le processus d'ancre ne se déclenche pas dans la fenêtre de garde, le verdict est système.
• Condition de Course : La conception repose sur une « course d'attribution ». Pour éviter une mauvaise attribution, le processus d'ancre doit être provisionné pour détecter la dérive du juge plus rapidement que le processus principal contaminé ne peut déclencher une fausse alarme de système.

3. Contributions Clés

1. Construction de l'Ancre et Règle d'Attribution : Une méthode novatrice utilisant un e-processus ancré sur l'humain et valide à tout instant pour séparer explicitement la dérive du juge de la dérive du système, émettant un verdict à trois états plutôt qu'une alarme binaire.
2. Garanties Théoriques :
   • Validité à tout instant : La famille d'ancres maintient un taux de fausses alarmes borné ($\alpha_{judge}$) à tout moment d'arrêt dépendant des données.
   • Identification par un sens unique : Le processus d'ancre est mathématiquement garanti d'être insensible à la dérive du système ; il ne peut être déclenché que par un changement du juge.
   • Course d'Attribution : Le papier établit une loi de conception où le processus d'ancre doit « surclasser » le processus principal. La mauvaise attribution (fausses alarmes système lors d'une dérive du juge) est une fonction de la largeur de la fenêtre de garde, du taux de l'ancre et de la taille de l'ensemble d'ancre.
   • Orthogonalité : Le budget de l'ancre et la configuration du processus principal sont indépendants, permettant un réglage séparé de la latence du juge et de la puissance du système.
3. Validation Empirique sur des Dérives Réelles : La méthode a été testée sur deux changements réels de juge (une mise à jour de version silencieuse et une mise à jour de politique de prompt stricte) sur deux domaines (HelpSteer2 et résumé TL;DR) sans réajustement.
4. Supériorité Opérationnelle : L'e-processus proposé surpasse significativement les bases classiques (tests z glissants naïfs et détecteurs Page–Hinkley calibrés) en termes de contrôle des fausses alarmes et de détection de dérives subtiles.

4. Résultats

• Précision de Détection :
  • Mise à jour de version silencieuse : Détectée comme dérive du juge dans 60/60 exécutions avec zéro erreur d'attribution du juge vers le système.
  • Changement de Prompt Stricte : Correctement attribuée dans 110/120 exécutions (avec une fenêtre de garde $W=300$) sur HelpSteer2. Sur le domaine TL;DR, où le changement de prompt était plus sévère, l'attribution était parfaite (240/240).
  • Mauvaise Attribution : Le taux de fausses alarmes système lors d'une dérive du juge a diminué de manière monotone à mesure que la fenêtre de garde ($W$) augmentait, confirmant la théorie de la « course d'attribution ».
• Comparaison avec les Baselines :
  • Un test z glissant naïf (standard de l'industrie) a généré des fausses alarmes sur 75 % des flux sans dérive.
  • Un détecteur Page–Hinkley calibré a respecté son budget de fausses alarmes mais a échoué à détecter la subtile mise à jour de version (seulement 8 % de détection sur HelpSteer2) et nécessitait des données de calibration externes.
• Efficacité des Coûts : Le moniteur fonctionne à environ 0,64 du coût d'une évaluation forte pour chaque élément (ou 0,21 dans un régime « moins cher mais moins sensible »), tout en maintenant des garanties de détection valides.

5. Signification et Revendications

Le papier prétend résoudre un mode de défaillance critique et non adressé dans les opérations de LLM : l'incapacité à distinguer la dégradation du produit de l'instabilité du juge dans la surveillance continue.

• Impact Pratique : La construction fournit une garantie nette que la dérive du juge n'est jamais imputée au système au-delà d'un budget d'erreur défini ($\alpha_{judge}$). Cela évite aux équipes de prendre des décisions opérationnelles coûteuses et incorrectes (par exemple, effectuer des retours en arrière sur des modèles sains).
• Contribution Théorique : Il démontre que la validité à tout instant n'est pas seulement une élégance théorique mais une nécessité pratique pour la surveillance continue, car les méthodes à horizon fixe standard échouent de manière catastrophique lors de tests séquentiels.
• Loi de Conception : Le papier établit que l'attribution est une course. Il fournit une recette concrète de « co-provisionnement » : le budget de l'ancre doit être dimensionné pour garantir que le processus d'ancre détecte la dérive du juge plus rapidement que le processus principal contaminé ne peut déclencher une fausse alarme système.
• Limites : Les auteurs notent modestement que la méthode suppose que les étiquettes humaines restent une référence valide (nécessitant des rafraîchissements périodiques si les standards évoluent) et qu'elle ne prétend pas à l'optimalité dans les stratégies de pari ou la minimisation de la mauvaise attribution à budget fixe, mais plutôt à la validité et à l'identification.

En résumé, le papier présente un cadre robuste et sensible aux coûts qui transforme l'alarme de dérive ambiguë en une attribution vérifiable, garantissant que la « règle de mesure » est surveillée aussi rigoureusement que le « produit » qu'elle mesure.