🤖 AI

Proper Scoring Rules for Agentic Uncertainty Quantification

Cet article présente le Trajectory Proper Score (TPS), une règle de score strictement propre qui extrait rigoureusement la trace complète de la probabilité de succès conditionnée par le préfixe pour les agents de modèles de langage, en répondant aux limites des métriques existantes qui échouent à distinguer entre la performance de classement et la véracité probabiliste dans la quantification de l'incertitude des agents.

Auteurs originaux : Suresh Raghu, Satwik Pandey, Shashwat Pandey

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Suresh Raghu, Satwik Pandey, Shashwat Pandey

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous observez un agent robotique tenter de résoudre une énigme complexe, comme naviguer dans un labyrinthe ou répondre à une devinette piège. Alors que le robot travaille, il ne se contente pas de donner une réponse finale ; il parle à lui-même, effectue des mouvements, vérifie son travail et dit parfois : « Je pense que je vais réussir » ou « Je ne suis plus sûr ».

Pendant longtemps, les chercheurs ont tenté de noter ces robots sur la façon dont ils expriment cette incertitude. Mais cet article soutient que les systèmes de notation actuels sont comme juger un chef uniquement sur le fait qu'il a obtenu la bonne commande, sans goûter la nourriture pour voir s'il savait réellement à quel point elle était bonne.

Voici l'idée centrale de l'article, décomposée avec des analogies simples :

1. Le Problème : Juger le « Rang » vs la « Vérité »

Actuellement, la plupart des tests pour ces robots examinent le classement.

L'Analogie : Imaginez un enseignant notant les habitudes de travail d'un élève. L'enseignant regarde la note finale de l'examen. Si l'élève qui a le plus étudié obtient la meilleure note, l'enseignant dit : « Super ! La méthode d'étude fonctionne ! »
Le Défaut : L'enseignant ne se soucie pas de savoir si l'élève pensait avoir 99 % de chances de réussir alors qu'il n'en avait que 50 %. L'élève aurait pu être extrêmement confiant mais avoir simplement eu de la chance.
Le Point de l'Article : Les tests existants (comme AUROC ou Trajectory ECE) sont comme cet enseignant. Ils vérifient si la confiance du robot classe les bonnes réponses plus haut que les mauvaises. Mais ils ne vérifient pas si les chiffres spécifiques du robot (par exemple, « 80 % de chances ») correspondent réellement à la réalité. Un robot peut être un excellent « classeur » mais un terrible « diseur de vérité ».

2. La Solution : Le « Score Propre de Trajectoire » (TPS)

Les auteurs introduisent un nouveau système de notation appelé TPS.

L'Analogie : Au lieu de regarder uniquement l'examen final, le TPS est comme un entraîneur qui observe le robot étape par étape. Chaque fois que le robot fait un mouvement, l'entraîneur demande : « Vous avez dit qu'il y avait 70 % de chances de succès à partir de ce point. Était-ce honnête ? »
Fonctionnement : L'article utilise un outil mathématique appelé « Règle de Score Strictement Propre ». Imaginez cela comme un système de pénalités qui ne fonctionne que si vous dites la vérité.
- Si vous dites « 90 % » et que vous échouez, vous recevez une énorme pénalité.
- Si vous dites « 50 % » et que vous échouez, vous recevez une petite pénalité.
- La seule façon d'obtenir le meilleur score possible est de dire exactement quelles sont les vraies probabilités.
Le Résultat : Le TPS force le robot à être honnête sur ses chances à chaque étape unique du parcours, pas seulement à la fin.

3. Le Problème « Censuré » : Quand le Jeu S'arrête Tôt

Parfois, le robot manque de temps ou atteint une limite avant d'avoir terminé la tâche. Autrefois, les chercheurs jetaient simplement ces tentatives inachevées.

L'Analogie : Imaginez un coureur de marathon qui s'effondre à la 20e mile. Si vous ne comptez que les personnes qui ont terminé la course, vous manquez les données sur les coureurs qui ont eu des difficultés.
La Correction de l'Article : Les auteurs ont créé un moyen de noter équitablement ces courses « inachevées ». Ils utilisent une technique appelée « projection conditionnelle ».
- Version simple : Si le robot s'arrête tôt et que nous ne savons pas s'il aurait réussi, le système suppose le pire (il a échoué) pour être prudent.
- Version avancée : Si nous pouvons estimer les chances de succès s'il avait continué, le système utilise cette estimation pour noter équitablement la course inachevée.
Pourquoi cela compte : L'article a découvert que sur une tâche d'achat (WebShop), presque la moitié des tentatives ont été coupées court. Si vous les ignorez, vous obtenez une image faussée de la performance du robot. Lorsqu'ils ont inclus ces tentatives « coupées court », la note du robot a changé de manière significative.

4. La Grande Découverte : Le Recalibrage Change Tout

Les auteurs ont mené des expériences où ils ont pris les chiffres bruts de confiance d'un robot et les ont « recalibrés » (corrigés pour être plus honnêtes).

L'Analogie : Imaginez un météorologue qui dit toujours « 90 % de chances de pluie ». S'il pleut 90 % du temps, c'est un « bon classeur » (il prédit correctement les jours de pluie). Mais s'il dit « 90 % » alors qu'il n'y a en réalité que « 50 % » de chances, c'est un mauvais « diseur de vérité ».
Le Résultat : Lorsqu'ils ont corrigé les chiffres du robot pour les rendre plus honnêtes :
- Les anciens tests (classement) ont à peine remarqué un changement. Le robot continuait de « classer » les bonnes réponses le mieux.
- Le nouveau test (TPS) a vu une amélioration massive. Le robot disait maintenant la vérité sur ses chances.
Pourquoi c'est important : Si vous utilisez un robot pour décider d'appeler un humain à l'aide (un « transfert »), vous devez connaître la vraie probabilité, pas seulement le rang. Si le robot pense qu'il est sûr à 90 % mais qu'il n'est en réalité sûr qu'à 50 %, vous pourriez ne pas appeler à l'aide alors que vous le devriez.

Résumé

Cet article dit : Arrêtez de noter les robots uniquement sur qui ils pensent qui va gagner. Commencez à les noter sur le fait de savoir s'ils connaissent réellement les probabilités.

Ils ont construit un nouveau tableau de score (TPS) qui :

Vérifie la confiance du robot à chaque étape unique.
Récompense l'honnêteté plutôt que d'être simplement « chanceux » ou « classé haut ».
Peut gérer les situations où le robot manque de temps sans jeter les données.

Les expériences montrent que l'utilisation de ce nouveau tableau de score révèle de grosses erreurs dans la façon dont les robots expriment l'incertitude, erreurs que l'ancien tableau de score avait complètement manquées.

Résumé technique : Règles de score strictement propres pour la quantification de l'incertitude des agents

Énoncé du problème

Les agents de modèles de langage opèrent de plus en plus à travers des trajectoires étendues impliquant observation, raisonnement, utilisation d'outils et révision de plans. Dans ces contextes, l'incertitude n'est pas seulement une propriété de la réponse finale, mais un signal dynamique évoluant avec l'historique des interactions. Bien que les travaux récents aient basculé vers la génération de signaux d'incertitude au niveau de la trajectoire (par exemple, calibration pas à pas, incertitude propagée), l'évaluation de ces signaux reste défectueuse.

Les métriques d'évaluation existantes, telles que l'AUC-ROC, l'AUPRC, l'erreur d'étalonnage attendue de trajectoire (T-ECE) et les scores de Brier de trajectoire scalarisés, confondent l'utilité du classement avec la véracité probabiliste.

Les métriques basées sur le classement (AUC-ROC/AUPRC) mesurent la discrimination mais sont invariantes aux transformations monotones des probabilités, échouant à distinguer entre des probabilités bien étalonnées et des distorsions trop confiantes ou peu confiantes.
Les métriques d'étalonnage (T-ECE) mesurent l'étalonnage marginal par bin mais sont « aveugles à la résolution », récompensant des prévisions correctes en moyenne au sein des bins même si elles manquent de pouvoir discriminant à l'intérieur de ces bins.
Les scores propres scalarisés (par exemple, appliquer la perte de Brier à un résumé de trajectoire effondré) sont strictement propres uniquement pour le scalaire effondré, et non pour la trace complète de probabilité conditionnée au préfixe.

Le problème central est l'absence d'un évaluateur strictement propre pour le processus de probabilité de succès conditionné au préfixe ( $q_t = P_\pi(Y=1 | H_t)$ ). Sans un tel évaluateur, il est impossible d'extraire strictement des traces de probabilité véridiques des agents, ce qui est crucial pour les interventions en aval telles que la délégation, la réflexion ou le transfert à un humain, qui dépendent de l'échelle de probabilité plutôt que du simple classement.

Méthodologie

1. Le score propre de trajectoire (TPS)

Les auteurs introduisent le score propre de trajectoire (TPS), une famille indépendante du prédicteur de règles de score strictement propres pour l'incertitude au niveau de la trajectoire.

Définition : Le TPS agrège une règle de score binaire strictement propre ( $S_{\alpha,\beta}$ ) sur les étapes de la trajectoire, pondérée par un calendrier choisi par l'évaluateur ( $w_t$ ) :
$TPS(F_{1:T}, Y) = \sum_{t=1}^{T} w_t S_{\alpha,\beta}(F_t, Y)$
où $F_t$ est la probabilité rapportée par l'agent de succès éventuel étant donné l'historique $H_t$ , et $Y$ est le résultat terminal.
Propriété stricte : Les auteurs démontrent (Théorème 4.1) que si le score binaire sous-jacent est strictement propre et que les poids sont positifs, le TPS est strictement propre pour le processus complet conditionné au préfixe. Cela signifie que le score attendu est maximisé de manière unique lorsque l'agent rapporte la vraie probabilité conditionnelle $q_t$ à chaque étape.
Famille de scores : La méthode utilise la famille bêta de scores ( $S_{\alpha,\beta}$ ), dérivée de la construction de mélange de seuils de Schervish–Buja. Cette famille inclut le score logarithmique (cas limite), le score de Brier ( $\alpha=\beta=1$ ) et permet une mise en forme asymétrique des coûts via les paramètres $\alpha$ et $\beta$ .

2. Gestion des trajectoires censurées

Dans les benchmarks pratiques, les trajectoires sont souvent censurées administrativement (par exemple, atteindre un budget d'étapes) avant que le résultat $Y$ ne soit observé. L'article étend le TPS à ces cas via une projection conditionnelle :

Score réduit exact ( $TPS^{cen,exact}$ ) : En projetant le score des données complètes sur le préfixe observable, les auteurs dérivent un score censuré exact qui dépend de la probabilité de succès de continuation $q_Z = P_\pi(Y=1 | H_Z)$ au point d'arrêt. Ce score est strictement propre pour le préfixe observable.
Approximation censurée simple ( $TPS^{cen,simple}$ ) : Lorsque $q_Z$ n'est pas estimé, les auteurs proposent une approximation opérationnelle pessimiste fixant $q_Z \approx 0$ . Cela évalue efficacement le préfixe censuré comme si la branche d'échec s'était produite. Les auteurs démontrent que ceci est strictement propre pour une cible de pseudo-étiquette ( $m_t = P_\pi(\Delta=1, Y=1 | H_t)$ ), qui ne converge vers la cible vraie que si la masse de succès manquante est nulle.

3. Limites théoriques des métriques existantes

L'article démontre formellement (Théorèmes A et B) pourquoi les métriques courantes échouent à extraire la trace complète :

Le T-ECE est aveugle à la résolution ; une prévision constante égale à la moyenne du bin peut atteindre une erreur nulle même si elle rejette toute la variation intra-bin.
La perte de Brier/Logarithmique scalarisée appliquée à des traces agrégées (par exemple, $\Phi_{last}, \Phi_{avg}, \Phi_{min}$ ) n'extraient que le scalaire effondré, et non la trace. Pour des agrégateurs comme $\Phi_{avg}$ ou $\Phi_{min}$ , la trace véridique peut être strictement sous-optimale par rapport à une trace non véridique qui manipule l'agrégation pour correspondre au scalaire optimal.

Résultats clés

1. Écart d'invariance d'étalonnage

Les expériences sur Tau2-Bench révèlent une divergence significative entre les métriques basées sur le classement et les métriques de score propre.

Effet de recalibrage : Lorsque les signaux de confiance verbale ont été recalibrés à l'aide de l'échelle de Platt, l'AUC-ROC a changé de manière négligeable ( $\Delta/SE \approx 0,3$ ), tandis que le TPS (point final logarithmique) s'est amélioré considérablement ( $\Delta/SE \approx 43$ ).
Implication : Les métriques de classement n'ont pas détecté que le flux brut était gravement mal étalonné (saturé près de 0,9–1,0), alors que le TPS a correctement identifié l'erreur d'échelle de probabilité. Le flux recalibré dépassait à peine la référence du taux de base en TPS, malgré une performance de classement similaire.

2. Impact de la censure

Sur WebShop, où 47 % des trajectoires ont été censurées administrativement (atteinte des limites d'étapes), la population d'évaluation a changé de manière significative.

Biais de sélection : L'évaluation sur les seuls cas complets a écarté un sous-ensemble structurellement plus difficile de trajectoires (les trajectoires censurées étaient 3 fois plus longues).
Décalage de score : L'inclusion des trajectoires censurées via l'approximation censurée simple a déplacé le TPS moyen de +0,159 nats (IC à 95 % : [+0,133, +0,188]) par rapport à l'évaluation sur les seuls cas complets.
Sensibilité du prédicteur : Le décalage était positif pour les prédicteurs peu confiants mais négatif pour les prédicteurs trop confiants (par exemple, la probabilité du token de complétion), démontrant que le score sensible à la censure modifie le verdict en fonction du régime de confiance.

3. Validation des extensions censurées

Censure artificielle : Sur des trajectoires complètes de StrategyQA, Tau2-Bench et HotpotQA, les auteurs ont censuré artificiellement les résultats. La décomposition en forme fermée du score censuré correspondait à la différence calculée directement avec une précision numérique, validant la dérivation théorique.
Audit Monte Carlo : Sur HotpotQA, les auteurs ont estimé $q_Z$ via des simulations Monte Carlo. Le score réduit exact différait matériellement de l'approximation simple $q_Z \approx 0$ , confirmant que le choix de l'estimation de $q_Z$ impacte le score final.

Importance et affirmations

L'article prétend établir un cadre fondamental pour l'évaluation strictement propre de l'incertitude des agents. Son importance réside dans :

Séparer l'extraction du classement : Il démontre que les métriques de classement (AUC-ROC) et les métriques d'étalonnage (ECE) n'extraient pas strictement la trace de probabilité complète requise pour la prise de décision probabiliste.
Nécessité opérationnelle des scores propres : Les résultats empiriques montrent que le recalibrage des probabilités peut changer radicalement le verdict du TPS tout en laissant les métriques de classement inchangées. Cela implique que pour les applications reposant sur des seuils de probabilité (délégation, transfert), les pratiques d'évaluation actuelles peuvent être trompeuses.
Gestion des contraintes du monde réel : En étendant le score propre aux trajectoires censurées administrativement, l'article fournit une méthode pour évaluer les agents sur des benchmarks avec des budgets d'étapes sans rejeter les cas difficiles tronqués ou les étiqueter incorrectement.

Les auteurs maintiennent un périmètre modeste, notant que le cadre suppose une censure administrative non informative et vise des résultats terminaux binaires. Ils déclarent explicitement que le travail se concentre sur la propriété côté évaluateur des signaux d'incertitude, distincte des méthodes côté prédicteur utilisées pour les générer. Le cadre TPS est agnostique à la source du signal (confiance verbale, probabilités de tokens, etc.) tant qu'il est exprimé comme une probabilité de succès conditionnée au préfixe.