🤖 AI

Uncertainty Decomposition for Clarification Seeking in LLM Agents

Cet article aborde les limites des cadres d'incertitude classiques pour les agents LLM interactifs en proposant une décomposition basée sur le prompt qui sépare la confiance dans l'action de l'incertitude de la requête afin de permettre une recherche de clarification proactive, ce qui surpasse de manière significative les méthodes existantes sur des benchmarks présentant des tâches délibérément sous-spécifiées à travers plusieurs architectures de modèles.

Auteurs originaux : Gregory Matsnev

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gregory Matsnev

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagiez un assistant personnel très intelligent, mais légèrement trop sûr de lui, pour faire vos courses. Vous lui donnez une liste d'instructions, comme « Achète une chemise » ou « Pose la tasse sur le bureau ».

Parfois, vous oubliez de lui donner des détails importants, comme la couleur de la chemise ou quel bureau. Par le passé, si cet assistant ne savait pas quoi faire, il allait soit :

Deviner n'importe quoi et acheter une chemise rouge alors que vous vouliez une bleue, puis vous dire avec assurance : « Je suis sûr à 90 % que c'est ce qu'il fallait ! » (C'est une erreur).
Dire qu'il est confus mais sans donner de raison, ce qui vous empêchait de savoir s'il avait simplement du mal avec une tâche difficile ou si vous aviez réellement oublié de lui donner assez d'informations.

Ce document présente une nouvelle façon d'entraîner ces assistants IA pour qu'ils gèrent mieux cette confusion. Voici la décomposition en utilisant des analogies simples :

Le problème central : Un seul chiffre ne suffit pas

Actuellement, la plupart des assistants IA vous donnent un score de confiance unique (comme une note de 0 à 100) pour chaque action qu'ils entreprennent.

La faille : Si l'assistant vous dit : « Je n'en suis sûr qu'à 40 % », vous ne savez pas pourquoi.
- Est-ce parce que la tâche est difficile ? (ex. : « Il y a 500 chemises à choisir et je ne sais pas laquelle vous aime. »)
- Ou est-ce parce que vous n'avez pas donné assez d'informations ? (ex. : « Vous m'avez dit d'acheter une chemise, mais vous n'avez pas précisé la couleur ni la taille ! »)
  Si l'assistant est confus parce que vous avez oublié de donner des détails, il ne devrait pas simplement deviner ; il devrait vous demander : « Hé, de quelle couleur la voulez-vous ? ». L'ancien système ne pouvait pas faire la différence entre « C'est difficile » et « Vous avez oublié de me dire quelque chose ».

La solution : Diviser la « confiance » en deux

Les auteurs proposent une astuce simple : au lieu de demander à l'IA un seul score de confiance, ils lui demandent deux scores distincts dans son processus de pensée interne :

Confiance dans l'action : « À quel point suis-je sûr que cette action spécifique fonctionnera, en supposant que je comprenne correctement l'objectif ? »
- Analogie : « Je suis sûr à 90 % de pouvoir aller au magasin, mais je ne sais pas quel magasin vous voulez. »
Incertitude de la requête : « Quelle quantité d'informations manque-t-il à vos instructions ? »
- Analogie : « Vous ne m'avez pas dit le nom du magasin ou la couleur. Je suis sûr à 100 % que les détails manquent. »

En séparant ces deux éléments, l'IA obtient un « canal » dédié pour dire : « Je sais quoi faire, mais j'ai besoin de plus d'informations de votre part », plutôt que de simplement dire « Je suis confus ».

L'expérience : Le test des « détails manquants »

Pour prouver que cela fonctionne, les chercheurs ont créé deux nouveaux tests de type jeu vidéo (WebShop et ALFWorld) où ils ont délibérément caché 50 % des instructions.

La configuration : Ils ont dit à l'IA : « Achète une chemise », mais ont supprimé les mots « noire » et « taille large » de l'instruction.
Le but : Ils voulaient voir si l'IA s'arrêterait pour demander : « Quelle couleur et quelle taille ? » au lieu de simplement deviner.

Ils ont testé cette nouvelle méthode de « Double Score » par rapport aux anciennes méthodes (qui n'utilisaient qu'un seul score) en utilisant cinq modèles d'IA différents et puissants.

Les résultats

Meilleure capacité à demander : La nouvelle méthode était bien meilleure pour repérer les informations manquantes. En moyenne, elle a amélioré la capacité à demander des clarifications de 73 % par rapport aux anciennes méthodes. Elle a réussi à identifier les détails manquants dans presque tous les modèles d'IA testés.
Aucune perte de compétence : Crucialement, donner à l'IA cette étape de « réflexion supplémentaire » ne l'a pas rendue moins performante pour accomplir les tâches lorsque les instructions étaient claires. Elle n'a pas perdu sa capacité à résoudre des problèmes ; elle est simplement devenue meilleure pour savoir quand s'arrêter et poser des questions.

Le revers de la médaille : Le « drainage des capacités »

Le papier a également identifié un inconvénient, qu'ils appellent la « Dilution des capacités » (Capability Dilution).

La métaphore : Imaginez que l'IA dispose d'une quantité fixe d'énergie mentale (comme une batterie). Habituellement, elle utilise 100 % de cette batterie pour résoudre la tâche. Désormais, elle doit diviser cette batterie : une partie pour résoudre la tâche, une partie pour vérifier sa confiance, et une partie pour vérifier si vous avez donné assez d'informations.
Le résultat : Parce qu'elle divise son énergie, l'IA réalise parfois la tâche réelle un peu moins bien qu'avant. C'est comme un coureur qui est excellent pour le sprint, mais qui ralentit légèrement parce qu'il essaie aussi de regarder sa montre et de parler à son entraîneur en même temps.

Conclusion générale

Les auteurs concluent que, bien que cette astuce du « Double Score » fonctionne bien pour l'instant, c'est un peu un « hack ». Cela force l'IA à faire un effort de réflexion supplémentaire simplement en changeant les mots dans l'instruction.

Ils soutiennent que l'avenir ne réside pas dans de meilleures instructions (prompts), mais dans le réentraînement de l'IA elle-même. Ils pensent que la prochaine génération d'IA devrait être construite dès le départ pour comprendre naturellement la différence entre « C'est difficile » et « Vous avez oublié de me dire quelque chose », sans avoir besoin d'être manipulée par une instruction.

En bref : Le papier montre que si vous apprenez à une IA à séparer « Je ne connais pas la réponse » de « Vous ne m'avez pas donné la question », elle devient bien meilleure pour demander de l'aide. Mais faire cela via de simples instructions textuelles coûte un peu de sa puissance cérébrale globale.

Résumé technique : Décomposition de l'incertitude pour la recherche de clarification dans les agents LLM

1. Énoncé du problème

Les agents à Grands Modèles de Langage (LLM) interactifs opèrent sous une observabilité partielle, recevant des instructions en langage naturel sous-spécifiées et naviguant dans des environnements bruités. De petites erreurs dans les premières étapes du raisonnement peuvent se propager, menant à des résultats incorrects mais affirmés avec certitude. Bien que l'estimation de l'incertitude soit un outil de mitigation standard, les cadres existants (spécifiquement la dichotomie aléatoire/épistémique) sont jugés insuffisants pour les agents interactifs. Kirchhof et al. [13] et Kim et al. [14] postulent que les agents nécessitent des représentations d'incertitude sensibles à la sous-spécification (underspecification-aware), décomposées par source et communicables aux utilisateurs pour permettre des capacités proactives comme la recherche de clarification.

De plus, les contraintes de déploiement pratique — telles que l'accès à des API de type boîte noire, des budgets de latence stricts et l'absence de trajectoires d'entraînement étiquetées — rendent les méthodes basées sur les logprobs, l'échantillonnage multiple ou l'entraînement inaccessibles. Cela laisse les méthodes basées sur le prompt (où l'agent émet l'incertitude sous forme de texte structuré) comme la seule approche viable pour un déploiement réel. Cependant, les méthodes existes basées sur le prompt produisent généralement un score de confiance scalaire unique, confondant deux sources distinctes d'incertitude :

Difficulté de la tâche : L'action est difficile à exécuter (ex: choisir parmi de nombreux produits similaires).
Ambiguïté de l'objectif : La requête de l'utilisateur est sous-spécifiée (ex: "trouver une chemise" sans préciser la couleur ou la taille).

La confusion de ces signaux empêche l'agent de distinguer entre « procéder avec prudence » et « demander une clarification ».

2. Méthodologie

Décomposition proposée

Le papier propose une décomposition par prompt qui sépare le scalaire de confiance unique en deux signaux distincts émis à chaque étape $t$ :

Confiance de l'action ( $c_t$ ) : La confiance de l'agent que l'action choisie mène à l'accomplissement de la tâche, compte tenu de la compréhension actuelle. Cela reflète le score de confiance scalaire utilisé dans les baselines.
Incertitude de la requête ( $u_t$ ) : Une estimation de savoir si l'objectif de l'utilisateur est pleinement spécifié, allant de 0 (pleinement spécifié) à 1 (détails critiques manquants). Elle s'appuie sur une échelle en trois points :
- $0$ : Exactement une interprétation correcte.
- $0,5$ : Au moins un paramètre est ouvert/non énoncé.
- $1$ : Détails critiques manquants ; de nombreuses interprétations valides existent.

Déclencheur de clarification

La méthode introduit un mécanisme de routage déterministe. Si $u_t \geq \theta$ (où $\theta = 0,5$ par défaut), l'agent reçoit l'instruction d'émettre l'action spéciale request_clarification au lieu d'une action de tâche. Cela crée un lien direct entre l'estimation de l'incertitude et un comportement observable, permettant au système d'être évalué comme un classificateur binaire pour la sous-spécification.

Propagation de l'historique

Suivant le cadre de l'Uncertainty-Aware Memory (UAM) [21], les valeurs d'incertitude ( $u_t, c_t$ ) ainsi que leurs explications en langage naturel sont ajoutées à l'historique d'interaction $H_t$ . Cela permet aux étapes suivantes de raisonner sur l'incertitude accumulée au niveau de la requête et la confiance de l'action.

Baselines

La méthode proposée est comparée à deux baselines basées sur le prompt :

ReAct+UE : Un agent ReAct standard avec un suffixe de prompt demandant un score de confiance scalaire unique et une explication. Il ne conserve pas l'incertitude dans l'historique.
Uncertainty-Aware Memory (UAM) : Similaire à ReAct+UE mais propage le score de confiance et l'explication à travers l'historique, permettant à l'agent de raisonner sur l'incertitude passée.

Benchmarks

Pour évaluer la recherche de clarification, les auteurs ont construit deux benchmarks augmentés de clarification où 50 % des tâches sont délibérément sous-spécifiées :

WebShop-Clarification : Les attributs (ex: couleur, matière) et les clauses d'option sont retirés des instructions.
ALFWorld-Clarification : Des objets ou des réceptacles sont aléatoirement supprimés de l'objectif (ex: "mettre quelque chose dans un contenant").
Dans ces variantes, si l'agent demande correctement une clarification sur une tâche sous-spécifiée, l'objectif original est révélé, et l'épisode se poursuit, garantissant une mesure équitable du taux de succès.

L'évaluation inclut également des benchmarks standards (WebShop, ALFWorld, REAL) pour la détection de fautes (prédire l'échec d'une trajectoire) et le taux de succès de la tâche.

3. Contributions clés

Analyse comparative : Une étude systématique démontrant que les contraintes pratiques ne laissent que les méthodes basées sur le prompt comme famille viable pour l'incertitude dans les agents LLM boîte noire, motivant une étude plus approfondie de leurs capacités.
Nouveaux benchmarks : L'introduction de WebShop-Clarification et ALFWorld-Clarification, qui permettent d'évaluer la recherche de clarification en tant que tâche de classification binaire.
Méthode de décomposition : Une méthode uniquement basée sur le prompt qui sépare la confiance de l'action de l'incertitude de la requête, permettant une clarification proactive sans entraînement ni accès au modèle.
Évaluation empirique : Une évaluation complète sur cinq backbones LLM (GPT-5.1, DeepSeek-v3.2-exp, GLM-4.7, Qwen3.5-35B, GPT-OSS-120B) sur des tâches de recherche de clarification et de détection de fautes.

4. Résultats

Recherche de clarification

La décomposition proposée surpasse significativement les baselines dans l'identification des tâches sous-spécifiées :

ALFWorld-Clarification : La méthode proposée améliore le F1 de clarification de 73 % par rapport à ReAct+UE et de 36 % par rapport à UAM en moyenne sur les cinq backbones.
WebShop-Clarification : La méthode proposée est en tête pour le F1 de clarification sur chaque backbone.
Généralisation : Les gains se généralisent à différentes familles de modèles, indiquant que la décomposition n'est pas spécifique à une architecture LLM donnée.

Détection de fautes

La décomposition ne sacrifie pas la capacité à détecter des fautes (prédire l'échec d'une trajectoire) :

Sur tous les backbones et benchmarks, la méthode proposée atteint des scores ROC-AUC de détection de fautes comparables à ReAct+UE et UAM.
Sur WebShop et REAL, la méthode proposée atteint le ROC-AUC le plus élevé pour les agrégations de dernière étape et moyennes.

Taux de succès de la tâche et calibration

Dilution des capacités : Une baisse monotone du taux de succès des tâches a été observée à mesure que l'instrumentation de l'incertitude augmentait : ReAct+UE (28,6 %) > UAM (27,8 %) > Proposée (27,0 %). Les auteurs attribuent cela à la « dilution des capacités », où le budget de raisonnement fixe est partagé entre la résolution de la tâche et les multiples évaluations d'incertitude.
Surconfiance : Les diagrammes de fiabilité montrent une surconfiance systématique pour toutes les méthodes ; la confiance prédite dépasse systématiquement les taux de succès observés (l'ECE varie de 0,24 à 0,66).
Sensibilité de l'agrégation : Le choix de l'agrégation au niveau de la trajectoire (ex: produit, moyenne, dernière étape) impacte significativement les scores de détection de fautes. Notamment, sur ALFWorld, l'agrégation par produit agit comme un proxy pour la longueur de la trajectoire plutôt que comme un véritable signal de confiance, car les trajectoires ayant échoué sont systématiquement plus longues.

5. Signification et affirmations

Le papier affirme que la décomposition proposée opérationnalise avec succès le concept d'« incertitude de sous-spécification » comme une catégorie distincte, répondant aux appels de Kirchhof et al. [13] et Kim et al. [14]. En fournissant un canal dédié à l'ambiguïté de l'objectif, l'agent peut rechercher proactivement une clarification plutôt que d'échouer silencieusement ou de procéder avec des interprétations arbitraires.

Cependant, les auteurs restent modestes quant aux limites du paradigme basé sur le prompt :

Limites du Prompt : La dilution des capacités observée et la surconfiance systématique sont inhérentes à l'approche basée sur le prompt, où le modèle doit simultanément résoudre la tâche et évaluer sa propre confiance dans un budget de tokens fixe.
Direction future : Le papier soutient que la voie la plus prometteuse est l'estimation de l'incertitude native. Plut lieu de solliciter des scores décomposés via le prompt, les modèles devraient être entraînés (via RLHF, DPO ou GRPO) pour distinguer intrinsèquement la difficulté de la tâche et l'ambiguïté de l'objectif. Cela éliminerait le besoin d'élicitation par prompt, supprimerait la dilution des capacités et permettrait une communication de l'incertitude calibrée et en langage naturel.

En conclusion, ce travail sert de preuve de concept démontrant que la décomposition de l'incertitude permet de nouvelles capacités d'agent, mais il pose que la prochaine étape nécessite de déplacer ces mécanismes du prompt vers l'intérieur même du modèle via l'entraînement par alignement.