💬 NLP

Beyond Self-Knowledge: Propagating Uncertainty Across Reasoning and Retrieval in LLMs

L'article présente BeyondUncertainty, une méthode de génération augmentée par la récupération qui exploite la confiance verbalisée des modèles de langage pour acheminer sélectivement les requêtes vers la récupération, atteignant ainsi une précision améliorée et une réduction de l'utilisation de jetons par rapport aux bases de référence de récupération systématique ou de non-récupération, malgré un surcoût modeste provenant de la sonde de confiance initiale.

Auteurs originaux : Chandan Kumar Sah, Xiaoli Lian, Li Zhang

Publié 2026-07-29

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chandan Kumar Sah, Xiaoli Lian, Li Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un robot bibliothécaire super intelligent qui a lu presque tous les livres de l'univers. Vous pouvez répondre aux questions instantanément car vous avez tout mémorisé. Cependant, parfois, le monde change, ou vous avez oublié un minuscule détail, ou peut-être avez-vous simplement besoin de vérifier un fait sur une personne ou un lieu spécifique. Si vous vous trompez, vous pourriez paraître confiant mais être complètement dans l'erreur. C'est là qu'intervient la « Génération Augmentée par Récupération » (RAG). Voyez le RAG comme une règle qui dit : « Si tu n'es pas sûr à 100 %, va chercher l'information dans la bibliothèque avant de répondre. »

Cependant, il y a un piège. Courir à la bibliothèque prend du temps et de l'énergie. Si vous courez à la bibliothèque pour chaque question, même pour les plus faciles que vous connaissez déjà, vous gaspillez beaucoup de temps et de carburant. D'un autre côté, si vous ne courez jamais à la bibliothèque, vous risquez de donner de mauvaises réponses aux questions difficiles. La grande question que les scientifiques tentent de résoudre est la suivante : comment le robot peut-il savoir exactement quand il doit s'arrêter pour faire une recherche, sans gaspiller d'énergie pour les choses faciles ? Cette étude explore si un robot peut simplement « dire » à quel point il se sent confiant, et utiliser ce sentiment pour décider s'il doit aller à la bibliothèque ou simplement parler.

L'expérience du « Test de Confiance »

Dans cette étude, des chercheurs nommés Chandan Kumar Sah, Xiaoli Lian et Li Zhang, de l'Université de Beihang, ont tenté de construire un bibliothécaire plus intelligent en utilisant un système qu'ils appellent BeyondUncertainty. Ils voulaient voir si une IA de type « boîte noire » (un modèle dont on ne peut pas voir les rouages internes, seulement ses réponses) pouvait utiliser sa propre confiance verbalisée pour décider quand aller chercher des informations supplémentaires.

Voici comment leur expérience s'est déroulée, étape par étape :

La Sonde : D'abord, ils ont posé une question à l'IA et lui ont demandé de donner une réponse rapide et structurée accompagnée d'un « score de confiance » (un nombre entre 0 et 1 indiquant son degré de certitude). Ils ne lui ont pas demandé de montrer son raisonnement ou de réfléchir à voix haute ; ils lui ont juste demandé une estimation rapide et une note de confiance.
La Décision : Ils ont établi un « seuil » (une ligne de confiance spécifique) pour chaque modèle d'IA.
- Si l'IA disait : « Je suis super confiant (au-dessus de la ligne) », le système acceptait immédiatement cette réponse. Pas besoin de trajet à la bibliothèque !
- Si l'IA disait : « Je ne suis pas si sûr (en dessous de la ligne) », le système envoyait la question à un moteur de recherche (en utilisant une méthode appelée TF-IDF) pour trouver les 5 paragraphes les plus pertinents. L'IA lisait ensuite ces paragraphes et donnait une réponse finale, meilleure.
Le Test : Ils ont testé cela sur 27 000 questions différentes à travers six ensembles de données de culture générale et de connaissances, en utilisant trois modèles d'IA populaires différents.

Ce qu'ils ont trouvé : Le bon, le mauvais et le coûteux

Les résultats sont un mélange de succès et d'un compromis surprenant.

La Bonne Nouvelle : Une recherche plus intelligente
Le système a très bien fonctionné pour déterminer quelles questions nécessitaient de l'aide. Quand l'IA se sentait incertaine, elle avait généralement raison de dire qu'elle devait faire des recherches.

Meilleures réponses : Le système de « Routage par Confiance » a obtenu un score moyen de 0,483 (une mesure de la qualité de la réponse appelée F1). C'était meilleur qu'une simple supposition sans recherche (0,401) et même légèrement meilleur que si l'on cherchait pour chaque question (0,467).
Économie de trajets à la bibliothèque : Parce que le système a sauté l'étape de la bibliothèque pour les questions faciles, il a récupéré 20,4 % de passages textuels en moins que la méthode consistant à « toujours chercher ». Il était beaucoup plus sélectif.
Supériorité face au hasard : Même lorsqu'ils ont forcé le système à effectuer le même nombre de recherches qu'un programme informatique aléatoire, le système basé sur la confiance obtenait de meilleures réponses dans 17 cas sur 18. Cela a prouvé que le « sentiment » d'incertitude de l'IA était réellement utile pour choisir les bonnes questions à rechercher.

La Mauvaise Nouvelle : Le coût de la « Sonde »
Voici le revers de la médaille. Bien que le système ait économisé du temps sur la recherche (moins de trajets à la bibliothèque), il a en réalité utilisé plus de puissance de calcul totale.

Pour obtenir ce score de confiance, l'IA a dû exécuter une étape de « sonde » supplémentaire au préalable. Cette étape supplémentaire a ajouté 28,2 % de plus au nombre total de « tokens » (les unités de base de texte que l'IA traite) utilisés.
Ainsi, bien que le système ait été économique en termes de récupération (il n'a pas récupéré autant de documents), il n'était pas économique en termes de tokens (il a utilisé plus d'énergie de calcul totale). C'est comme engager un détective pour vérifier si vous avez besoin d'une carte avant de partir en voyage ; le détective vous évite d'acheter la mauvaise carte, mais vous avez quand même dû payer les honoraires du détective.

La Réalité du « Pas si Sûr »
Les chercheurs ont également constaté que la confiance de l'IA n'était pas parfaite.

Mauvaise calibration : Les chiffres que l'IA donnait pour la confiance n'étaient pas des probabilités mathématiquement parfaites. Si une IA disait « je suis sûr à 90 % », elle n'avait pas raison 90 % du temps.
Différences entre modèles : Le système se comportait de manière très différente selon le modèle d'IA utilisé. Un modèle (OpenAI) était si confiant qu'il voulait presque toujours faire des recherches de toute façon, rendant le « routage intelligent » moins utile. Un autre modèle (Gemini) était beaucoup plus sélectif.
Pas une solution miracle : L'amélioration n'était ni énorme ni parfaite. Dans certains cas spécifiques, la méthode consistant à « toujours chercher » était en fait meilleure que le routage intelligent. Le système est une amélioration moyenne, pas une solution universelle.

L'essentiel à retenir

Cette étude suggère que demander à une IA « À quel point es-tu sûr de toi ? » est un moyen astucieux de décider quand effectuer des recherches supplémentaires. Cela aide l'IA à éviter de perdre du temps à chercher des choses qu'elle connaît déjà, et cela conduit à des réponses légèrement meilleures globalement. Cependant, le coût de la question posée en premier lieu est élevé. Le système vous évite de récupérer trop de documents, mais l'étape supplémentaire consistant à demander la confiance rend l'ensemble du processus plus coûteux en termes de puissance de calcul totale.

C'est une étape prometteuse vers des assistants d'IA plus intelligents et plus efficaces, mais cela montre qu'il n'y a pas de repas gratuit : vous pouvez être plus sélectif sur ce que vous cherchez, mais vous devrez peut-être quand même payer un prix pour prendre cette décision.

Résumé technique : Au-delà de la connaissance de soi : Propager l'incertitude à travers le raisonnement et la recherche dans les LLM

Énoncé du problème

La génération augmentée par récupération (RAG) améliore les réponses aux questions (QA) nécessitant des connaissances approfondies en ancrant les réponses dans des preuves externes. Cependant, une récupération indiscriminée introduit des inefficacités significatives : elle augmente la longueur du contexte et la latence, et des passages non pertinents ou conflictuels peuvent dégrader la qualité de la réponse. Bien que des stratégies de RAG adaptatives existent, beaucoup reposent sur des états internes du modèle (logits, activations) ou des mécanismes de réflexion complexes qui sont inaccessibles dans les configurations d'API de type "boîte noire".

La question de recherche centrale abordée est de savoir si la confiance verbalisée des modèles de langage de type boîte noire peut servir de signal exploitable pour les décisions de routage. Plus précisément, est-ce qu'une sonde de pré-récupération structurée peut susciter une estimation de l'incertitude capable d'identifier efficacement quelles questions bénéficient de preuves externes, optimisant ainsi le compromis entre la qualité de la réponse, la fréquence de récupération et l'efficacité des tokens ?

Méthodologie : BeyondUncertainty

Les auteurs proposent BeyondUncertainty, un cadre de routage agnostique au modèle et de type boîte noire, qui propage un signal de confiance observable dans une décision d'acquisition de preuves externes. Le système fonctionne sans accès au raisonnement en chaîne de pensée (chain-of-thought) caché, aux logits ou aux activations internes, et ne nécessite aucun ajustement fin (fine-tuning) du modèle.

Flux de travail

Sonde structurée : Pour une question $q$ $q$ donnée, le LLM est incité à générer un objet JSON compact contenant :
- Une réponse provisoire ( $\hat{a}_0$ ).
- Une estimation de la confiance verbalisée ( $c_0 \in [0, 1]$ ).
- Un résumé d'état concis ( $m_0$ ).
- Une action suggérée ( $d_0$ ), qui est enregistrée mais n'est pas utilisée pour le routage.
Décision de routage : Un seuil spécifique au modèle ( $\tau_m$ $τ_{m}$ ), sélectionné sur des données de validation hors échantillon et gelé avant les tests, détermine le chemin :
- Haute confiance ( $c_0 \geq \tau_m$ ) : Le système renvoie directement la réponse provisoire $\hat{a}_0$ (Pas de récupération).
- Basse confiance ( $c_0 < \tau_m$ ) : Le système déclenche une étape de récupération. Un récupérateur parcimonieux déterministe (TF-IDF) extrait les 5 meilleurs passages d'un corpus fixe. Le LLM effectue ensuite un second appel avec la question et le contexte récupéré pour générer une réponse finale.
- Note : Une confiance manquante ou impossible à analyser est convertie de manière conservatrice vers la récupération.

Conception expérimentale

Portée : Évaluation à travers 27 000 instances de politiques impliquant 3 000 questions uniques issues de six benchmarks de QA (Natural Questions, HotpotQA, 2WikiMultiHopQA, SQuAD, TriviaQA, MuSiQue) et trois familles de modèles (OpenAI, Gemini, Claude).
Baselines (Référentiels) :
- Pas de récupération (No Retrieval) : Appel de réponse unique sans contexte.
- Toujours récupération (Always Retrieval) : Récupération des 5 meilleurs passages suivie d'un appel de réponse unique.
- Contrôle aléatoire apparié (Random Matched Control) : Un contrôle post-hoc qui route exactement le même nombre de questions vers la récupération que BeyondUncertainty, mais les sélectionne via un hachage stable plutôt que par la confiance.
- Oracle : Une limite théorique supérieure sélectionnant le meilleur résultat entre "Pas de récupération" et "Toujours récupération" pour chaque instance.
Métriques : F1 normalisé au niveau du token (primaire), correspondance exacte (Exact Match), nombre de passages récupérés et utilisation totale de tokens (entrée + sortie).

Principales contributions

Interface de routage agnostique au modèle : Introduction d'une méthode qui propage des signaux de confiance observables de type boîte noire dans les décisions de récupération sans nécessiter d'accès interne au modèle ni de fine-tuning.
1. Évaluation appariée à grande échelle : Une étude exhaustive de 27 000 instances de politiques à travers divers jeux de données et modèles, conservant les échecs d'API et de sortie structurée dans le dénominateur de l'évaluation pour garantir la robustesse.
2. Isolation de la valeur d'allocation : Démonstration que le routage guidé par la confiance fournit une valeur d'allocation par question au-delà de la simple réduction de la fréquence de récupération, validée par un contrôle aléatoire avec un nombre de routes apparié.

Résultats

1. Utilité prédictive de la confiance (RQ1)

Ordinal vs Absolu : La confiance verbalisée est mal calibrée en tant que probabilité absolue (Erreur de calibration attendue $E_{5} \approx 0.43\text{--}0.53$ ). Cependant, elle sert de signal ordinal cohérent, corrélant positivement avec la qualité de la réponse finale ( $\rho \approx 0.28\text{--}0.31$ ).
Bénéfice de la récupération : L'incertitude ( $u = 1 - c_0$ ) prédit modestement si la récupération améliorera la réponse ( $\text{AUROC} = 0.628$ ).

2. Compromis Qualité–Efficacité (RQ2)

Qualité de la réponse : BeyondUncertainty atteint le F1 moyen agrégé le plus élevé (0.483), surpassant "Pas de récupération" (0.401) et "Toujours récupération" (0.467).
Économie de passages : Il réduit les passages récupérés de 20,4 % par rapport à "Toujours récupération" (3,952 vs 4,966 passages par instance).
Coût en tokens : Contrairement aux objectifs d'économie de tokens, la sonde supplémentaire augmente l'utilisation totale de tokens de 28,2 % (1 539,8 vs 1 201,5 tokens par instance). La méthode est économique en récupération mais pas en tokens.
Hétérogénéité : Les améliorations par rapport à "Toujours récupération" ne sont pas uniformes. Bien que le routage par la confiance surpasse "Toujours récupération" dans 16 des 18 cellules dataset-modèle, la signification statistique (après correction de Holm) est limitée à certains réglages (ex: NQ–OpenAI, SQuAD–Claude). Dans certains cas (ex: Gemini sur 2Wiki), la récupération dégrade la performance, et la méthode adaptative évite avec succès cela.

3. Allocation vs Aléatoire (RQ3)

Lorsqu'elle est appariée sur le nombre de questions routées vers la récupération, BeyondUncertainty surpasse l'allocation aléatoire dans 17 des 18 cellules dataset-modèle, avec un gain moyen de 0,024 F1. Cela confirme que les signaux de confiance identifient efficacement quelles questions bénéficient de preuves, plutôt que de simplement réduire le volume de récupération.

Signification et Revendications

L'article revendique modestement que la confiance verbalisée en boîte noire est un signal utile pour l'allocation de la récupération dans des conditions de QA contrôlées, même lorsqu'elle est mal calibrée.

Résultat principal : La méthode réussit à améliorer l'allocation des preuves externes, réduisant la récupération inutile tout en maintenant ou en améliorant la qualité des réponses.
Limite critique : L'implémentation actuelle n'atteint pas l'efficacité des tokens de bout en bout. Le coût de la sonde de confiance initiale surpasse les économies de tokens réalisées en sautant la récupération dans les cas de haute confiance.
Nuance contextuelle : L'efficacité du routage dépend fortement du modèle. Pour les modèles présentant une saturation de confiance élevée (ex: OpenAI routant >95 % des requêtes), le bénéfice adaptatif diminue, se comportant de manière similaire à "Toujours récupération".
Directions futures : Les auteurs suggèrent que les travaux futurs devraient se concentrer sur des estimateurs de confiance moins coûteux, des contrôles aléatoires appariés par chemin d'exécution, et des réglages de récupération en domaine ouvert pour réaliser une véritable efficacité de tokens.

L'étude conclut que bien que BeyondUncertainty optimise l'acquisition de preuves, elle échange actuellement l'efficacité totale des tokens contre une meilleure qualité de réponse et une réduction des frais de récupération.