Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models

Dans le paysage en évolution rapide de l'intelligence artificielle, les grands modèles de langage sont devenus des outils puissants pour générer du texte, répondre à des questions et assister dans des tâches complexes. Cependant, un défi persistant demeure : ces systèmes produisent parfois des réponses qui semblent assurées mais qui sont factuellement incorrectes, un phénomène connu sous le nom d'hallucination. Pour les utilisateurs qui comptent sur ces modèles pour des décisions critiques, le danger ne réside pas seulement dans l'erreur, mais dans le fait d'avoir tort avec une certitude absolue. Pour y remédier, les chercheurs cherchent depuis longtemps des moyens de mesurer l'incertitude d'un modèle, demandant essentiellement au système à quel point il est sûr de sa propre production. Les méthodes traditionnelles fournissent souvent un score de confiance unique pour l'ensemble d'une réponse, tout comme une prévision météorologique donnant une probabilité globale pour une journée entière. Pourtant, une seule réponse peut contenir un mélange de faits exacts et d'erreurs subtiles, ce qui rend un score global unique trop imprécis pour quelqu'un qui doit vérifier des détails spécifiques avant d'agir.

Une nouvelle étude menée par Toghrul Abbasli et ses collègues de l'Université Tsinghua et d'autres institutions propose une approche plus granulaire de ce problème. Au lieu de traiter une réponse comme un bloc de texte unique, les chercheurs ont développé une méthode pour décomposer chaque réponse en ses plus petites unités d'information indépendantes, qu'ils appellent des affirmations atomiques. Ils attribuent ensuite un score de confiance spécifique à chacune de ces affirmations individuelles. L'équipe a testé cette technique sur plusieurs modèles de langage modernes, incluant des systèmes de développeurs majeurs, en utilisant deux types distincts de séries de questions : l'une axée sur la connaissance factuelle générale et l'autre conçue pour piéger les modèles en leur faisant accepter des prémisses fausses. Leurs conclusions suggèrent qu'en isolant et en calibrant la confiance au niveau de l'affirmation, il est possible de créer un signal beaucoup plus fiable pour les décideurs. Cette approche permet aux utilisateurs d'accepter les parties d'une réponse qui sont très susceptibles d'être vraies tout en signalant des phrases spécifiques pour examen ou rejet, offrant une voie pratique vers une intelligence artificielle plus sûre et plus digne de confiance dans des environnements à enjeux élevés.

Le cœur du travail des chercheurs repose sur un pipeline multi-étapes qui fonctionne sans nécessiter de modification des mécanismes internes des modèles de langage eux-mêmes. D'abord, le système génère une réponse à la question de l'utilisateur. Ensuite, un outil auxiliaire décompose cette réponse en déclarations courtes et autonomes, telles que « Einstein a proposé la théorie de la relativité » ou « Cela s'est produit en 1905 ». Une fois la réponse décomposée, le système évalue chaque déclaration individuellement. Il utilise deux signaux principaux pour déterminer le degré de confiance que le modèle devrait avoir pour chaque affirmation. Le premier signal provient de l'auto-évaluation ou de la confiance verbalisée du modèle, où le modèle est incité à déclarer son degré de certitude. Le second signal repose sur la cohérence ; le système génère plusieurs variations de la réponse et vérifie si la même affirmation apparaît dans toutes celles-ci. Si une affirmation est répétée à travers différents essais, elle est considérée comme plus fiable. Ces deux signaux sont ensuite combinés pour produire un score de confiance final pour chaque affirmation spécifique.

Pour garantir que ces scores soient significatifs, les chercheurs ont appliqué un processus statistique appelé étalonnage post-hoc. Cette étape ajuste les chiffres de confiance bruts afin qu'ils s'alignent sur la réalité. Par exemple, si le système attribue une confiance de 90 % à un ensemble d'affirmations, l'étalonnage garantit qu'environ 90 % de ces affirmations sont réellement correctes. L'étude a testé ce cadre sur six modèles de langage différents, allant de systèmes open-source à des modèles commerciaux propriétaires, à travers des milliers de questions. Les résultats ont montré que cette approche au niveau de l'affirmation réduisait considérablement le taux d'erreur dans l'estimation de la confiance par rapport aux méthodes qui ne regardaient que la réponse dans son ensemble. Sur les questions factuelles, les scores étalonnés sont devenus beaucoup plus précis, ce qui signifie que lorsque le système affirmait être sûr à 90 %, il était effectivement correct 90 % du temps. Cette précision permet à un utilisateur humain de prendre une décision concrète : il peut accepter immédiatement les affirmations à haute confiance tout en dirigeant son attention vers celles à faible confiance pour vérification.

Cependant, l'étude a également identifié une limite claire où cette méthode rencontre des obstacles. Lorsque les questions étaient conçues avec des prémisses fausses — des pièges supposant qu'une chose fausse est un fait — les modèles généraient souvent des affirmations fluides et assurées, mais entièrement incorrectes. Dans ces scénarios adverses, les scores de confiance au niveau de l'affirmation échouaient parfois à détecter l'erreur car le modèle était intrinsèquement cohérent dans son erreur. Les chercheurs ont constaté que si leur méthode excellait pour trier les réponses mixtes contenant à la fois des informations vraies et fausses, elle ne pouvait pas toujours surmonter un modèle qui était de manière convaincante erroné sur un fait fondamental. Dans de tels cas, l'étude suggère que les scores de confiance seuls sont insuffisants ; un contrôle externe, tel qu'une recherche de preuves ou un contre-interrogatoire par un autre système, est nécessaire pour détecter ces erreurs profondes.

L'implication pratique de ce travail est un changement dans la manière dont nous pourrions interagir avec l'intelligence artificielle dans les milieux professionnels. Plutôt que d'accepter ou de rejeter une réponse entière basée sur un sentiment de confiance vague, les décideurs peuvent désormais s'appuyer sur une carte détaillée de la fiabilité. Un rapport médical généré par une IA, par exemple, pourrait être accepté pour sa structure générale, tandis que des détails spécifiques sur les dosages de médicaments ou l'historique du patient seraient signalés pour examen humain en fonction de leurs scores de confiance individuels. Les chercheurs soulignent que cette technique fonctionne même avec des modèles de type « boîte noire » (closed-box), dont les mécanismes internes sont cachés, ce qui la rend applicable aux systèmes commerciaux les plus avancés actuellement en usage. Bien que la méthode ne résolve pas entièrement le problème de l'hallucination, particulièrement lorsque les modèles sont trompés par des suppositions fausses, elle fournit un outil robuste pour gérer l'incertitude. En décomposant la boîte noire de la production d'un modèle de langage en morceaux vérifiables, l'étude offre un moyen de prendre des décisions à enjeux élevés avec une compréhension plus claire de ce qui peut être approuvé et de ce qui nécessite une investigation supplémentaire.