💬 NLP

The Score Granularity Gap in Black-Box LLM Classification: A Comparative Study of Confidence Constructions

Cet article introduit le concept de « fossé de granularité des scores » pour démontrer que, si les scores de confiance verbalisés en une seule passe dans les LLM en boîte noire classent bien les cas, ils n'offrent que quelques seuils grossiers pour le déploiement, tandis que l'agrégation multi-requêtes améliore les modèles faibles mais peut dégrader les modèles forts.

Auteurs originaux : Ao Sun, Tian Sun, Jiaxing Geng

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ao Sun, Tian Sun, Jiaxing Geng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le gestionnaire d'une usine très occupée. Vous avez un nouveau robot super intelligent (une IA) qui trie des colis. Parfois, le robot est sûr à 100 % qu'un colis est « Bon », et parfois, il est sûr à 100 % qu'il est « Mauvais ». Mais qu'en est-il des colis dont il n'est pas sûr ?

Dans le monde réel, vous ne pouvez pas simplement laisser le robot prendre toutes les décisions. Vous avez besoin d'une règle de sécurité : « Si le robot est sûr à 90 %, expédiez automatiquement. S'il est moins sûr, envoyez-le à un humain pour vérification. »

Ce document traite d'un problème caché sur la façon dont nous demandons à ces robots de nous dire à quel point ils sont sûrs. Les auteurs appellent cela la « Brèche de Granularité des Scores » (Score Granularity Gap).

Voici la décomposition en termes simples :

1. Le Problème : Le « Cadran Cassé »

Imaginez que le robot vous donne un score de confiance pour décider quoi faire.

L'Idéal : Un cadran fluide qui va de 0 % à 100 % avec une infinité de petites étapes. Vous pouvez fixer votre règle à n'importe quel point (par exemple, « N'expédier automatiquement que si c'est sûr à 73,4 % »).
La Réalité : Le « cadran » du robot est cassé. Il n'a pas 100 étapes. Il ne peut dire que quatre ou cinq nombres distincts, comme « Faible », « Moyen », « Élevé » et « Très Élevé ».

Même si le robot est incroyablement intelligent et classe correctement les colis « Bons » au-dessus des « Mauvais » (il sait lequel est le meilleur), il ne peut pas vous aider à affiner le fonctionnement de votre usine. Si vous voulez accepter exactement les 70 % supérieurs des colis, mais que le robot ne donne que des scores de 50 % et de 90 %, vous êtes coincé. Soit vous acceptez 50 %, soit 90 %, mais jamais 70 %.

L'Analogie : C'est comme essayer de régler une radio qui n'a que quatre stations : Actualités, Musique, Sport et Météo. Même si la station de Musique est parfaite, vous ne pouvez pas écouter du « Jazz » ou du « Rock » parce que la radio n'a pas ces canaux. Vous êtes coincé avec un « escalier grossier » au lieu d'une rampe lisse.

2. L'Expérience : Sept façons de demander au robot

Les chercheurs ont testé sept manières différentes de demander un score de confiance à l'IA pour voir laquelle offre le plus d'« étapes » sur le cadran.

Méthode A : Demander simplement (Le score « Verbalisé »). Vous demandez à l'IA : « Êtes-vous sûr ? » et elle répond : « Je suis sûr à 85 %. »
- Résultat : L'IA est en fait très bonne pour classer les choses (elle sait ce qui est juste), mais elle n'utilise qu'un petit nombre de chiffres (comme 0,5, 0,8, 0,9, 1,0). C'est un cadran grossier.
Méthode B : Le score par « Token ». Si l'IA est autorisée à montrer ses calculs internes (probabilités log), elle peut donner plus de nombres.
- Résultat : Cela donne un cadran plus fluide, mais beaucoup de robots commerciaux ne vous montreront pas leurs calculs.
Méthode C : La « Foule » (Multi-Requête). Vous posez la même question 10 fois, peut-être formulée légèrement différemment, et vous faites la moyenne des réponses.
- Résultat : Cela crée un cadran très fluide avec des centaines d'étapes. Cependant, il y a un piè par :
  - Si le robot est faible (pas très intelligent), lui poser la question 10 fois le rend beaucoup plus intelligent et vous donne un excellent cadran.
  - Si le robot est fort (déjà très intelligent), lui poser la question 10 fois peut en réalité le confondre et dégrader son classement. C'est comme demander conseil à 10 personnes différentes à un génie ; ils pourraient simplement brouiller les pistes.

3. Le tournant de l'« Interprétabilité »

Les chercheurs ont également testé une méthode consistant à décomposer la question en 10 questions plus petites et spécifiques (par exemple : « Cette phrase contient-elle une contradiction ? », « La grammaire est-elle correcte ? »).

Pourquoi faire cela ? Ce n'est pas pour améliorer le classement. C'est parce que c'est explicable.
Le Bénéfice : Si le robot commet une erreur, vous pouvez regarder les 10 petites réponses et dire : « Ah, il a échoué parce qu'il n'a pas compris la grammaire. » C'est comme avoir un reçu qui montre exactement ce que vous avez acheté, plutôt que de simplement voir le montant total de la facture. C'est crucial pour les secteurs réglementés (comme la médecine ou le droit) où vous devez savoir pourquoi une décision a été prise.

4. La Conclusion : Que devez-vous faire ?

Le document propose un guide simple pour les personnes qui déploient ces systèmes d'IA :

Convertissez toujours la réponse : Si l'IA dit « Je suis sûr à 90 % que c'est NON », vous devez inverser cela en « Je suis sûr à 10 % que c'est OUI » avant d'utiliser cela comme un score. Sinon, votre tri sera à l'envers.
Si vous avez une IA faible : Utilisez la méthode de la « Foule » (posez la question 10 fois). Cela rendra l'IA plus intelligente et vous donnera un cadran fluide sur lequel travailler.
Si vous avez une IA forte : Tenez-vous en à la méthode simple « Demander simplement ». C'est rapide et le classement est bon. Ne lui posez pas la question 10 fois, sinon vous risquez de l'altérer.
Si vous devez expliquer vos décisions : Utilisez la méthode des « Petites Questions ». Elle vous donne un cadran fluide et une raison claire pour chaque décision, même si cela coûte plus de puissance de calcul.

Résumé

Le papier soutient que nous ne devrions pas simplement demander : « L'IA est-elle confiante ? » Nous devons demander : « À quel point finement pouvons-nous régler cette confiance ? »

Un système de classement parfait est inutile s'il ne vous offre que trois boutons sur lesquels appuyer. Pour construire un système automatisé fiable, vous avez besoin d'un score qui offre suffisamment d'« étapes » pour vous permettre de contrôler le risque avec précision, que ce soit en utilisant une conversion simple, une « foule » de questions intelligentes, ou une décomposition transparente de la logique.

Résumé Technique : Le fossé de la granularité des scores dans la classification par LLM boîte noire

1. Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés en tant que classifieurs boîtes noires dans des pipelines à enjeux élevés (ex: triage médical, modération de contenu) qui reposent sur la prédiction sélective. Dans ce cadre, un opérateur définit un seuil de confiance pour automatiser les prédictions à haute confiance et diriger les cas incertains vers une révision humaine.

La recherche préalable s'est concentrée sur la question de savoir si la confiance des LLM est calibrée (un score de 80 % signifie-t-il 80 % de précision ?) ou correctement classée (classe-t-elle correctement les erreurs en dessous des prédictions correctes ?). Cependant, cet article identifie une dimension critique et négligée pour le déploiement : la granularité du score.

Le problème central est le fossé de la granularité des scores : un score de confiance peut classer parfaitement les cas mais s'avérer inutile pour un contrôle fin s'il ne propose que quelques valeurs distinctes. Si un score n'offre que $V$ valeurs distinctes, un opérateur peut définir au maximum $V$ points de fonctionnement non triviaux (seuils), quel que soit le niveau de classement du score. Cela crée une « marche d'escalier grossière » des compromis risque-couverture, plutôt qu'un curseur fluide, rendant le système inflexible face à des budgets d'erreur spécifiques.

2. Méthodologie

Configuration expérimentale

L'étude évalue sept constructions de confiance à travers 25 paires modèle-jeu de données (9 LLM de forces variables sur 3 benchmarks : BoolQ, MNLI et PubMedQA). Les modèles vont de modèles puissants (ex: GPT-4o-mini, Llama-3.1-70B) à des modèles plus faibles (ex: GPT-5-nano, Llama-3.1-8B).

Constructions de confiance

Les auteurs comparent des méthodes appartenant à deux catégories :

Single-Shot (1 appel de modèle) :
- Verbalisation (Verb) : Confiance verbalisée convertie en probabilité de classe (gestion des prédictions de la classe négative via $P(pos) = 1-c$ si $\hat{y}=0$ ).
- Verb-logprob : Log-probabilités du premier jet (là où l'accès API le permet).
- Verb-logprob+T : Log-probabilités avec mise à l'échelle de la température (temperature scaling) post-hoc.
Multi-Signal (10 appels de modèle par entrée) :
- Décomposition en sous-tâches : Le modèle répond à 10 sous-questions oui/non interprétables et conçues à la main (ex: « chevauchement_lexical », « implication_sémantique »).
- Paraphrase multi-prompts : Le modèle répond à 10 versions paraphrasées du prompt original.
- Agrégation : Les 10 scores scalaires sont combinés via :
  - Moyenne simple : Moyenne naïve.
  - Combinaison apprise (LR) : Régression logistique avec régularisation L2 pour apprendre les poids et les signes.
  - Calibration : Mise à l'échelle de la température appliquée aux logits de la régression logistique.

Métriques

L'étude évalue les scores selon trois axes :

Qualité du classement : Mesurée par la PR-AUC (et la PR-AUC $_N$ normalisée) et l'AURC (Aire sous la courbe Risque-Couverture).
Résolution du score : Mesurée par :
- Granularité ( $G$ ) : Nombre de valeurs de scores distinctes.
- Entropie du score ( $H$ ) : Dispersion de la distribution sur 20 classes.
- Masse intérieure ( $M$ ) : Fraction des scores dans la plage utile $(0,1, 0,9)$ .
Coût et Interprétabilité : Nombre d'appels de modèle et capacité à auditer le raisonnement (les sous-tâches permettent cela ; les paraphrases non).

3. Résultats Clés

Le fossé de la granularité

Confiance verbalisée (Verb) : Classe les cas de manière étonnamment efficace (PR-AUC $_N$ moyenne = 0,80) mais est extrêmement grossière. Elle n'offre généralement que 1 à 21 valeurs distinctes (moyenne $G=9$ ), avec 45 % des cas partageant la valeur la plus commune. Cela limite l'opérateur à environ 9 seuils, créant une courbe risque-couverture en escalier.
Résolution vs Classement : Un haut niveau de classement n'implique pas une haute résolution. Un score peut ordonner les cas parfaitement tout en étant inutilisable pour le seuillage s'il manque de valeurs distinctes.

Effets de l'agrégation

Expansion de la résolution : L'agrégation multi-requêtes (Sub-cal, MP-LR) augmente systématiquement la résolution, portant $G$ à une moyenne de 138 et remplissant la masse intérieure ( $M \approx 45 \%$ ).
Impact sélectif sur le classement :
- Modèles faibles : L'agrégation améliore le classement pour les modèles ayant une précision $\lesssim 85 \%$ .
- Modèles forts : L'agrégation peut dégrader le classement pour les modèles performants (précision $\gtrsim 90 \%$ ). Les poids appris peuvent perturber le classement déjà bon des scores verbalisés, entraînant une moins bonne AURC dans 13 des 18 paires de modèles forts.
Appris vs Naïf : La moyenne simple échoue souvent (ex: chute proche du hasard sur MNLI) en raison de polarités conflictuelles dans les sous-tâches. La régression logistique apprise est essentielle pour récupérer le signal en assignant les bons signes et poids.

Interprétabilité

Sous-tâches vs Paraphrases : L'agrégation par paraphrase (MP-LR) égale ou dépasse souvent l'agrégation par sous-tâches (Sub-LR) en termes de classement. Cependant, les sous-tâches fournissent des propriétés de déploiement : transparence des poids, attribution d'erreurs et pistes d'audit (rationales pour chaque sous-score).
Modes de défaillance : Les sous-tâches peuvent échouer si les sondes conçues à la main ne suivent pas l'étiquette (ex: un modèle spécifique s'effondrant sur BoolQ), mais ces échecs sont visibles et auditables, contrairement aux échecs silencieux des ensembles de paraphrases boîtes noires.

Probabilités de jetons (Tokens)

Lorsque disponibles, les log-probabilités brutes offrent une meilleure résolution que les scores verbalisés. La mise à l'échelle de la température post-hoc améliore significativement la résolution (augmentant $G$ à 51–69) et la couverture à de faibles taux d'erreur, le tout à un coût de 1x.

4. Guide de Déploiement

L'article propose une procédure de décision basée sur la force du modèle et les contraintes :

Toujours convertir la confiance verbalisée en probabilité de classe.
Si les log-probabilités sont disponibles : Utilisez-les avec une mise à l'échelle de la température (meilleur compromis coût/résolution).
Si le modèle est faible ( $\lesssim 85 \%$ de précision) : Utilisez l'agrégation multi-requêtes (coût 10x) pour améliorer à la fois le classement et la résolution.
Si le modèle est fort ( $\gtrsim 90 \%$ de précision) : Restez sur la confiance verbalisée pour le risque-couverture (pour éviter la dégradation). Utilisez l'agrégation uniquement si un contrôle de seuil fin est strictement requis.
Si l'interprétabilité est requise : Préférez la décomposition en sous-tâches à la paraphrase, car elle offre la transparence sans sacrifier le classement (par rapport à MP-LR).

5. Signification et Revendications

L'article affirme que l'on doit déplacer le paradigme d'évaluation de la confiance des LLM d'un binaire « est-ce fiable ? » vers un « à quelle résolution peut-on agir ? » orienté vers le déploiement.

Recadrage de l'« infiabilité » : Le récit selon lequel « la confiance des LLM est peu fiable » est en partie un artefact de la confusion entre la confiance dans la réponse et la probabilité de classe, ainsi que l'omission de la résolution. Une fois convertie, la confiance verbalisée classe bien les cas mais manque de granularité.
Clarté des compromis : L'étude sépare explicitement le classement, la couverture de risque globale et la contrôlabilité des seuils. Elle démontre que l'agrégation achète de manière fiable des points de fonctionnement (contrôle plus fin) mais n'améliore pas universellement le classement, et peut nuire aux modèles forts.
L'interprétabilité comme propriété : Les auteurs soutiennent que l'interprétabilité n'est pas un avantage de classement mais une propriété de déploiement nécessaire dans les domaines réglementés, réalisable via les scores de sous-tâches.

Les auteurs concluent que les évaluations futures doivent rapporter des métriques de résolution (granularité, entropie, masse intérieure) aux côtés des métriques de classement, car un score qui classe parfaitement mais n'offre qu'une poignée de seuils n'est pas prêt pour le déploiement.