🤖 AI

Estimating Uncertainty in Classifier Performance with Applications to Large Language Models and Nested Data

Cet article évalue les méthodes d'intervalles de confiance pour les mesures de performance des classifieurs dans des conditions typiques des sciences sociales appliquées à la classification de textes — telles que de petits échantillons et des données imbriquées — démontrant que les approches standards produisent souvent une couverture inexacte tout en recommandant des alternatives supérieures comme Agresti-Coull, Wilson et le bootstrap hiérarchique pour améliorer la transparence et la validation dans les applications d'apprentissage automatique.

Auteurs originaux : Kylie Anglin

Publié 2026-06-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kylie Anglin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef qui vient d'inventer une nouvelle recette pour un « Gâteau au chocolat parfait ». Vous voulez dire au monde entier à quel point il est bon. Vous ne vous contentez pas de dire : « Il est délicieux à 90 % ». Vous devez le prouver. Alors, vous invitez 20 personnes à le goûter. 18 d'entre elles disent : « Oui, c'est excellent ! »

Dans le monde de l'informatique et des grands modèles de langage (LLM), c'est exactement ce que font les chercheurs. Ils entraînent des ordinateurs à lire du texte et à le classer dans des catégories (comme « colérique », « joyeux » ou « spam »). Pour prouver que leur ordinateur est intelligent, ils présentent un échantillon de texte qui a déjà été évalué par des humains, et ils calculent un score, comme le « Rappel » (combien de textes « colériques » l'ordinateur a-t-il trouvés ?).

Le Problème : Le « Jeu de Devinettes » de la Confiance
L'article soutient que les chercheurs jouent actuellement un dangereux « Jeu de devinettes ». Ils rapportent leur score (par exemple, « 90 % de précision ! »), mais ils signalent rarement à quel point ils sont sûrs de ce chiffre.

Voyez cela comme une prévision météorologique. Si un météorologue dit : « Il y a 90 % de chances qu'il pleuve », c'est utile. Mais s'il dit simplement « Il va pleuvoir » sans préciser si cela est basé sur une image satellite ou une supposition, vous ne pouvez pas lui faire confiance.

Dans cet article, l'auteur, Kylie Anglin, affirme que lorsque les chercheurs utilisent de petits groupes de personnes pour tester leurs ordinateurs, ou lorsque la « pluie » (le texte spécifique qu'ils recherchent) est très rare, les méthodes standard pour calculer « à quel point nous sommes sûrs » (appelées intervalles de confiance) sont souvent défaillantes. Elles sont comme une règle qui rétrécit et s'étire de manière imprévisible.

Les « Règles Cassées » (Anciennes Méthodes)
L'article teste plusieurs façons de mesurer cette certitude. Il conclut que les deux méthodes les plus couramment utilisées aujourd'hui sont comme utiliser une règle en caoutchouc :

L'intervalle de Wald : C'est la méthode « classique ». Elle fonctionne bien si vous avez une foule immense et des résultats moyens. Mais si vous avez un petit groupe ou un score très élevé (comme 95 %), cette règle rétrécit trop. Elle vous dit : « Nous sommes sûs à 95 % que le score se situe entre 94 % et 96 % », alors qu'en réalité, le vrai score pourrait se situer n'importe où entre 80 % et 100 %. Cela donne un faux sentiment de précision.
Le Bootstrap de base : C'est une méthode où l'on simule l'expérience des milliers de fois sur un ordinateur pour voir ce qui se passe. L'article trouve que la version standard est également « instable » et sous-estime souvent le risque, surtout avec de petits groupes.

Les « Meilleures Règles » (Nouvelles Recommandations)
L'article suggère de remplacer ces règles en caoutchouc par des règles plus robustes qui ne s'étirent pas autant.

Pour les textes indépendants (Le test « Solo ») : Si chaque texte provient d'une personne différente et est totalement unique, l'auteur recommande d'utiliser la méthode Agresti-Coull. Voyez cela comme l'ajout d'un petit peu de « rembourrage de sécurité » à votre calcul. C'est simple, facile à calculer, et cela empêche la règle de trop rétrécir.
Pour les mesures complexes (Comme le F1) : Certains scores sont des combinaisons complexes de différentes choses (comme le score F1). On ne peut pas utiliser de formules simples pour ceux-là. L'auteur propose un nouveau tour appelé Régularisation par Pseudo-comptage. Imaginez que vous cuisinez un gâteau, mais que vous craignez de manquer d'ingrédients. Vous ajoutez un « ingrédient fantôme » (un œuf imaginaire et une tasse de farine imaginaire) à votre mélange avant de commencer. Cela stabilise la recette afin que votre résultat final ne s'effondre pas si vous n'avez que peu d'ingrédients réels. Cette méthode rend les simulations informatiques beaucoup plus fiables.

Le Problème de la « Chambre d'Écho » (Données Imbriquées)
C'est ici que cela devient délicat. Dans la vraie vie, les gens n'écrivent pas seulement une phrase ; ils en écrivent beaucoup. Un thérapeute peut écrire 30 notes ; un étudiant peut rédiger 20 essais. Ces textes sont « imbriqués » à l'intérieur de la personne. Ils ne sont pas indépendants ; ils partagent la même voix, le même style et les mêmes particularités.

Ces textes sont liés à la personne. Si vous traitez 30 notes d'une seule personne comme s'il s'agissait de 30 notes provenant de 30 personnes différentes, vous triche de la manière suivante : vous vous trompez en pensant avoir plus de données que vous n'en avez réellement. C'est comme demander à un seul ami de goûter votre gâteau 30 fois et compter cela comme 30 opinions différentes. Vous n'obtenez pas 30 opinions, mais une seule opinion répétée 30 fois.

Lorsque vous ignorez cet effet de « chambre d'écho » :

Vos intervalles de confiance deviennent trop étroits. Vous pensez être sûr à 95 %, mais vous n'êtes peut-être sûr qu'à 65 %.
La Solution : L'article suggère deux manières principales de corriger cela :
1. Ajuster les mathématiques : Utilisez une formule qui réduit votre « taille d'échantillon effective » pour tenir compte du fait que les textes sont liés. C'est comme dire : « Nous avons 30 notes, mais parce qu'elles proviennent de la même personne, elles ne comptent que comme 10 opinions indépendantes. »
2. Le Bootstrap Hiérarchique : Au lieu de simplement mélanger les notes individuelles dans une simulation informatique, vous mélangez d'abord les personnes, puis vous mélangez les notes à l'intérieur de celles-ci. Cela respecte le fait que les notes appartiennent à une personne spécifique.

Le Grand Enjeu
Le message principal de l'article est un appel à l'honnêteté dans le compte rendu.

Ne vous contentez pas de rapporter le score. Si vous dites que votre ordinateur est précis à 90 %, vous devez aussi dire : « Nous sommes sûrs à 95 % que le chiffre réel se situe entre X et Y. »
Utilisez les bons outils. N'utilisez pas les anciennes règles en caoutchouc (Wald ou Bootstrap de base) pour des ensembles de données de petite taille ou de haute performance. Utilisez les plus robustes (Agresti-Coull ou la nouvelle méthode de Pseudo-comptage).
Surveillez les regroupements. Si vos données proviennent des mêmes personnes écrivant plusieurs fois, vous devez ajuster vos mathématiques pour éviter une confiance excessive.

En utilisant ces meilleures méthodes, les chercheurs peuvent cesser de prétendre qu'ils en savent plus qu'ils n'en savent réellement. Cela les aide à réaliser quand ils doivent collecter plus de données (plus de personnes, plus de textes) pour obtenir un résultat véritablement fiable, plutôt que de simplement espérer que leur petit échantillon soit suffisant.

Résumé technique : Estimation de l'incertitude de la performance des classifieurs avec des applications aux grands modèles de langage et aux données imbriquées

Énoncé du problème
Les chercheurs utilisent de plus en plus la classification de texte — via des modèles supervisés ou des grands modèles de langage (LLM) — pour extraire des construits à partir de données en langage naturel. Bien que les mesures de performance telles que le rappel, la précision et le score F1 soient couramment rapportées pour valider ces modèles, elles sont fréquemment présentées sous forme d'estimations ponctuelles sans mesures d'incertitude statistique qui les accompagnent (par exemple, des intervalles de confiance ou des erreurs types). Lorsque l'incertitude est rapportée, les méthodes utilisées sont souvent inappropriées pour les conditions spécifiques typiques de la classification de texte en sciences sociales : tailles d'échantillon petites à modérées, construits peu fréquents (entraînant un faible nombre de cas positifs), taux de performance élevés (communs avec les LLM) et structures de données imbriquées (textes regroupés au sein d'individus). Les méthodes par défaut, telles que l'intervalle de Wald et le bootstrap de percentile de base, s'avèrent présenter une couverture inexacte, tombant souvent nettement en dessous du niveau nominal de 95 %, particulièrement lorsque les tailles d'échantillon sont petites ou que les proportions sont extrêmes. De plus, les procédures classiques d'estimation d'intervalle supposent des observations indépendantes et identiquement distribuées (i.i.d.), une hypothèse violée lorsque les textes sont imbriqués au sein d'individus, ce qui conduit à une sous-estimation de l'incertitude et à des intervalles de confiance trop étroits.

Méthodologie
L'article emploie une série d'études de simulation pour évaluer la couverture et la largeur de diverses méthodes d'intervalles de confiance dans des conditions typiques de la classification de texte.

Simulations de données indépendantes : Les auteurs simulent des proportions binomiales ( $p$ ) allant de 0,5 à 0,95 et des tailles d'échantillon ( $n$ ) de 10 à 500. Ils comparent des intervalles analytiques (Wald, Wilson, Agresti-Coull, Clopper-Pearson) à des intervalles bootstrappés (percentile, BCa, et un nouveau bootstrap régularisé par pseudo-comptage).
- Méthode novatrice : Un « bootstrap régularisé par pseudo-comptage » est proposé. Cela consiste à augmenter l'échantillon original avec des pseudo-observations (par exemple, ajouter un succès et un échec pour les proportions, ou ajouter des pseudo-observations à chaque quadrant de la matrice de confusion pour le score F1) avant le rééchantillonnage. Cela imite le comportement de l'intervalle analytique d'Agresti-Coull dans un cadre de bootstrap.
- Évaluation du F1 : Des simulations spécifiques évaluent la couverture du score F1 en faisant varier la précision et le rappel réels à travers des populations déséquilibrées (prévalence = 0,10).
Simulations de données imbriquées : Pour traiter la non-indépendance, les auteurs simulent des données hiérarchiques où les textes sont imbriqués au sein d'individus.
- Design : Une population de 2000 individus, chacun produisant 60 textes, est générée. Les schémas d'échantillonnage varient entre un « petit corpus » (moyenne d'environ 3 textes par individu) et un « corpus modéré » (moyenne d'environ 30 textes par individu).
- Méthodes testées : L'étude compare les intervalles analytiques non ajustés, les intervalles analytiques ajustés pour la taille d'échantillon effective ( $n_{eff}$ ) et les degrés de liberté de conception ( $df_{design}$ ), ainsi que les intervalles bootstrappés (bootstrap de grappe [cluster] vs bootstrap hiérarchique).
- Ajustements : Pour les données imbriquées, l'étude teste des ajustements utilisant l'effet de design (DEFF) basé sur le coefficient de corrélation intraclasse (ICC) et l'utilisation de quantiles $t$ au lieu de quantiles $z$ pour tenir compte de la réduction des degrés de liberté.

Principales contributions

Comparaison systématique : L'article fournit une évaluation systématique de la couverture des intervalles de confiance spécifiquement adaptée aux conditions de haute performance, de petits échantillons et de données imbriquées prévalentes en sciences sociales.
Identification des échecs par défaut : Il démontre que l'intervalle de Wald et le bootstrap de percentile de base sont les méthodes les moins précises, produisant souvent des taux de couverture aussi bas que 0,40–0,66 dans des scénarios de petits échantillons et de haute performance (ex: $p=0,95$ ).
Régularisation novatrice : Les auteurs introduisent et valident un bootstrap régularisé par pseudo-comptage. Cette méthode améliore la couverture pour les proportions et les métriques non proportionnelles (comme le F1) dans les petits échantillons et les régimes de haute performance, répondant au comportement erratique du bootstrap standard.
Orientation pour les données imbriquées : L'étude clarifie que pour les données imbriquées, l'augmentation du nombre de textes est insuffisante ; des ajustements pour la taille d'échantillon effective et les degrés de liberté de conception sont nécessaires. Elle compare le bootstrap de grappe au bootstrap hiérarchique, trouvant que le bootstrap hiérarchique est généralement plus précis mais peut être excessivement conservateur lorsque les individus produisent très peu de textes.
Planification de la taille d'échantillon : L'article fournit des tableaux et des visualisations illustrant la relation entre la taille de l'échantillon, le taux de performance et la largeur de l'intervalle de confiance, soulignant le coût élevé pour obtenir des intervalles étroits lorsque la performance est élevée ou que les tailles d'échantillon sont petites.

Résultats

Données indépendantes : Les intervalles analytiques Agresti-Coull, Wilson et Clopper-Pearson atteignent systématiquement une couverture proche ou supérieure au niveau nominal de 0,95, même avec de petits échantillons. Le bootstrap régularisé par pseudo-comptage performe de manière comparable pour les proportions et est la seule option robuste pour les scores F1 dans les petits échantillons. Wald et le bootstrap de percentile de base présentent systématiquement une sous-couverture.
Données imbriquées : Les intervalles non ajustés (traitant les textes comme indépendants) présentent une grave sous-couverture (ex: ~65 % de couverture alors que 95 % sont attendus) lorsque les textes sont imbriqués.
- Ajustements : Les intervalles ajustés pour $n_{eff}$ et $df_{design}$ (en utilisant spécifiquement les formules Agresti-Coull ou Wilson avec ces ajustements) fournissent une couverture précise.
- Performance du bootstrap : Le bootstrap hiérarchique régularisé par pseudo-comptage fournit une couverture précise dans toutes les conditions. Le bootstrap de grappe est plus précis (intervalles plus étroits) mais risque une sous-couverture, particulièrement quand le nombre de textes par individu est élevé (~30) et que le nombre d'individus est faible.
Sensibilité à la taille d'échantillon : La largeur des intervalles de confiance est hautement sensible au nombre d'individus dans les designs imbriqués plutôt qu'au nombre total de textes. Augmenter le nombre d'individus produit une plus grande précision statistique que d'augmenter le nombre de textes par individu.

Signification et affirmations
L'article soutient que la magnitude d'une métrique de performance est insuffisante sans une mesure de sa précision. L'absence d'intervalles de confiance précis menace la transparence des applications d'apprentissage automatique dans les sciences sociales, pouvant mener à une confiance excessive dans les inférences basées sur les modèles.

Les auteurs affirment que leur travail offre des recommandations fondées sur des preuves pour améliorer les normes de rapport :

Pour les données indépendantes, l'intervalle d'Agresti-Coull est recommandé comme défaut en raison de sa simplicité et de sa précision, le bootstrap régularisé par pseudo-comptage étant l'alternative préférée pour les métriques non proportionnelles comme le F1.
Pour les données imbriquées, les analystes doivent ajuster la taille d'échantillon effective et les degrés de liberté. Le bootstrap hiérarchique régularisé par pseudo-comptage est recommandé lorsque les ajustements analytiques sont impossibles.
L'article souligne la nécessité pour les chercheurs de considérer les exigences de taille d'échantillon dès la phase de conception, notant particulièrement que les construits rares et les niveaux de performance élevés nécessitent une planification minutieuse pour garantir des « tailles d'échantillon analytiques » suffisantes (par exemple, le nombre de cas positifs, et non seulement le nombre total de textes) pour soutenir une inférence fiable.

Les auteurs notent modestement les limites, incluant le fait que leurs simulations imbriquées supposent une structure ICC unique et que l'article se concentre sur l'estimation de l'incertitude plutôt que sur l'estimation non biaisée des métriques elles-mêmes. Ils appellent à des travaux futurs pour établir des références pour les valeurs courantes d'ICC et les plages de performance afin de mieux aider à la conception des études.

Articles similaires