📊 statistics

When to Trust Confidence Thresholding: Calibration Diagnostics for Pseudo-Labelled Regression

Cet article présente un cadre diagnostique conscient de l'étalonnage qui dérive une expression analytique de la biais d'atténuation induit par le seuillage de la confiance dans la régression à pseudo-étiquetage, permettant aux praticiens d'utiliser une règle de décision calculable basée sur la variance du score de résidu pour déterminer lorsque ce seuillage est sûr pour l'inférence en aval.

Auteurs originaux : Marcell T. Kurbucz

Publié 2026-05-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Marcell T. Kurbucz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre une énigme concernant une grande foule de personnes. Vous disposez d'un petit groupe de suspects dont vous savez avec certitude s'ils sont coupables ou innocents (vos données étiquetées). Mais vous avez une foule massive de personnes sur lesquelles vous ne savez rien (vos données non étiquetées).

Vous possédez un « Détecteur de Culpabilité » haute technologie (un classifieur d'apprentissage automatique) qui observe la foule et attribue à chacun un « Score de Culpabilité » compris entre 0 % et 100 %. Ce score est calibré, ce qui signifie que si le détecteur indique « 50 % », cela signifie réellement qu'il y a 50 % de chances qu'ils soient coupables.

L'Erreur Courante : La Règle du « Tout ou Rien »

La plupart des détectives (et des scientifiques des données) prennent un raccourci. Ils disent : « Si le Score de Culpabilité dépasse 90 %, je les qualifierai simplement de "Coupables" (1). S'il est inférieur à 10 %, je les qualifierai d'"Innocents" (0). Pour tous les autres, je les ignorerai. »

Ceci est appelé le seuillage par confiance. Il transforme une probabilité floue et nuancée en une étiquette dure et binaire.

Le Problème : Ce raccourci est dangereux. En forçant un score flou à devenir un « Oui » ou un « Non » catégorique, vous perdez de l'information. C'est comme écraser un objet 3D en une ombre plate ; vous perdez la profondeur. Lorsque vous utilisez ces étiquettes « écrasées » pour calculer des statistiques plus tard, vos résultats deviennent biaisés (ils sont systématiquement erronés, généralement trop faibles).

La Solution de l'Article : Le « Jauge de Confiance »

Cet article ne vous dit pas d'arrêter d'utiliser le raccourci. Au contraire, il vous fournit un outil de diagnostic (un « Jauge de Confiance ») pour vérifier avant de commencer votre analyse. Il répond à la question : « Est-il sûr pour moi de transformer ces scores flous en étiquettes dures, ou vais-je ruiner mes résultats ? »

Voici comment fonctionne le « Jauge de Confiance » de l'article, en utilisant des analogies simples :

1. La Vérification du « Bruit » (Le Concept $V^*$ )

Imaginez que votre Détecteur de Culpabilité observe la foule à travers une fenêtre embuée.

Le Brouillard ( $X$ ) : Ce sont les faits de base que vous connaissez déjà sur tout le monde (par exemple, l'âge, le métier, le genre).
La Vue Claire ( $W$ ) : Ce sont les détails supplémentaires que le détecteur perçoit (par exemple, les micro-expressions faciales, le ton de la voix, la démarche) et que vous n'utilisez pas dans votre calcul final.

L'article introduit un concept appelé $V^*$ . Imaginez cela comme une mesure de la quantité de « brouillard » restante après avoir pris en compte les faits de base.

Si $V^*$ est zéro : Le détecteur ne fait que répéter les faits de base que vous connaissez déjà. Il n'a aucune information nouvelle. Si vous essayez d'utiliser ce détecteur, vos mathématiques échoueront. C'est comme essayer de deviner la météo en regardant une photo du ciel que vous possédez déjà.
Si $V^*$ est élevé : Le détecteur voit des choses que vous ne voyez pas. Il possède une « connaissance secrète ». C'est bon. Cela signifie que le détecteur apporte une valeur ajoutée.

La Règle : Si votre détecteur ne fait que répéter ce que vous savez déjà ( $V^* \approx 0$ ), ne lui faites pas confiance. S'il voit quelque chose de nouveau ( $V^* > 0$ ), vous pourriez être en sécurité.

2. La Vérification de la « Perte de Signal » (Le Concept $\kappa$ )

Maintenant, imaginez que vous décidez d'utiliser la règle du « Tout ou Rien » (le seuil de 90 %). Quelle part de la « connaissance secrète » du détecteur jetez-vous ?

L'article calcule un nombre appelé $\kappa$ (kappa).

$\kappa = 1.0$ : Vous avez conservé 100 % du signal. Le seuil était parfait ; vous n'avez perdu aucune information.
$\kappa = 0.2$ : Vous avez jeté 80 % du signal. Votre résultat final ne sera que 20 % aussi fort qu'il devrait l'être.

La Magie : L'article montre que vous pouvez calculer ce nombre $\kappa$ avant même d'exécuter votre analyse finale. Il vous suffit d'observer la foule non étiquetée et les scores du détecteur.

La Règle de Décision (Le « Feu de Circulation »)

L'article fournit aux praticiens une règle de décision simple en trois étapes (Algorithme 1) pour décider quoi faire :

Vérifiez le Brouillard ( $V^*$ ) : Le détecteur voit-il quelque chose de nouveau ?
- Non : Feu Rouge. Arrêtez-vous. Le détecteur est inutile pour cette tâche spécifique. Restez avec votre petit groupe de suspects connus.
- Oui : Passez à l'étape 2.
Vérifiez la Perte de Signal ( $\kappa$ ) : Si vous utilisez un seuil dur (comme 90 %), combien de signal perdez-vous ?
- Perte Élevée (Faible $\kappa$ ) : Feu Jaune. N'utilisez pas les étiquettes dures « Oui/Non ». Utilisez plutôt directement les scores flous (la méthode « Douce »). Il est plus sûr de conserver la nuance.
- Perte Faible (Élevé $\kappa$ ) : Feu Vert. Vous pouvez transformer les scores en étiquettes dures en toute sécurité. Le raccourci est sûr à utiliser.

Pourquoi Cela Importe

L'article prouve mathématiquement que vous pouvez prédire exactement dans quelle mesure vos résultats seront « atténués » (affaiblis) avant même de lancer l'expérience.

La Voie « Douce » : Utiliser directement les scores flous. C'est précis mais peut être bruyant si vous n'avez pas assez de données.
La Voie « Dure » : Utiliser les étiquettes « Oui/Non ». C'est propre mais souvent biaisé (trop faible) si vous coupez trop de données.
La Voie « Supervisée » : N'utiliser que le petit groupe dont vous êtes certain.

La contribution de l'article est une calculatrice qui vous indique : « Étant donné vos données spécifiques et votre détecteur spécifique, lequel de ces trois chemins vous donnera la réponse la plus précise ? »

Résumé en Une Phrase

Ne transformez pas aveuglément des probabilités floues en étiquettes dures ; utilisez cette nouvelle « Jauge de Confiance » pour vérifier si votre détecteur possède suffisamment d'informations uniques et si votre seuil choisi est trop sévère, afin de vous assurer de ne pas jeter accidentellement les preuves dont vous avez besoin.

Résumé technique : Diagnostic de calibration pour la régression à pseudo-étiquettes

1. Énoncé du problème

Les pipelines d'apprentissage automatique modernes utilisent de plus en plus des scores de probabilité calibrés issus de classificateurs entraînés sur de petits sous-ensembles étiquetés ( $L$ ) pour éclairer des tâches de régression en aval sur de grandes populations non étiquetées ( $U$ ). Les applications courantes incluent l'estimation d'effets au niveau de la population, de prévalences ou de disparités pour des groupes latents (par exemple, des attributs protégés dans les audits d'équité ou le risque de maladie en imagerie médicale).

Une pratique dominante dans ce cadre semi-supervisé est le pseudo-étiquetage : convertir la probabilité calibrée $p$ en une étiquette binaire dure $\hat{G}$ en appliquant un seuil de confiance $\tau_{thr}$ (par exemple, 0,9). Bien que empiriquement réussi pour la classification, cet article comble une lacune critique : comment ce seuillage biaise-t-il le coefficient de régression en aval ? La littérature existante manque d'un compte rendu quantitatif de la manière dont le seuillage de confiance atténue ou déforme l'estimande d'intérêt, spécifiquement dans le contexte des modèles de régression partiellement linéaires où l'objectif est d'estimer l'association entre un indicateur de groupe latent $G$ et un résultat $Y$ , en contrôlant les covariables $X$ .

2. Méthodologie et configuration

L'article opère dans un cadre où :

Données : Deux échantillons i.i.d. sont observés : un ensemble étiqueté $L = \{(W_i, X_i, G_i, Y_i)\}$ et un ensemble non étiqueté plus large $U = \{(W_i, X_i, Y_i)\}$ .
Caractéristiques : Le classificateur est entraîné sur un ensemble de caractéristiques $W$ , tandis que la régression en aval contrôle un sous-ensemble $X \subseteq W$ . Crucialement, l'article impose une séparation structurelle où $W$ doit être strictement plus riche que $X$ ( $X \subsetneq W$ ) pour assurer l'identifiabilité.
Modèle : Le paramètre cible $\tau$ est défini via une régression partiellement linéaire : $E[Y | G, X] = \mu(X) + \tau G$ .
Hypothèse : La sortie du classificateur $p = f(W)$ est conditionnellement calibrée, satisfaisant $E[G | p, X] = p$ .

S'appuyant sur un résultat d'identification complémentaire [8], les auteurs utilisent une équation de moment pour identifier $\tau$ en utilisant directement le score calibré $p$ (l'estimateur « doux »). Ils analysent ensuite les propriétés de l'estimateur « dur », qui remplace $p$ par une étiquette binaire seuillée $\hat{G} = \mathbb{1}\{p > \tau_{thr}\}$ .

3. Contributions clés et résultats théoriques

L'article dérive cinq prédictions spécifiques et une procédure de diagnostic, formalisées comme suit :

I. Biais d'atténuation sous forme fermée (Prédiction 1)
L'article dérive une expression sous forme fermée pour le biais d'atténuation induit par le pseudo-étiquetage dur. La limite en probabilité de l'estimateur dur $\hat{\tau}_{hard}$ est :
$\text{plim } \hat{\tau}_{hard} = \kappa(\tau_{thr}) \cdot \tau$
où le facteur d'atténuation $\kappa(\tau_{thr})$ est la pente OLS de la population de l'étiquette dure résidualisée sur le score doux résidualisé.

Signification : Ce facteur est calculable avant toute inférence, uniquement à partir de la distribution conjointe de $(p, X)$ sur l'ensemble non étiqueté. Il quantifie exactement la quantité de signal perdue lors de la binarisation de la probabilité à un seuil spécifique.

II. Variance en sandwich pour les estimateurs doux (Prédiction 2)
La variance asymptotique de l'estimateur doux (utilisant $p$ directement) évolue inversement au carré de la variance du score résiduel $V^* = E[\text{Var}(p|X)]$ .

Implication : Même des réductions modestes de l'informativité du score (faible $V^*$ ) entraînent des pertes massives de précision. L'article fournit un plug-in de variance en sandwich qui produit des intervalles de Wald valides.

III. Regret biais-variance du seuillage de confiance (Prédiction 3)
Pour les méthodes qui restreignent le pseudo-étiquetage à un sous-ensemble confiant (par exemple, style FixMatch), l'erreur quadratique moyenne (MSE) se décompose en un terme de biais au carré (piloté par $\kappa_{FM}$ ) et un terme de variance (gonflé par la taille d'échantillon réduite $|C|$ ).

Résultat : À mesure que le seuil devient plus sélectif, la variance croît de manière monotone tandis que le biais peut fluctuer. La MSE totale devient souvent pilotée par la variance, rendant l'estimateur doux supérieur dans de nombreux régimes, malgré son manque d'étiquettes « dures ».

IV. Limite de sensibilité sous dérive de calibration (Prédiction 4)
Sous un décalage de distribution borné où la condition de calibration tient avec une erreur $\eta(p, X)$ bornée par $\delta$ , le biais asymptotique est borné par :
$|\text{plim } \hat{\tau} - \tau| \leq |\tau| \frac{\delta E|2p-1|}{2V^*}$

Implication : Une variance résiduelle $V^*$ plus élevée (scores plus informatifs) réduit proportionnellement le biais maximal pour un niveau donné de dérive de calibration.

V. La frontière d'effondrement $V^*$ (Prédiction 5)
L'article identifie une frontière nette : $V^* = 0$ si et seulement si $p$ est une fonction déterministe de $X$ .

Exigence structurelle : Si les caractéristiques du classificateur $W$ sont identiques aux contrôles en aval $X$ , alors $p = f(X)$ , $V^*=0$ , et l'équation de moment devient non informative (l'identification échoue). Le remède consiste à s'assurer que $W$ contient des caractéristiques non contrôlées dans la régression en aval.

4. La procédure de diagnostic

Les auteurs proposent un algorithme de diagnostic pratique, d'une page (Algorithme 1), permettant aux praticiens de décider si le seuillage de confiance est sûr :

Calculer $V^*$ : Estimer la variance résiduelle du score calibré après régression de $X$ sur l'ensemble non étiqueté.
Calculer $\hat{\kappa}$ : Pour une grille de seuils, estimer le facteur d'atténuation.
Règle de décision :
- Si l'erreur standard implicite de l'estimateur doux est trop élevée (due à une faible $V^*$ ), privilégier la baseline supervisée (n'utilisant que $L$ ).
- Si $\hat{\kappa}$ est loin de 1 pour tous les seuils, le seuillage dur provoque une atténuation significative ; privilégier l'estimateur doux.
- Sinon, l'un ou l'autre est acceptable, bien que l'estimateur doux soit recommandé pour sa robustesse au choix du seuil.

5. Résultats expérimentaux

L'article valide ces prédictions à travers cinq simulations contrôlées et une illustration sur données réelles avec l'ensemble de données UCI Adult Income :

Atténuation : Les estimations empiriques de $\hat{\tau}_{hard}$ correspondaient aux prédictions $\kappa(\tau_{thr})$ sous forme fermée à travers six seuils différents avec une haute signification statistique.
Variance : La formule de variance en sandwich a prédit avec précision la variance de Monte Carlo et atteint une couverture nominale de 95 %.
Regret : Les expériences ont confirmé que les seuils à haute confiance conduisent souvent à une MSE élevée en raison de l'inflation de la variance, validant l'analyse du compromis biais-variance.
Sensibilité : La limite de sensibilité dérivée a tenu sous divers scénarios de dérive de calibration, le biais empirique restant bien en dessous de l'enveloppe théorique du pire cas.
Cas réel : Dans l'expérience UCI Adult, le diagnostic a correctement identifié que la baseline supervisée (OLS sur $L$ ) surpassait les estimateurs à pseudo-étiquettes car l'ensemble étiqueté était suffisamment informatif et la probabilité conditionnelle était bien expliquée par les contrôles (faible $V^*$ par rapport au bruit). Inversement, le diagnostic a montré que les étiquettes dures sur cet ensemble de données ont entraîné une atténuation minimale ( $\hat{\kappa} \approx 0,92$ ) en raison de la richesse des caractéristiques du classificateur.

6. Signification et revendications

L'article revendique une contribution opérationnelle plutôt qu'une nouvelle architecture algorithmique. Il ne propose pas un nouvel algorithme de pseudo-étiquetage ni ne rivalise avec les fonctions de perte de classification de pointe (comme FixMatch). Au lieu de cela, il fournit :

Une justification quantitative de la raison pour laquelle le seuillage de confiance biaise les coefficients de régression en aval.
Un outil de diagnostic (règle de décision $(V^*, \kappa)$ ) permettant aux praticiens de calculer, a priori, si l'utilisation d'étiquettes dures est sûre ou s'ils doivent s'en tenir aux scores doux ou à une approche purement supervisée.
Une perspective structurelle selon laquelle la séparation entre les caractéristiques du classificateur ( $W$ ) et les contrôles en aval ( $X$ ) n'est pas simplement un choix de conception, mais une nécessité mathématique pour l'identification dans ce cadre.

Les auteurs soulignent que leur cadre est « conscient de la calibration », traduisant la qualité abstraite de la calibration d'un classificateur en bornes concrètes sur le biais d'estimation en aval, comblant ainsi le fossé entre la performance de classification et l'inférence causale ou associatif.