Résumé Technique : Apprendre de l'incertitude des étiquettes manquantes pour la classification semi-supervisée

1. Énoncé du Problème

Dans la classification semi-supervisée, les étiquettes manquantes sont traditionnellement considérées comme une source de perte d'information, réduisant l'efficacité et compliquant l'inférence. Cependant, dans de nombreux scénarios pratiques — tels que l'imagerie médicale, l'apprentissage actif et la modération en ligne — les étiquettes ne sont pas manquantes de manière aléatoire (MAR) au sens passif. Au contraire, la probabilité qu'une étiquette soit manquante dépend souvent des caractéristiques observées ($Y$) et, surtout, de l'incertitude de la classification postérieure dérivée du modèle d'étiquetage lui-même.

Le problème central abordé est la manière de caractériser le contenu informationnel de ces étiquettes manquantes dépendantes de l'incertitude. Alors que la théorie de l'information classique dicte que l'observation d'une version réduite d'une expérience complète ne peut augmenter l'information au-delà de l'expérience augmentée sur les données complètes, cet article examine si l'indicateur d'absence (missingness indicator) ($M$) peut, lorsqu'il est généré par un mécanisme dépendant de l'incertitude, agir comme un signal observable qui améliore l'estimation et la performance de classification par rapport aux références standards entièrement étiquetées ou partiellement étiquetées non informatives sous un budget fixe.

2. Méthodologie

2.1. Cadre Statistique

Les auteurs considèrent un cadre de classification avec $g$ classes, des caractéristiques $Y$, et des étiquettes $Z$. L'indicateur d'absence $M \in \{0, 1\}$ désigne si une étiquette est observée ($M=0$) ou manquante ($M=1$). Le mécanisme d'absence est modélisé comme :
$$r_{\theta,\xi}(Y) = \Pr(M=1 \mid Y; \theta, \xi) = h\{\eta_{\theta,\xi}(Y)\}$$
où $h$ est une fonction de lien inverse, et $\eta_{\theta,\xi}(Y)$ est un prédicteur dépendant des paramètres du modèle d'étiquetage $\theta$, des paramètres du mécanisme $\xi$, et d'un résumé de l'incertitude de classification postérieure $u(Y; \theta)$. Les exemples de $u(Y; \theta)$ incluent l'entropie de Shannon postérieure, le logarithme négatif de l'entropie, ou la variance postérieure.

La vraisemblance des données observées est construite comme suit :
$$L(\theta, \xi) = \prod_{j=1}^n \{p_\theta(Y_j, Z_j)[1 - r_{\theta,\xi}(Y_j)\}^{1-M_j} \{p_\theta(Y_j)r_{\theta,\xi}(Y_j)\}^{M_j}$$
où le premier terme s'applique lorsque les étiquettes sont observées et le second (densité marginale des caractéristiques) lorsqu'elles sont manquantes.

2.2. Décomposition de l'Information

La contribution méthodologique centrale est une théorie de l'information basée sur la vraisemblance qui décompose l'information de Fisher observée $I_{obs}(\theta)$.

Cas correctement spécifié :
En utilisant l'identité de l'information de Fisher de Louis pour les données complètes, les auteurs dérivent une décomposition séparant l'information en une composante de l'étiquetage partiel et un terme de courbure du mécanisme :
$$I_{obs}(\theta) = \underbrace{I_{CC}(\theta) - I_{CC}^{(miss,r)}(\theta, \xi)}_{\text{Composante d'étiquetage partiel}} + \underbrace{I_{mech}(\theta, \xi)}_{\text{Courbure du mécanisme}}$$

• $I_{CC}(\theta)$ : Information de Fisher des données complètes.
• $I_{CC}^{(miss,r)}(\theta, \xi)$ : Perte d'information manquante pondérée.
• $I_{mech}(\theta, \xi)$ : Un terme semi-positif défini quantifiant la courbure contribuée par les indicateurs d'absence $M_j$ observés. Pour les liens logistiques, ce terme dépend de la variance de la probabilité d'absence et du gradient du résumé d'incertitude.

Cas mal spécifié :
Reconnaissant que le modèle d'étiquetage et le mécanisme peuvent être mal spécifiés en pratique, les auteurs étendent le cadre au cadre de covariance Godambe–Eicker–Huber–White (sandwich). Ils dérivent les partitions de sensibilité et de covariance-sandwich pour l'estimation conjointe de $(\theta, \xi)$, montrant que la décomposition structurelle (étiquetage partiel + courbure du mécanisme) persiste même sous mal spécification, bien que la quantification de l'incertitude passe de l'information de Fisher inverse à la covariance sandwich.

2.3. Bornes Théoriques

L'article clarifie la relation entre l'expérience partiellement étiquetée observée et l'expérience « augmentée » où à la fois les étiquettes et les indicateurs de mécanisme sont observés. Il prouve que si l'absence dépendante de l'incertitude peut produire une absence favorable (une information supérieure à une référence non informative appariée sur le budget), elle ne peut excéder la borne d'information de l'expérience augmentée $(Y, Z, M)$. Les données observées $(Y, M, Z_{obs})$ sont un amenuisement (coarsening) des données augmentées, satisfaisant les inégalités d'information standard.

2.4. Analyse de Risque

Pour les classifieurseurs de type "plug-in", les auteurs connectent la décomposition de l'information aux bornes d'excès de risque basées sur la marge. Dans les contextes de mélanges à deux composantes réguliers, ils établissent que l'excès de risque converge au taux paramétrique $O_p(n^{-1})$. Les constantes de ce taux sont déterminées par l'information ajustée par les variables de nuisance dans les directions discriminantes, impliquant qu'une courbure de mécanisme favorable peut réduire la variance asymptotique de la frontière de décision.

3. Contributions Clés

1. Décomposition de l'Information : Dérivation d'une décomposition de l'information de Fisher qui isole explicitement un terme de « courbure de mécanisme » non négatif. Ce terme explique comment l'indicateur d'absence, lorsqu'il dépend de l'incertitude postérieure, porte une information supplémentaire sur le classifieur.
2. Robustesse sous Mal Spécification : Extension de la décomposition au cadre de la covariance sandwich sous mal spécification conjointe du modèle d'étiquetage et du mécanisme d'absence, fournissant une base rigoureuse pour l'inférence dans des contextes pratiques où des modèles de travail sont utilisés.
3. Taux d'Excès de Risque : Établissement de bornes d'excès de risque basées sur la marge pour les classifieurs plug-in sous absence dépendante de l'incertitude, démontrant qu'une absence favorable conduit à une amélioration des performances de classification (variance asymptotique réduite) sous des budgets d'étiquetage fixes.
4. Clarification de l'« Absence Favorable » : Une définition rigoureuse et une preuve que l'absence favorable est un gain relatif par rapport aux références non informatives ou entièrement étiquetées appariées sur le budget, et non une violation des inégalités d'information classiques concernant l'expérience augmentée sur les données complètes.

4. Résultats

4.1. Illustrations Numériques (Mélanges Gaussiens)

• Gain d'Information : Dans un contexte de mélange gaussien à deux composantes, les simulations de Monte Carlo démontrent que les mécanismes d'absence dépendants de l'entropie peuvent générer une augmentation de trois fois de l'information de Fisher le long de la direction discriminante par rapport à une référence non informative (MCAR) avec le même taux d'absence.
• Dépendance au Régime : Le gain d'information est non monotone par rapport au taux d'absence et à la sensibilité du design. Il est maximisé lorsqu'il y a un chevauchement de classes modéré, un taux d'absence non excessif, et un mécanisme suffisamment sensible pour concentrer l'absence près des observations à haute incertitude sans saturation.
• Analyse Coût-Bénéfice : Sous un budget total fixe (équilibrant le coût de collecte des caractéristiques et le coût d'étiquetage), le taux d'absence optimal augmente avec le coût relatif de l'étiquetage. Les designs dépendants de l'incertitude permettent des tailles d'échantillon de caractéristiques plus grandes tout en maintenant ou en améliorant l'efficacité de l'estimation par rapport aux designs entièrement supervisés.

4.2. Étude de Cas (Diagnostic Médical)

Le cadre a été appliqué à un ensemble de données de gastro-entérologie (vidéos de coloscopie) où les étiquettes provenaient du consensus d'endoscopistes.

• Validation du Mécanisme : Les données ont confirmé que l'absence d'étiquette (manque de consensus) était fortement associée à une entropie postérieure plus élevée (incertitude).
• Performance : Les modèles semi-supervisés (SSL) basés sur l'entropie ont surpassé un benchmark supervisé entraîné uniquement sur les 35 cas étiquetés disponibles.
  • Le modèle SSLlogit a obtenu le taux d'erreur de prédiction le plus bas (0,1325) par rapport au benchmark supervisé (0,1775).
  • Les modèles SSL ont présenté des matrices d'information de Fisher ajustées plus grandes, indiquant une efficacité d'estimation plus élevée pilotée par le terme de courbure du mécanisme.

5. Signification et Revendications

L'article affirme fournir un cadre basé sur la vraisemblance pour comprendre comment l'absence dépendante de l'incertitude remodèle la géométrie de l'information de l'apprentissage semi-supervisé. Sa signification réside dans :

• Recadrage de l'Absence : Passer de la perspective de l'étiquette manquante comme un élément de nuisance à imputer ou à ignorer, à un signal structuré qui peut être explicitement modélisé pour améliorer l'inférence.
• Résolution du Paradoxe : Clarifier que l'« absence favorable » ne viole pas la théorie de l'information classique ; elle exploite plutôt le fait que l'indicateur d'absence $M$ est une variable observable générée par un mécanisme lié à l'incertitude du classifieur.
• Utilité Pratique : Démontrer qu'un modèle explicite du mécanisme d'absence (par exemple, via un masquage dépendant de l'entropie) peut conduire à des améliorations tangibles tant dans l'estimation des paramètres (via une augmentation de l'information de Fisher) que dans la précision de la classification (via une réduction de l'excès de risque) sous des contraintes de ressources fixes.
• Robustesse : Fournir un fondement théorique (via l'estimateur sandwich) qui reste valide même lorsque les modèles de travail pour la distribution des étiquettes ou le mécanisme d'absence sont imparfaits, ce qui est typique des applications réelles.

Les auteurs concluent que bien que les gains soient locaux et dépendants du régime, le cadre offre un moyen systématique de tirer parti des effets de sélection dans la collecte de données pour un apprentissage semi-supervisé plus efficace.