📊 statistics

Semi-Supervised Mixture Models under the Concept of Missing at Radom with Margin Confidence and Aranda Ordaz Function

Cet article propose un cadre d'apprentissage semi-supervisé pour les modèles de mélange gaussien sous un mécanisme de données manquantes au hasard qui estime conjointement les paramètres du modèle et une fonction de probabilité de l'absence — modélisée via la confiance de marge et le lien d'Aranda Ordaz — afin de réduire le biais et d'améliorer la robustesse de la classification grâce à un algorithme d'Espérance-Maximisation Conditionnelle efficace.

Auteurs originaux : Jinyang Liao, Ziyang Lyu

Publié 2026-01-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jinyang Liao, Ziyang Lyu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à reconnaître deux types d'oiseaux : les Rouge-gorges et les Moineaux. Vous avez un énorme album photo, mais il y a un hic : pour la plupart des photos, l'étiquette indiquant « Rouge-gorge » ou « Moineau » a été arrachée. Vous n'avez des étiquettes que pour quelques photos.

C'est le problème de l'Apprentissage Semi-Supervisé. Le robot doit deviner les étiquettes des photos non étiquetées en se basant sur les quelques photos qu'il connaît.

Le Problème : Les photos « Confuses »

Habituellement, quand nous perdons des étiquettes, nous supposons qu'elles ont été arrachées de manière aléatoire, comme si l'on tirait des noms dans un chapeau. Mais en réalité, les étiquettes manquent souvent pour une raison précise : les photos sont déroutantes.

Si une photo ressemble à un mélange parfait entre un Rouge-gorge et un Moineau (un oiseau « flou »), un humain pourrait hésiter à l'étiqueter, ou un système pourrait supprimer l'étiquette par incertitude. C'est ce qu'on appelle « Manquant de façon aléatoire » (MAR) dans le langage de l'article, mais voyez cela comme « Manquant à cause de l'incertitude ».

Si le robot ignore ce fait et se contente de deviner, il devient biaisé. Il pourrait se dire : « Oh, je n'ai des étiquettes que pour les Rouge-gorges très nets, donc je vais supposer que tous les oiseaux qui ressemblent un peu à des Rouge-gorges sont des Rouge-gorges. » Cela conduit à de mauvaises prédictions.

La Solution : Une façon plus intelligente de deviner

Les auteurs (Liao et Lyu) ont construit un nouvel outil pour aider le robot à mieux apprendre. Voici comment leur méthode fonctionne, décomposée en parties simples :

1. Mesurer la « Confiance » (Marge de Confiance)

D'abord, le robot doit savoir à quel point il est incertain concernant une photo.

L'ancienne méthode : Ils utilisaient une formule mathématique complexe appelée « Entropie » pour mesurer la confusion. C'est comme essayer de mesurer la température d'une pièce avec un thermomètre très sensible et coûteux qui met beaucoup de temps à lire la température.
La nouvelle méthode : Ils utilisent la Marge de Confiance. Imaginez que le robot parie sur l'oiseau. S'il parie 90 % sur le Rouge-gorge et 10 % sur le Moineau, il est très confiant. S'il parie 51 % sur le Rouge-gorge et 49 % sur le Moineau, il est très confus.
L'analogie : Au lieu du thermomètre complexe, ils utilisent un simple « compteur d'écart ». Ils mesurent simplement l'écart entre le meilleur choix et le deuxième meilleur choix. Si l'écart est énorme, le robot est sûr de lui. Si l'écart est minuscule, le robot est confus. L'article montre que ce simple écart est presque aussi efficace que le thermomètre complexe, mais beaucoup plus rapide à calculer.

2. Le Connecteur « Flexible » (Fonction Aranda–Ordaz)

Maintenant, le robot doit relier son « niveau de confusion » au « niveau de l'étiquette manquante ».

L'ancienne méthode : La plupart des méthodes utilisent un connecteur rigide et symétrique (lien Logit). Imaginez une balançoire à bascule qui ne fonctionne parfaitement que si le poids est exactement équilibré des deux côtés. Mais dans la réalité, la confusion n'est pas toujours équilibrée. Parfois, le robot est confus d'une manière étrange et asymétrique.
La nouvelle méthode : Ils utilisent un connecteur flexible appelé la fonction Aranda–Ordaz (AO). Voyez cela comme une balançoire à bascule flexible. Elle peut se tordre et pivoter pour s'adapter à la manière étrange et asymétrique dont les étiquettes manquent réellement. Cela permet au modèle de s'adapter à la forme spécifique de l'« absence » dans les données.

3. Le Processus d'Apprentissage (Algorithme ECM)

Le robot utilise une boucle d'entraînement spéciale appelée ECM (Expectation–Conditional Maximization / Maximisation Conditionnelle de l'Espérance).

Étape A (Deviner) : Le robot regarde les photos non étiquetées et devine de quel oiseau il s'agit, tout en devinant pourquoi l'étiquette manque (était-ce trop confus ?).
Étape B (Ajuster) : Il met à jour ses règles internes sur la base de ces devinettes.
Étape C (Répéter) : Il répète l'opération jusqu'à ce que les devinettes ne changent plus.

Qu'ont-ils découvert ?

Les auteurs ont testé cette nouvelle méthode de la « balançoire flexible » contre l'ancienne méthode de la « balançoire rigide ».

Dans les simulations : Ils ont créé de fausses données d'oiseaux où les étiquettes étaient supprimées spécifiquement lorsque les oiseaux semblaient confus.
- L'ancienne méthode s'est embrouillée et a commencé à faire de mauvaises prédictions.
- La nouvelle méthode a réalisé : « Ah, les étiquettes manquantes signifient que ce sont les cas difficiles ! » et a ajusté ses règles en conséquence. Elle était bien meilleure pour prédire le bon oiseau et était plus honnête sur son degré de certitude.
Dans la vie réelle (Le télescope MAGIC) : Ils ont testé cela sur un véritable ensemble de données concernant des particules spatiales (Rayons gamma vs Hadrons).
- Là encore, la nouvelle méthode a mieux résisté lorsque le nombre d'étiquettes diminuait. Elle n'a pas "crashé" lorsque les données sont devenues rares.
- Cependant, ils ont noté une limite : si vous supprimez trop d'étiquettes (comme 90 %), même la méthode la plus intelligente aura du mal car il n'y a tout simplement plus assez d'informations pour apprendre.

L'essentiel à retenir

L'article affirme qu'en admettant que « les étiquettes manquent parce que les données sont confuses », et en utilisant un outil mathématique flexible pour gérer cette confusion, nous pouvons construire des modèles d'apprentissage automatique plus robustes et moins biaisés.

C'est comme enseigner à un étudiant non pas seulement en lui montrant les réponses, mais en comprenant quelles questions il a sautées et en réalisant que ces questions sautées étaient les plus difficiles. Cela aide l'étudiant à bien mieux apprendre la matière que s'il ignorait simplement les questions sautées.

Résumé technique : Modèles de mélange semi-supervisés sous le concept de données manquantes au hasard avec la confiance de marge et la fonction d'Aranda–Ordaz

Énoncé du problème

Les applications modernes d'apprentissage automatique se heurtent fréquemment à des ensembles de données partiellement étiquetés où la majorité des points de données ne possèdent pas d'étiquettes de classe, souvent en raison du coût élevé ou de l'impossibilité de l'étiquetage. Bien que l'apprentissage semi-supervisé réponde à ce besoin, un défi critique surgit de la mécanique régissant l'absence de données. En pratique, les étiquettes manquantes sont rarement « manquantes complètement au hasard » (MCAR) ; elles suivent plutôt un mécanisme de « données manquantes au hasard » (MAR), où la probabilité qu'une étiquette soit manquante dépend de caractéristiques observées, telles que l'incertitude de la classification, mais non de l'étiquette non observée elle-même.

La littérature existante indique que négliger cette structure MAR introduit un biais dans l'estimation des paramètres et dégrade les performances de discrimination et de calibration. De plus, les approches traditionnelles pour modéliser les mécanismes MAR reposent souvent sur la fonction de lien logit et l'entropie de Shannon. La fonction de lien logit impose des réponses symétriques autour de la frontière de décision, ce qui peut manquer de flexibilité pour capturer des schémas d'absence de données biaisés ou concentrés sur l'incertitude. De même, l'entropie de Shannon, bien qu'étant une mesure standard de l'incertitude, peut être coûteuse en termes de calcul.

Méthodologie

L'article propose un cadre d'apprentissage semi-supervisé pour les modèles de mélange gaussien (GMM) qui paramètre explicitement le mécanisme d'étiquettes manquantes sous l'hypothèse MAR. La méthodologie intègre trois innovations centrales :

1. La confiance de marge comme proxy d'incertitude

Pour quantifier l'incertitude de la classification, les auteurs introduisent la confiance de marge ( $\delta_j$ ), définie comme la différence entre les deux probabilités de classe postérieures les plus élevées ( $\tau_{(1)j} - \tau_{(2)j}$ ).

Efficacité : L'article démontre que l'entropie de Shannon ( $H$ ) est bien approximée par une fonction linéaire de la confiance de marge au carré ( $\delta_j^2$ ) dans les régions de faible marge (spécifiquement là où $\delta_j^2 \leq 0,36$ , correspondant à des probabilités postérieures entre 0,2 et 0,8).
Avantage : Cette approximation permet au modèle de remplacer le calcul coûteux de l'entropie par un simple terme de marge au carré, offrant des économies de calcul significatives avec une perte de performance négligeable.

2. La fonction de lien d'Aranda–Ordaz (AO)

Pour modéliser la probabilité d'absence de données ( $q$ ), le cadre remplace la fonction de lien logit standard par la fonction de lien d'Aranda–Ordaz (AO).

Flexibilité : Le lien AO généralise le logit en introduisant un paramètre de forme $\lambda$ . Ce paramètre relâche la symétrie inhérente de la fonction logistique, permettant à la probabilité d'absence de données de dépendre de manière asymétrique de l'incertitude basée sur la marge.
Formulation : La probabilité d'absence est modélisée par $q(\delta_j; \alpha, \lambda) = 1 - (1 + \lambda e^{\alpha_0 + \alpha_1 \delta_j^2})^{-1/\lambda}$ . Cette formulation s'adapte aux mécanismes d'absence complexes où l'incertitude et l'absence de données ne sont pas distribuées de manière symétrique.

3. L'algorithme ECM

Les auteurs développent un algorithme d'Espérance–Maximisation Conditionnelle (ECM) pour estimer conjointement les paramètres du GMM ( $\theta$ ) et le mécanisme d'absence ( $\alpha, \lambda$ ).

Étape E : Calcule les probabilités postérieures ( $\tau_{ij}$ ), la confiance de marge ( $\delta_j$ ) et les probabilités d'absence ( $q_j$ ).
Étape CM 1 : Met à jour les paramètres du GMM ( $\theta$ ) en utilisant une méthode quasi-Newton.
Étape CM 2 : Met à jour les paramètres du mécanisme d'absence ( $\alpha, \lambda$ ) en utilisant des méthodes de Newton ou une recherche de ligne unidimensionnelle (1-D line search).
Imputation : Les étiquettes manquantes sont imputées via un classificateur bayésien dérivé du modèle de mélange ajusté.

Principales contributions

Modélisation explicite du MAR : L'article fournit un cadre rigoureux pour l'apprentissage semi-supervisé qui modélise explicitement la dépendance de l'absence d'étiquettes vis-à-vis de l'incertitude de classification observable, plutôt que de l'ignorer.
Efficacité computationnelle via la confiance de marge : Il établit un lien théorique et empirique entre la confiance de marge au carré et l'entropie de Shannon, permettant une approximation efficace de l'incertitude sans sacrifier le pouvoir discriminatif.
Fonction de lien asymétrique : L'introduction de la fonction de lien d'Aranda–Ordaz répond aux limites du lien logit symétrique, offrant une spécification plus robuste et flexible pour les mécanismes d'absence dans les modèles de mélange.
Robustesse à la spécification erronée de la distribution : Le cadre est testé non seulement sous des hypothèses gaussiennes, mais aussi dans des contextes de mélanges non gaussiens (Gamma, Beta et Laplace), démontrant sa résilience lorsque les hypothèses standard sont violées.

Résultats expérimentaux

Le cadre ECM–AO proposé a été évalué par rapport à une base de régression logistique (qui ignore le mécanisme d'absence) et une variante ECM utilisant un lien logit standard.

Études de simulation (Gaussienne) : Sous un taux d'étiquettes manquantes de 70 %, ECM–AO et l'ECM basé sur le logit ont tous deux surpassé la base de régression logistique. ECM–AO a obtenu un AUC comparable (0,712) mais a considérablement amélioré la calibration probabiliste, comme en témoignent la LogLoss plus faible (0,675 contre 0,971) et les scores de Brier (0,233 contre 0,368).
Tests de robustesse (Non-gaussienne) : Dans les contextes de mélanges Gamma, Beta et Laplace, ECM–AO a maintenu une discrimination (AUC) stable tout en atteignant une bien meilleure calibration (LogLoss et scores de Brier plus faibles) par rapport à la base de régression logistique.
Données réelles (Télescope Gamma MAGIC) : En utilisant un sous-ensemble du jeu de données MAGIC avec 70 % d'étiquettes manquantes, ECM–AO a démontré une précision plus élevée et une précision/rappel plus stable à travers divers seuils de classification par rapport à la régression logistique.
Proportions d'absence variables : À mesure que le taux d'absence passait de 50 % à 90 %, ECM–AO a systématiquement surpassé la base à des niveaux d'absence modérés (50–70 %). Cependant, l'écart de performance s'est réduit et s'est finalement inversé lors d'une absence extrême (approchant 90 %), suggérant que l'avantage de la modélisation adaptative de l'incertitude diminue lorsque l'information étiquetée devient extrêmement rare.

Signification et affirmations

L'article affirme qu'un modèle explicite du mécanisme d'absence d'étiquettes au sein d'un cadre GMM semi-supervisé conduit à une classification plus robuste et mieux calibrée dans des conditions MAR.

Réduction du biais : En tenant compte du mécanisme MAR, la méthode atténue le biais induit par l'ignorance de la structure de l'absence de données.
Adaptabilité : La flexibilité du lien AO permet au modèle de s'adapter aux schémas d'absence asymétriques, produisant des estimations postérieures plus fiables que les approches basées sur le logit symétrique.
Utilité pratique : Le cadre offre des performances fiables dans des scénarios réalistes comportant des proportions substantielles d'étiquettes manquantes, à condition que l'absence ne soit pas extrême.

Les auteurs notent modestement qu'un défi restant est l'extension du cadre à des modèles de mélange avec plus de deux composantes, car la définition actuelle de la confiance de marge repose sur les deux plus grandes probabilités postérieures. Ils suggèrent de développer des mesures d'incertitude qui exploitent le vecteur de probabilité postérieure complet comme direction pour des travaux futurs.