📊 statistics

SSLfmm: An R Package for Semi-Supervised Learning with Mixed Missingness

Le package R SSLfmm introduit un cadre de mélange gaussien fondé sur la vraisemblance pour l'apprentissage semi-supervisé qui modélise conjointement les distributions de classes et les mécanismes d'absence de labels (incluant les scénarios MCAR, MAR et mixtes) afin d'améliorer les performances de classification lorsque la disponibilité même des labels contient des signaux informatifs.

Auteurs originaux : Geoffrey J. McLachlan, Jinran Wu

Publié 2026-08-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Geoffrey J. McLachlan, Jinran Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de la science des données, les chercheurs sont souvent confrontés à un écart frustrant entre ce qu'ils savent et ce qu'ils peuvent mesurer. Imaginez une étude médicale où les médecins ont enregistré les symptômes de chaque patient, mais n'ont réussi à confirmer le diagnostic final que pour une partie d'entre eux. Pour le reste, le diagnostic demeure un mystère, non pas parce que les données sont perdues, mais parce que le processus de confirmation était trop coûteux, trop lent ou simplement impossible pour certains cas. C'est le domaine de l'apprentissage semi-supervisé, un champ dédié à l'enseignement aux ordinateurs comment reconnaître des motifs en utilisant un mélange de réponses connues et d'autres inconnues. Traditionnellement, les statisticiens ont traité ces réponses manquantes comme des accidents aléatoires, supposant que la raison pour laquelle une étiquette est manquante n'a rien à voir avec les données elles-mêmes. Cependant, dans de nombreuses situations réelles, la raison pour laquelle une étiquette est manquante est en réalité un indice. Un patient peut être plus difficile à diagnostiquer précisément parce que ses symptômes sont déroutants, ou un répondant à un sondage peut sauter une question parce que la réponse est inconfortable. Si l'ordinateur ignore ce lien, il manque une pièce vitale du puzzle.

Une équipe de chercheurs de l'Université du Queensland a développé un nouvel outil pour aider les ordinateurs à résoudre ce problème spécifique. Ils ont créé un progiciel appelé SSLfmm, qui permet aux machines d'apprendre à partir de données où les étiquettes sont manquantes de deux manières distinctes : soit de manière totalement aléatoire, soit parce que les données elles-mêmes ont rendu l'étiquette difficile à obtenir. Le logiciel est construit sur un cadre qui traite l'étiquette manquante non pas seulement comme un espace vide, mais comme le résultat d'un processus spécifique. En modélisant ce processus parallèlement aux données, le système peut distinguer une étiquette manquante qui est arrivée par hasard d'une qui est arrivée parce que le point de donnée était ambigu ou difficile à classifier. Cette approche permet à l'ordinateur d'utiliser le fait même qu'une étiquette est manquante pour améliorer sa compréhension des groupes qu'il tente d'identifier.

Les chercheurs ont testé leur nouveau logiciel en créant un monde de données simulées où ils savaient exactement comment les étiquettes manquaient. Ils ont généré mille points de données représentant deux groupes qui se chevauchent, puis ont délibérément supprimé les étiquettes pour environ trente-deux pour cent d'entre eux. Ils ont divisé ces étiquettes manquantes en deux catégories : certaines étaient supprimées de manière aléatoire, tandis que d'autres étaient supprimées spécifiquement parce que les points de données étaient difficiles à distinguer les uns des autres. Ils ont ensuite demandé à leur logiciel de déterminer les groupes en utilisant deux stratégies différentes. Dans la première stratégie, on a dit au logiciel exactement quelles étiquettes manquantes étaient aléatoires et lesquelles étaient difficiles. Dans la seconde stratégie, on a seulement dit qu'une étiquette était manquante, sans connaître la raison. Les résultats ont montré que même sans connaître la raison spécifique des étiquettes manquantes, le logiciel pouvait toujours apprendre efficacement. Lorsqu'il a été testé sur les points de données dont les étiquettes étaient cachées, la version qui connaissait les raisons a atteint une précision d'environ quatre-vingt-un pour cent, tandis que la version qui devait deviner les raisons a atteint une précision presque identique d'environ quatre-vingt-un pour cent. Cela a démontré que la logique interne du logiciel pour gérer l'information manquante était robuste, même lorsque la source de l'absence était cachée.

Pour voir comment cela fonctionne dans un cadre plus réaliste, l'équipe a appliqué le logiciel à un ensemble de données concernant les transfusions sanguines. Ils ont pris un dossier complet de sept cent quarante-huit donneurs et ont artificiellement supprimé les étiquettes pour certains d'entre eux. Ils ont conservé les étiquettes pour les donneurs faciles à classifier, supprimé les étiquettes pour une sélection aléatoire d'autres, et supprimé les étiquettes pour un troisième groupe qui avait été spécifiquement choisi parce qu'il était difficile à classifier. Cela a créé un scénario où les étiquettes manquantes étaient un mélange d'événements aléatoires et de cas difficiles. Les chercheurs ont ensuite fait fonctionner le logiciel sous trois hypothèses différentes : que toutes les étiquettes manquantes étaient aléatoires, que toutes étaient dues à la difficulté, et qu'elles étaient un mélange des deux. Le logiciel qui supposait un mélange des deux causes a obtenu les meilleurs résultats. Il a correctement identifié les groupes de donneurs de sang avec une précision d'environ soixante et un pour cent pour les cas difficiles, surpassant les modèles qui supposaient un seul type d'absence. Le logiciel a également estimé qu'environ dix pour cent des étiquettes manquantes étaient aléatoires, un chiffre qui correspondait étroitement à la configuration réelle de l'expérience.

Au-delà de la simple obtention de la bonne réponse, le logiciel offre un moyen de vérifier son propre travail. Il calcule une mesure d'incertitude pour chaque prédiction, demandant essentiellement à l'ordinateur quel est son degré de confiance pour chaque classification. Lorsque les chercheurs ont examiné ces scores de confiance, ils ont trouvé un motif clair : les points de données qui étaient à l'origine difficiles à étiqueter présentaient des scores d'incertitude beaucoup plus élevés que ceux qui étaient faciles ou aléatoires. Cela a confirmé que le logiciel avait réussi à apprendre à associer les étiquettes manquantes à la difficulté des données. L'outil est désormais disponible sous la forme d'un package gratuit pour le langage de programmation R, un environnement standard pour le calcul statistique. Il permet aux chercheurs d'ajuster des modèles, de faire des prédictions et d'exécuter des diagnostics sans avoir besoin d'écrire des codes complexes à partir de zéro. Le package inclut des fonctions pour simuler des données, vérifier le bon fonctionnement du modèle et visualiser la relation entre les étiquettes manquantes et l'incertitude de classification.

La portée de ce travail réside dans sa capacité à gérer la réalité désordonnée de la collecte de données. Dans de nombreux domaines, de la médecine aux sciences sociales, le processus d'obtention d'une étiquette est rarement aléatoire. En reconnaissant que l'absence d'information porte elle-même une information, le package SSLfmm offre une manière plus honnête et plus précise d'apprendre à partir de données incomplètes. Il ne prétend pas résoudre tous les problèmes liés aux informations manquantes, ni suggère que toutes les données manquantes sont informatives. Au contraire, il fournit un cadre flexible où les chercheurs peuvent tester différentes hypothèses sur la raison pour laquelle les données sont manquantes et voir quelle hypothèse conduit aux meilleurs résultats. Les auteurs soulignent que, bien que le logiciel ait bien performé dans leurs tests, les chiffres spécifiques dépendent des données analysées. La véritable valeur de l'outil est qu'il donne aux scientifiques un moyen de demander : « Le fait que je ne connaisse pas cette réponse m'en dit-il quelque chose sur la réponse elle-même ? » et d'obtenir une réponse basée sur les données.

Résumé technique de « SSLfmm : Un package R pour l'apprentissage semi-supervisé avec des données manquantes mixtes »

Formulation du problème
L'article traite de scénarios d'apprentissage semi-supervisé (SSL) où les vecteurs de caractéristiques sont entièrement observés pour toutes les données d'entraînement, mais où les étiquettes de classe ne sont disponibles que pour un sous-ensemble. Un aspect critique, souvent non modélisé, de ce contexte est le mécanisme régissant la disponibilité des étiquettes. Les procédures de SSL standard traitent généralement les étiquettes manquantes comme des classes latentes inconnues sans modéliser pourquoi elles sont manquantes. Cependant, les auteurs soutiennent que le processus de données manquantes peut lui-même contenir des informations pertinentes pour la classification. Plus précisément, l'article distingue :

Données manquantes complètement au hasard (MCAR) : La disponibilité des étiquettes n'est liée ni aux caractéristiques observées, ni à la classe.
Données manquantes au hasard (MAR) : La probabilité d'une étiquette manquante dépend des caractéristiques observées (spécifiquement, l'incertitude ou l'entropie de classification) mais pas de l'étiquette manquante elle-même.
Manquance mixte : Un scénario où une étiquette manquante provient soit d'un mécanisme MCAR, soit d'un mécanisme MAR basé sur l'entropie. Crucialement, la source de la manquance (MCAR vs MAR) peut être soit observée (enregistrée dans les données), soit latente (non observée, avec seulement l'indicateur de manquance agrégé disponible).

Méthodologie
Les auteurs proposent un cadre fondé sur la vraisemblance utilisant des modèles de mélanges gausiens finis où la distribution des classes et le processus de manquance des étiquettes sont modélisés conjointement. La formulation statistique centrale implique :

Modèle de classe : Chaque classe $i$ est associée à une densité gaussienne multivariée $f_i(y; \omega_i)$ avec des probabilités a priori $\pi_i$ .
Modèle de manquance :
- Pour le mécanisme MAR basé sur l'entropie, la probabilité d'une étiquette manquante est modélisée via une fonction logistique de l'entropie de Shannon $e(y; \theta)$ de l'observation : $q_j = \text{logit}^{-1}(\xi_0 + \xi_1 \log e(y_j; \theta))$ , où $\xi_1 > 0$ .
- Pour le mécanisme mixte, la probabilité d'une étiquette manquante est un mélange de la probabilité MCAR $\alpha$ et de la probabilité MAR $(1-\alpha)q_j$ .
Estimation (Algorithme ECM) : Les paramètres sont estimés à l'aide d'un algorithme d'Espérance-Maximisation Conditionnelle (ECM).
- Étape E : Calcule les probabilités de classe a posteriori et remplace les indicateurs de classe manquants par leurs espérances conditionnelles.
- Étapes C :
  - Si la source de la manquance est observée, l'algorithme met à jour séparément la probabilité MCAR $\alpha$ et les paramètres MAR $\xi$ en fonction des indicateurs de source connus, puis met à jour les paramètres de classe $\theta$ .
  - Si la source de la manquance est latente, l'algorithme traite le mécanisme spécifique (MCAR vs MAR) pour chaque étiquette manquante comme une variable latente. Il calcule la probabilité a posteriori qu'une étiquette manquante provienne du canal MCAR plutôt que du canal MAR, puis met à jour $\alpha$ , $\xi$ et $\theta$ de manière itérative.

Le package R SSLfmm
L'article présente le package R SSLfmm qui implémente ces méthodes. Caractéristiques clés :

Interface unifiée : Une fonction unique fit_sslfmm() gère les analyses de cas complets, MCAR, MAR basées sur l'entropie et les analyses mixtes MCAR/MAR.
Gestion de la source : Supporte à la fois indicator = "observed" (où l'utilisateur fournit l'indicateur de la source de manquance) et indicator = "latent" (où la source est inférée).
Fonctionnalité : Comprend des outils pour l'ajustement de modèles, la prédiction (classes, a posteriori, entropie), l'évaluation des performances (exactitude, F1, log loss, score de Brier), la simulation de données à manquance mixte et les diagnostics basés sur l'entropie.
Robustesse : Utilise plusieurs valeurs de départ et une optimisation numérique bornée pour gérer la non-convexité de la vraisemblance, particulièrement pour les modèles à source latente.

Résultats et illustrations
L'article valide le package à travers deux illustrations principales :

Simulation reproductible : Une simulation avec 1 000 observations et 31,9 % d'étiquettes manquantes (générées via un mécanisme mixte MCAR/MAR) compare les ajustements de sources observées et de sources latentes.
- Les deux formulations ont atteint des performances de classification similaires sur le sous-ensemble d'étiquettes manquantes (Exactitude $\approx$ 0,806–0,809).
- Le modèle à source latente a réussi à récupérer les paramètres générateurs ( $\alpha$ , $\xi_0$ , $\xi_1$ ) avec une précision raisonnable, bien que les estimations soient légèrement plus variables que celles de l'ajustement à source observée.
- Les diagnostics d'entropie ont confirmé que les observations générées sous le mécanisme MAR présentaient une entropie de classification plus élevée, ce qui est cohérent avec la conception du modèle.
Application semi-synthétique (Données de transfusion sanguine) : En utilisant un ensemble de données réelles où les étiquettes ont été artificiellement supprimées pour créer des sous-ensembles MCAR et MAR, les auteurs comparent les modèles MCAR, MAR et mixtes sous des hypothèses de covariances égales et inégales.
- Le modèle mixte a systématiquement surpassé les modèles pur MCAR et pur MAR en termes d'exactitude de classification stricte, d'exactitude équilibrée et de score F1 macro sur le sous-ensemble d'étiquettes manquantes.
- Le modèle mixte a estimé une probabilité MCAR ( $\alpha$ ) proche de la valeur de construction réelle (0,10).
- Les diagnostics d'entropie ont montré que le sous-ensemble « MAR » (construit à partir de points difficiles à classifier) présentait effectivement une entropie plus élevée que les sous-ensembles « MCAR » et « observé », validant l'interprétabilité du modèle ajusté.

Signification et revendications
Les auteurs positionnent SSLfmm non pas comme un moteur de clustering générique, mais comme un outil spécialisé faisant le pont entre l'apprentissage semi-supervisé basé sur des modèles et la modélisation de données manquantes basée sur la vraisemblance.

Contribution distincte : Contrairement aux packages existants (ex: mclust, Rmixmod) qui se concentrent sur les distributions de composantes ou gèrent les caractéristiques manquantes, SSLfmm modélise explicitement le processus stochastique des étiquettes manquantes.
Nouveauté : C'est la première implémentation qui supporte un mécanisme mixte MCAR/MAR où la source de la manquance peut être soit observée, soit latente, en utilisant des algorithmes ECM distincts pour chaque cas.
Utilité pratique : Le package permet aux chercheurs d'ajuster, de comparer et de diagnostiquer différentes hypothèses sur la manquance des étiquettes au sein d'un cadre commun.
Portée modeste : Les auteurs reconnaissent des limites : l'implémentation actuelle suppose des caractéristiques entièrement observées et des distributions conditionnelles de classe gaussiennes. Ils avertissent que lorsque la source de la manquance est latente, les données peuvent contenir une information limitée pour séparer les contributions MCAR et MAR, nécessissant une interprétation prudente des paramètres ajustés aux côtés des diagnostics. Ils ne prétendent pas que le modèle mixte dominera toujours, mais qu'il fournit un cadre flexible pour étudier comment les hypothèses sur la disponibilité des étiquettes affectent l'estimation et la prédiction.

Résumé technique de « SSLfmm : Un package R pour l'apprentissage semi-supervisé avec des données manquantes mixtes »

Articles similaires