A proposal for PU classification under Non-SCAR using clustering and logistic model

Titre : Une proposition pour la classification PU sous condition Non-SCAR utilisant le clustering et un modèle logistique

1. Problématique

L'apprentissage à partir de données positives et non étiquetées (PU - Positive-Unlabeled) est un cadre où l'ensemble d'entraînement ne contient que des exemples positifs (étiquetés $S=1$) et des exemples non étiquetés ($S=0$). Le défi majeur réside dans le fait que les exemples non étiquetés peuvent être soit de vrais négatifs ($Y=0$), soit des positifs non détectés ($Y=1$).

La plupart des méthodes existantes reposent sur l'hypothèse SCAR (Selected Completely At Random), qui postule que la probabilité qu'un exemple positif soit étiqueté est constante et indépendante des caractéristiques de l'exemple ($P(S=1|Y=1, X) = c$). Cependant, dans de nombreuses applications réelles (comme les diagnostics médicaux ou les enquêtes avec sous-déclaration), cette hypothèse est violée : la sélection dépend des variables explicatives $X$ (condition Non-SCAR ou SAR - Selected At Random).

L'objectif de cette étude est double :

1. Proposer un algorithme de nettoyage par clustering, simple et efficace, capable de traiter les problèmes de classification PU lorsque la condition SCAR n'est pas satisfaite.
2. Évaluer la robustesse de la méthode LassoJoint (développée précédemment pour le SCAR) face à la violation de cette hypothèse.

2. Méthodologie

Les auteurs proposent une approche hybride combinant du clustering et de la régression logistique, qu'ils nomment procédure "Pecking" (picotage).

A. La procédure "Pecking" (Nettoyage par Clustering) :
Cette méthode vise à identifier et étiqueter les faux négatifs (positifs cachés dans la classe non étiquetée) sans hypothèse SCAR stricte.

1. Échantillonnage : Une proportion $q$ des observations positives connues ($S=1$) est tirée aléatoirement et ajoutée à l'ensemble des observations non étiquetées ($S=0$) pour former un ensemble mixte $C^q_0$.
2. Clustering : L'algorithme de 2-means est appliqué sur cet ensemble $C^q_0$ pour créer deux clusters :
   • $C_{0,1}$ : Le cluster contenant une majorité d'observations avec $S=1$.
   • $C_{0,0}$ : L'autre cluster.
3. Étiquetage (Nettoyage) :
   • Les observations de $C_{0,1}$ sont réétiquetées comme vrais positifs ($\hat{Y}=1$).
   • Les observations de $C_{0,0}$ sont réétiquetées comme négatifs ($\hat{Y}=0$).
   • Les observations originales avec $S=1$ conservent leur étiquette positive.
4. Répétition et Agrégation : Cette procédure est répétée $R$ fois. Pour chaque itération, un modèle de régression logistique (ou LassoJoint) est ajusté sur les données nettoyées. Les coefficients finaux sont obtenus par moyenne des coefficients sur les $R$ itérations.

B. Méthodes de comparaison :

• Méthode Naïve : Régression logistique traitant directement $S$ comme la vraie étiquette $Y$ (ignorer le bruit).
• LassoJoint : Une méthode combinant la sélection Lasso et un modèle logistique joint, initialement conçue pour le SCAR. Les auteurs testent deux variantes : "strict" (moyenne des coefficients uniquement pour les variables présentes dans toutes les répétitions) et "non-strict" (moyenne pour les variables présentes dans au moins une répétition).

C. Expérimentation :

• Données : 11 jeux de données réels (UCI) et 1 jeu de données synthétiques.
• Simulation Non-SCAR : Les auteurs génèrent artificiellement la variable $S$ en fonction des variables à forte variance pour simuler une dépendance (violation de SCAR).
• Métriques : Précision (Accuracy), Score F1, et AUC (Aire sous la courbe ROC).

3. Contributions Clés

• Algorithme de nettoyage robuste : Introduction d'une méthode de nettoyage basée sur le 2-means qui ne nécessite pas l'hypothèse SCAR. Elle est computationnellement simple et efficace.
• Analyse de robustesse : Première évaluation systématique de la méthode LassoJoint dans un contexte Non-SCAR, montrant qu'elle conserve une certaine résilience.
• Stratégie d'agrégation : Utilisation d'une approche de type "pecking" itératif avec moyennage des coefficients pour stabiliser les prédictions dans un environnement bruyant.

4. Résultats

Les expériences menées sur les données réelles et synthétiques sous condition Non-SCAR montrent :

• Performance du Clustering : La méthode "clust" (basée sur le nettoyage par clustering) affiche une précision élevée sur presque tous les jeux de données, surpassant la méthode naïve. Elle est particulièrement efficace pour identifier les positifs cachés.
• Comportement de LassoJoint : Bien que conçue pour le SCAR, la méthode LassoJoint (surtout la variante non-strict) démontre une robustesse modérée. Elle améliore souvent l'AUC par rapport à la méthode naïve, notamment pour des fréquences d'étiquetage ($c$) élevées ($c \ge 0.8$).
• Impact du paramètre $q$ : Il n'y a pas de règle universelle pour le choix de $q$ (la proportion de positifs ajoutés au clustering). Cependant, les résultats agrégés suggèrent que des valeurs élevées ($q \approx 1$) sont souvent préférables, bien que cela dépende des spécificités des données.
• Temps de calcul : La méthode naïve et la méthode "clust" sont nettement plus rapides que les approches utilisant le Lasso avec validation croisée, ce qui les rend attractives pour les grands jeux de données.
• Évolution avec $c$ : À mesure que le paramètre $c$ (fréquence des étiquettes positives) augmente, le problème PU se rapproche d'un problème de classification supervisée classique, et la méthode naïve commence à performer mieux, ce qui est attendu.

5. Signification et Conclusion

Cette étude démontre que les méthodes de clustering, couplées à des modèles linéaires, constituent une approche viable et efficace pour résoudre les problèmes de classification PU lorsque l'hypothèse SCAR est violée, une situation fréquente dans la pratique mais souvent négligée.

La principale contribution réside dans la capacité de la méthode proposée à "nettoyer" les données non étiquetées sans hypothèses fortes sur le mécanisme de sélection. De plus, la découverte que LassoJoint reste partiellement robuste même hors de son domaine théorique idéal (SCAR) ouvre des perspectives pour l'application de méthodes de régularisation avancées dans des contextes plus réalistes et complexes.

Les auteurs concluent que leur approche peut être généralisée non seulement aux scénarios PU à échantillon unique, mais aussi à l'apprentissage PU de type "cas-témoin" (case-control), élargissant ainsi son champ d'application potentiel.