Résumé technique : Apprentissage PU focalisé à partir de données déséquilibrées

1. Énoncé du problème

L'article aborde le défi de l'apprentissage Positif-Inconnu (PU) dans des scénarios caractérisés par un déséquilibre de classe sévère et des exemples positifs difficiles à détecter. Dans de nombreuses applications réelles (par exemple, détection de fraude, identification de gènes de maladies, détection d'erreurs comptables), les données d'entraînement consistent en un petit ensemble d'instances positives étiquetées et un grand pool d'instances non étiquetées. Le pool non étiqueté est dominé par des instances négatives mais contient des instances positives cachées.

Les méthodes d'apprentissage PU existantes reposent souvent sur des hypothèses simplificatrices qui échouent dans des contextes pratiques :

• Déséquilibre de classe : De nombreuses méthodes supposent des distributions équilibrées ou reposent sur un nombre suffisant de positifs étiquetés, ce qui est rarement le cas lorsque la classe positive est sous-représentée.
• Mécanismes d'étiquetage : La plupart des méthodes supposent l'hypothèse Sélectionné Complètement au Hasard (SCAR), où les positifs étiquetés constituent un sous-ensemble aléatoire de tous les positifs. Cependant, les données réelles suivent souvent l'hypothèse Sélectionné au Hasard (SAR) ou l'hypothèse Écart Probabiliste (PG), où les exemples positifs ressemblant aux négatifs sont moins susceptibles d'être étiquetés.
• Positifs difficiles : Lorsque les exemples positifs se chevauchent significativement avec la distribution négative (scénario PG), les estimateurs de risque standards peinent à les distinguer, entraînant une mauvaise performance.

Les auteurs soutiennent que les méthodes actuelles de l'état de l'art (par exemple, nnPU, PUHDT) échouent soit sous les hypothèses SAR/PG, soit reposent sur une manipulation des données (rééchantillonnage, filtrage en deux étapes) qui peut ne pas être robuste dans des contextes fortement déséquilibrés.

2. Méthodologie

La méthode proposée, nommée iFPU (Imbalanced Focused PU), introduit un nouvel estimateur de risque non négatif qui intègre la Focal Loss dans le cadre de l'apprentissage PU.

2.1 Fondement théorique

L'approche s'appuie sur les estimateurs de risque non biaisés pour l'apprentissage PU (uPU) et les estimateurs de risque non négatifs (nnPU). Dans l'apprentissage PU standard, le risque $R(g)$ est approximé à l'aide des positifs étiquetés ($P$) et des données non étiquetées ($U$) en remplaçant le terme de risque négatif $R_N^-(g)$ par une expression impliquant $U$ et $P$ :
$$\tilde{R}_{PU}(g) = \pi_P \tilde{R}_P^+(g) - \pi_P \tilde{R}_P^-(g) + \tilde{R}_U^-(g)$$
où $\pi_P$ est la probabilité a priori de la classe. Pour éviter les risques empiriques négatifs (qui provoquent un surapprentissage dans les réseaux de neurones), la méthode nnPU applique une contrainte non négative : $\max\{0, \tilde{R}_U^-(g) - \pi_P \tilde{R}_P^-(g)\}$.

2.2 Estimateur de risque focalisé

Les auteurs observent que, dans des contextes déséquilibrés, le risque standard est dominé par les données non étiquetées, ce qui amène le modèle à négliger les quelques exemples positifs difficiles à distinguer. Pour y remédier, ils remplacent la perte d'entropie croisée standard par la Focal Loss [50].

La Focal Loss réduit le poids des exemples faciles (ceux ayant une forte probabilité de classification correcte) et augmente le poids des exemples difficiles. La perte focale pour une probabilité $p_t$ est définie comme suit :
$$FL(p_t) = -(1-p_t)^\gamma \log(p_t)$$
où $\gamma$ contrôle le paramètre de focalisation.

Les auteurs dérivent l'estimateur de risque iFPU en substituant les termes de perte standard dans l'équation du risque PU par la formulation de la focal loss :
$$\tilde{R}_{iFPU}(g) = \frac{1}{n_P} \sum_{i=1}^{n_P} -\pi_P (1-g(x_i))^\gamma \log(g(x_i)) + \max\left\{0, \frac{1}{n_U} \sum_{i=1}^{n_U} -(g(x_i))^\gamma \log(1-g(x_i)) - \frac{1}{n_P} \sum_{i=1}^{n_P} -\pi_P (g(x_i))^\gamma \log(1-g(x_i)) \right\}$$

2.3 Procédure d'entraînement

Le processus d'entraînement utilise une optimisation stochastique (SGD). Une caractéristique clé de l'algorithme est la gestion de la contrainte non négative :

• Si le terme $(\tilde{R}_U^-(g) - \pi_P \tilde{R}_P^-(g))$ est non négatif, le modèle met à jour les paramètres en utilisant le gradient du risque complet.
• Si le terme est négatif (indiquant un surapprentissage potentiel ou une violation de la contrainte non négative), le modèle effectue une étape de descente de gradient sur le terme de différence pour le repousser vers la non-négativité, plutôt que d'ignorer simplement le gradient.

La méthode est conçue pour être de bout en bout, compatible avec tout classifieur basé sur la minimisation des coûts (par exemple, MLP, XGBoost), sans nécessiter de prétraitement des données ni de rééchantillonnage.

3. Contributions clés

1. Nouvel estimateur de risque : La dérivation d'un estimateur de risque non négatif spécifiquement adapté aux données PU déséquilibrées utilisant la Focal Loss, qui cible explicitement les exemples positifs difficiles à classifier.
2. Assouplissement des hypothèses : La méthode est évaluée sous les hypothèses SCAR et SAR, démontrant une robustesse dans des scénarios où un biais d'étiquetage existe (c'est-à-dire que les positifs ressemblant aux négatifs sont moins susceptibles d'être étiquetés).
3. Intégration de bout en bout : Contrairement aux méthodes en deux étapes qui nécessitent d'identifier d'abord des négatifs fiables, iFPU s'intègre directement dans la boucle d'entraînement des classifieurs standards (MLP et XGBoost).
4. Validation réelle : La méthode est appliquée à un problème réel difficile : la détection d'erreurs comptables, où les données PU surgissent naturellement en raison de la détection retardée des erreurs.

4. Résultats expérimentaux

Les auteurs ont évalué iFPU sur 14 ensembles de données déséquilibrés publiquement disponibles et un jeu de données financier réel.

4.1 Ensembles de données de référence

• Configuration : 14 ensembles de données avec des ratios de déséquilibre variables. Les expériences ont été menées sous les hypothèses SCAR et SAR avec 25 %, 50 % et 75 % d'exemples positifs étiquetés.
• Comparateurs : Comparé à uPU, nnPU, i-nnPU, NNIF (deux étapes), PUHDT, PUHRF, LBE et SAREM.
• Performance :
  • Sous SCAR, iFPU (utilisant XGBoost) a obtenu des résultats comparables à l'état de l'art PUHRF (PU Hellinger Random Forest), sans différence statistiquement significative dans la plupart des cas.
  • Sous l'hypothèse plus difficile SAR, iFPU a nettement surpassé la plupart des concurrents. Dans le scénario le plus difficile (25 % de positifs étiquetés), iFPU a dépassé PUHRF de 5 points de pourcentage en PR-AUC.
  • La méthode a montré une robustesse face à des estimations incorrectes de la probabilité a priori de classe, maintenant ses performances même lorsque l'a priori était significativement sous-estimé.

4.2 Application réelle : Détection d'erreurs comptables

• Contexte : Détection d'erreurs comptables dans les rapports annuels (2003–2014) où les erreurs sont rares et souvent non détectées pendant des années (scénario SAR/PG).
• Configuration : Comparé à des bases de référence supervisées (TabTransformer avec focal loss calibrée, Fin-SVM, RUSBoost) et à des méthodes PU (PUHRF).
• Résultats :
  • Le iFPUXGB proposé a atteint la plus haute R-précision de 19,95 %, surpassant le modèle TabTransformer précédent de l'état de l'art (17,63 %) et PUHRF (18,22 %).
  • Les résultats indiquent que modéliser le problème comme un apprentissage PU (en reconnaissant les positifs cachés) produit des performances nettement meilleures que de traiter les données non étiquetées comme négatives.

5. Signification et affirmations

L'article affirme que iFPU représente une solution de l'état de l'art pour l'apprentissage PU dans des contextes déséquilibrés, en particulier lorsque l'hypothèse d'Écart Probabiliste est vérifiée.

• Robustesse : La capacité de la méthode à bien performer sous les hypothèses SAR sans nécessiter de manipulation complexe des données ni de rééchantillonnage est soulignée comme un avantage majeur par rapport aux méthodes existantes basées sur des arbres ou en deux étapes.
• Praticité : L'application réussie à la détection d'erreurs comptables démontre l'utilité de la méthode dans des domaines réels à haut risque où les données étiquetées sont rares et biaisées.
• Flexibilité : En s'appuyant sur un cadre de minimisation du risque compatible avec divers classifieurs (MLP, XGBoost), l'approche offre une alternative flexible aux algorithmes PU spécialisés.

Les auteurs notent modestement que, bien qu'ils aient évité le réglage des hyperparamètres pour assurer une comparaison équitable, une optimisation ultérieure des paramètres XGBoost et de la focal loss pourrait potentiellement produire des résultats encore plus forts. Ils identifient également le recalibrage par mise à l'échelle de la température et les extensions aux contextes multi-classes comme des directions de recherche futures.