Reliable AUC Evaluation for Positive-Unlabeled Classifiers: Calibrated Confidence Intervals under an Unknown Class Prior

Dans le monde de l'apprentissage automatique, les ordinateurs sont souvent enseignés à reconnaître des motifs en leur montrant des exemples de ce qu'ils recherchent et des exemples de ce qu'ils ne sont pas. Imaginez un médecin essayant d'enseigner à un algorithme à repérer un type spécifique de tumeur. L'ordinateur doit voir des images claires de tumeurs et des images clres de tissus sains pour apprendre la différence. Mais dans de nombreuses situations réelles, obtenir ces exemples clairs de cas « sains » est difficile. Souvent, les chercheurs ne possèdent qu'une liste de cas positifs confirmés et un grand tas désordonné de données non étiquetées qui contient un mélange de cas positifs et négatifs, sans moyen de les distinguer. C'est ce que l'on appelle l'apprentissage positif-non étiqueté (positive-unlabeled learning). Le but est de construire un système capable de classer les bons cas plus haut que les mauvais, même lorsque les mauvais cas sont cachés dans la foule. La méthode standard pour mesurer l'efficacité d'un tel système consiste à calculer un score qui représente sa capacité à distinguer les deux groupes. Cependant, lorsque le groupe négatif est caché et mélangé, le score standard devient trompeur. Il indique la capacité du système à classer par rapport au tas désordonné, et non par rapport aux vrais négatifs, et il présente généralement ce chiffre sous la forme d'un point unique et exact, sans aucune indication de la mesure dans laquelle ce chiffre pourrait être erroné en raison du hasard.

Un chercheur nommé Vincent Looten a abordé ce problème en développant une nouvelle façon de mesurer la performance qui tient compte du mélange caché et fournit une plage de confiance fiable. Le cœur du travail est une correction mathématique qui élimine la contamination des données non étiquetées pour révéler la véritable performance par rapport aux cas négatifs. Le chercheur a découvert que l'on ne peut pas simplement regarder le tas désordonné et deviner la réponse ; il faut d'abord estimer quelle proportion de ce tas correspond réellement au cas positif que l'on recherche. Une fois que vous avez cette estimation, vous pouvez utiliser une formule spécifique pour ajuster le score de performance. Mais le chercheteur est allé plus loin, réalisant que le simple ajustement du chiffre ne suffit pas. Parce que l'estimation du mélange est elle-même incertaine, cette incertitude doit être intégrée dans le calcul. L'étude montre que si vous ignorez cette incertitude, votre score final sera faux. En suivant attentivement la manière dont l'incertitude de l'estimation du mélange affecte le score final, le chercheur a dérivé une méthode pour produire un intervalle calibré. Cet intervalle agit comme un filet de sécurité, indiquant à l'utilisateur la plage dans laquelle la véritable performance se situe presque certainement, plutôt que de donner simplement un chiffre unique et potentiellement trompeur.

L'étude révèle que cette méthode fonctionne magnifiquement bien lorsque les cas positifs et négatifs sont suffisamment distincts pour être séparés. Dans ces situations claires, la nouvelle méthode produit une plage bilatérale qui capture la performance réelle presque aussi précisément qu'une règle statistique standard le ferait. Cependant, le chercheur a également découvert une limite stricte à cette approche. Lorsque les cas positifs et négatifs sont si similaires qu'ils se confondent, le mélange devient impossible à définir avec certitude. Dans ce scénario spécifique, la plage bilatérale s'effondre car les mathématiques ne peuvent tout simplement pas la soutenir. Au lieu de forcer une fausse plage, la méthode passe à une borne unilatérale. Cette borne fournit un plancher minimum garanti de performance, admettant que si le score exact est inconnu, le système est certainement au moins aussi bon. Ce passage n'est pas un échec de la méthode mais une caractéristique de celle-ci, garantissant que le rapport reste honnête même lorsque les données sont trop ambiguës pour supporter une estimation précise.

Pour tester ces idées, le chercheur a appliqué la méthode à des données réelles, utilisant spécifiquement des dossiers médicaux de cancer du sein où les véritables étiquettes étaient connues mais traitées comme cachées pour simuler le problème. Les résultats sont frappants. Une approche traditionnelle qui ignore le mélange caché et rapporte un chiffre unique a totalement échoué, ne capturant jamais la performance réelle lors des tests. Une autre approche, qui tentait de corriger le chiffre mais utilisait une simple estimation pour le mélange, a également éprouvé des difficultés, surtout lorsque les données ne suivaient pas une courbe en cloche parfaite. Seule la nouvelle méthode, qui combinait la correction avec une manière robuste d'estimer le mélange et un calcul minutieux de l'incertitude, a réussi. Elle a systématiquement produit des intervalles contenant la performance réelle, à condition que les cas positifs et négatifs ne soient pas trop similaires. L'étude confirme que la clé pour obtenir une réponse fiable n'est pas seulement l'algorithme de classement lui-même, mais la qualité de l'estimation utilisée pour décrire le mélange caché. Si cette estimation est biaisée ou inexacte, le score de performance final sera faux, quelle que soit la sophistication du système de classement.

Le travail clarifie également quand un chercheur doit faire confiance à une plage bilatérale et quand il doit se contenter d'un plancher unilatéral. Le point de transition dépend de la distinction entre les deux groupes par rapport à la quantité de données disponibles. Si les groupes sont bien séparés, la plage complète est valide. S'ils sont très proches, la méthode identifie correctement qu'une plage bilatérale précise est impossible et propose à la place la garantie unilatérale plus sûre. Cette distinction est cruciale pour les praticiens qui ont besoin de savoir non seulement comment un système fonctionne, mais aussi de quel degré de certitude ils peuvent disposer concernant ce chiffre. Le chercheur a intégré l'ensemble de ce processus dans un outil qui peut s'envelopper autour de n'importe quel système de notation existant, permettant aux utilisateurs de saisir leurs données et de recevoir un score décontaminé accompagné d'un intervalle de confiance ou d'un plancher de sécurité. Cet outil ne nécessite pas que les données suivent une forme mathématique spécifique, ce qui le rend utile pour les ensembles de données réels et désordonnés qui défient souvent les modèles simples.

En fin de compte, cette recherche déplace l'attention de la simple construction de meilleurs classificateurs vers la compréhension de la manière de les mesurer correctement lorsque les données sont incomplètes. Elle démontre qu'en l'absence d'exemples négatifs clairs, l'information la plus critique est l'estimation du nombre de cas positifs cachés dans le tas non étiqueté. L'étude prouve qu'avec les bons ajustements mathématiques, il est possible de récupérer une mesure réelle de performance et d'y attacher une marge d'erreur fiable. Cependant, elle fixe également une limite claire : lorsque le signal est trop faible pour séparer les groupes, la méthode refuse de deviner, offrant à la place une limite inférieure conservatrice. Cette honnêteté quant aux limites de ce qui peut être connu est peut-être la découverte la plus précieuse de toutes, garantissant que les décisions basées sur ces scores sont prises avec une compréhension claire de l'incertitude sous-jacente.