Reliable AUC Evaluation for Positive-Unlabeled Classifiers: Calibrated Confidence Intervals under an Unknown Class Prior

In der Welt des maschinellen Lernens werden Computer oft dazu angeleitet, Muster zu erkennen, indem man ihnen Beispiele dafür zeigt, wonach sie suchen sollen, und Beispiele dafür, was sie nicht sind. Stellen Sie sich einen Arzt vor, der versucht, einem Algorithmus beizubringen, eine bestimmte Art von Tumor zu erkennen. Der Computer muss klare Bilder von Tumoren und klare Bilder von gesundem Gewebe sehen, um den Unterschied zu lernen. Aber in vielen realen Situationen ist es schwierig, diese klaren Beispiele für „gesund“ zu erhalten. Oft verfügen Forscher nur über eine Liste bestätigter positiver Fälle und einen großen, unordentlichen Haufen unbeschrifteter Daten, der eine Mischung aus sowohl positiven als auch negativen Fällen enthält, ohne dass man zwischen ihnen unterscheiden kann. Dies ist als Positive-Unlabeled-Learning bekannt. Das Ziel besteht darin, ein System zu bauen, das in der Lage ist, die guten Fälle höher einzustufen als die schlechten, selbst wenn die schlechten Fälle in der Menge verborgen sind. Die Standardmethode, um zu messen, wie gut ein System dies leistet, besteht darin, einen Wert zu berechnen, der seine Fähigkeit repräsentiert, zwischen den beiden Gruppen zu unterscheiden. Wenn die negative Gruppe jedoch verborgen und vermischt ist, wird der Standardwert jedoch irreführend. Er sagt Ihnen, wie gut das System im Vergleich zum unordentlichen Haufen abschneidet, nicht im Vergleich zu den wahren Negativen, und er präsentiert diese Zahl meist als einen einzelnen, exakten Punkt, ohne einen Hinweis darauf zu geben, wie sehr dieser Wert aufgrund des Zufalls falsch sein könnte.

Ein Forscher namens Vincent Looten hat dieses Problem angegangen, indem er einen neuen Weg zur Leistungsbewertung entwickelt hat, der die verborgene Mischung berücksichtigt und einen zuverlässigen Konfidenzbereich liefert. Der Kern der Arbeit ist eine mathematische Korrektur, die die Kontamination der unbeschrifteten Daten abzieht, um die wahre Leistung gegenüber den negativen Fällen offenzulegen. Der Forscher fand heraus, dass man nicht einfach nur auf den unordentlichen Haufen schauen und die Antwort erraten kann; man muss zuerst schätzen, wie viel von diesem Haufen tatsächlich der positive Fall ist, nach dem man sucht. Sobald man diese Schätzung hat, kann man eine spezifische Formel verwenden, um den Leistungswert anzupassen. Doch der Forscher ging weiter und erkannte, dass es nicht ausreicht, den Wert einfach nur anzupassen. Da die Schätzung der Mischung selbst unsicher ist, muss diese Unsicherheit in die Berechnung einfließen. Die Studie zeigt, dass, wenn man diese Unsicherheit ignoriert, der endgültige Wert falsch sein wird. Durch die sorgfältige Verfolgung, wie die Unsicherheit in der Mischungsschätzung die endgültige Leistung beeinflusst, leitete der Forscher eine Methode zur Erstellung eines kalibrierten Intervalls ab. Dieses Intervall fungiert wie ein Sicherheitsnetz, das dem Benutzer den Bereich angibt, innerhalb dessen die wahre Leistung mit fast völliger Sicherheit liegt, anstatt nur einen einzelnen, potenziell irreführenden Wert zu liefern.

Die Studie zeigt, dass diese Methode wunderbar funktioniert, wenn die positiven und negativen Fälle deutlich genug sind, um voneinander getrennt zu werden. In diesen klaren Situationen erzeugt die neue Methode einen zweiseitigen Bereich, der die wahre Leistung fast genau so oft erfasst, wie es eine Standard-Statistikregel erwarten würde. Der Forscher entdeckte jedoch auch eine harte Grenze für diesen Ansatz. Wenn die positiven und negativen Fälle so ähnlich sind, dass sie ineinander verschwimmen, ist die Mischung unmöglich mit Sicherheit zu bestimmen. In diesem speziellen Szenario bricht der zweiseitige Bereich zusammen, weil die Mathematik dies schlichtweg nicht unterstützen kann. Stattdessen wechselt die Methode zu einer einseitigen Schranke. Diese Schranke bietet eine garantierte Mindestuntergrenze für die Leistung und gibt zu, dass zwar der exakte Wert unbekannt ist, das System aber sicherlich mindestens so gut ist. Dieser Wechsel ist kein Versagen der Methode, sondern ein Merkmal von ihr, das sicherstellt, dass der Bericht ehrlich bleibt, selbst wenn die Daten zu mehrdeutig sind, um eine präzise Schätzung zu unterstützen.

Um diese Ideen zu testen, wandte der Forscher die Methode auf reale Daten an, indem er speziell medizinische Unterlagen zu Brustkrebs verwendete, bei denen die wahren Labels bekannt waren, aber zur Simulation des Problems als verborgen behandelt wurden. Die Ergebnisse waren drastisch. Ein traditioneller Ansatz, der die verborgene Mischung ignoriert und eine einzelne Zahl angibt, versagte völlig und erfasste in den Tests nie die wahre Leistung. Ein anderer Ansatz, der versuchte, die Zahl zu korrigieren, aber eine einfache Schätzung für die Mischung verwendete, hatte ebenfalls Schwierigkeiten, insbesondere wenn die Daten nicht einer perfekten Glockenkurve folgten. Nur die neue Methode, die die Korrektur mit einer robusten Methode zur Schätzung der Mischung und einer sorgfältigen Berechnung der Unsicherheit kombinierte, war erfolgreich. Sie produzierte konsistent Intervalle, die die wahre Leistung enthielten, vorausgesetzt, dass die positiven und negativen Fälle nicht zu ähnlich waren. Die Studie bestätigt, dass der Schlüssel zu einer zuverlässigen Antwort nicht nur im Algorithmus selbst beim Ranking liegt, sondern in der Qualität der Schätzung, die verwendet wird, um die verborgene Mischung zu beschreiben. Wenn diese Schätzung verzerrt oder ungenau ist, wird der endgültige Leistungswert falsch sein, egal wie ausgefeilt das Ranking-System ist.

Die Arbeit klärt auch auf, wann ein Forscher einem zweiseitigen Bereich vertrauen sollte und wann er sich mit einer einseitigen Untergrenze begnügen muss. Der Übergangspunkt hängt davon ab, wie deutlich die beiden Gruppen im Verhältnis zur verfügbaren Datenmenge voneinander unterscheidbar sind. Wenn die Gruppen gut voneinander getrennt sind, ist der volle Bereich gültig. Wenn sie sehr nah beieinander liegen, identifiziert die Methode korrekt, dass ein präziser zweiseitiger Bereich unmöglich ist, und bietet stattdessen die sicherere einseitige Garantie an. Diese Unterscheidung ist entscheidend für Praktiker, die nicht nur wissen müssen, wie gut ein System arbeitet, sondern auch, wie sicher sie sich bei diesem Wert sein können. Der Forscher verpackte diesen gesamten Prozess in ein Werkzeug, das um jedes bestehende Bewertungssystem gelegt werden kann, sodass Benutzer ihre Daten eingeben und einen dekontaminierten Wert zusammen mit einem Konfidenzintervall oder einer Sicherheitsuntergrenze erhalten können. Dieses Werkzeug erfordert nicht, dass die Daten einer spezifischen mathematischen Form folgen, was es nützlich für die unordentlichen, realen Datensätze macht, die einfachen Modellen oft trotzen.

Letztendlich verschiebt diese Forschung den Fokus von der bloßen Entwicklung besserer Klassifikatoren hin zum Verständnis darüber, wie man sie korrekt misst, wenn die Daten unvollständig sind. Sie zeigt, dass in Abwesenheit klarer negativer Beispiele die kritischste Information die Schätzung darüber ist, wie viele positive Fälle sich im unbeschrifteten Haufen verbergen. Die Studie beweist, dass es mit den richtigen mathematischen Anpassungen möglich ist, ein wahres Maß der Leistung wiederherzustellen und einen zuverlässigen Fehlerspielraum daran anzuhängen. Sie setzt jedoch auch eine klare Grenze: Wenn das Signal zu schwach ist, um die Gruppen zu trennen, weigert sich die Methode zu raten, und bietet stattdessen eine konservative untere Grenze an. Diese Ehrlichkeit über die Grenzen des Wissbaren ist vielleicht der wertvollste Befund von allen und stellt sicher, dass Entscheidungen basierend auf diesen Werten mit einem klaren Verständnis der zugrunde liegenden Unsicherheit getroffen werden.